[논문]시뮬레이션 모델기반 국방체계 설계를 위한 역방향 시뮬레이션

최선한; 김탁곤; 진기병; 박경태; 신동조

doi:10.9709/jkss.2020.29.3.027

시뮬레이션 모델기반 국방체계 설계를 위한 역방향 시뮬레이션
A Reverse Simulation for Developing Defense Systems based on Simulation Models 원문보기

한국시뮬레이션학회논문지 = Journal of the Korea Society for Simulation, v.29 no.3, 2020년, pp.27 - 40

최선한 , 김탁곤 (KAIST 전기및전자공학부) , 진기병 (LIG넥스원 전자전연구소) , 박경태 (LIG넥스원 전자전연구소) , 신동조 (국방과학연구소)

초록
AI-Helper

시뮬레이션 모델을 통해 가상 전장에서 국방체계의 효과도를 분석하는 것을 순방향 시뮬레이션이라고 할 때, 높은 효과도를 가지는 국방체계를 설계하기 위해서는 역방향 시뮬레이션이 요구된다. 즉 효과도 분석 모델을 바탕으로 높은 효과도를 달성하기 위한 군사 장비들의 제원 및 성능, 그리고 운용 전술을 역으로 도출해야 한다. 하지만 역모델을 도출할 수 없는 시뮬레이션 모델의 특성상 역방향 시뮬레이션은 많은 순방향 시뮬레이션 반복을 요구하므로 효율성의 문제를 초래한다. 본 논문에서는 반복 횟수를 줄임으로 역방향 시뮬레이션을 효율적으로 수행하기 위한 다양한 알고리즘을 제시하고, 실무자가 이들을 손쉽게 활용하기 위한 역방향 시뮬레이션 도구를 소개한다. 실무자는 본 도구를 바탕으로 다양한 역방향 시뮬레이션 알고리즘을 활용하여 국방체계 설계를 위한 역방향 시뮬레이션을 손쉽게, 또 효율적으로 수행할 수 있다. 전함의 방어 시스템 설계와 군사 네트워크 시스템 설계에 대한 사례 연구는 이를 입증한다.

Abstract ▼ AI-Helper

When analyzing the effectiveness of a defense system in a virtual battlefield with a simulation model is referred to as forward simulation, reverse simulation is required to design a good defense system with high effectiveness. That is, using the simulation model, it is necessary to find the engineering factors, measures of performance, and operational tactics that are demanded to achieve high effectiveness of the system. However, the efficiency of reverse simulation is still a concern since many replications of forward simulation are required for conducting reverse simulation. In this paper, we introduce various efficient algorithms to reduce the number of replications and a reverse simulation tool for utilizing these algorithms easily. The tool allows practitioners to easily and efficiently conduct reverse simulation for design a good defense system based on simulation models. This is demonstrated with the case studies on the design of warship's defense system and the design of military network system.

주제어

표/그림 (13)

그림 Fig. 1. Concept of the forward and reverse simulation
그림 Fig. 2. Conducting reverse simulation
표 Table 1. Various R&S algorithms based on the four approaches
그림 Fig. 3. Structure of the reverse simulation tool
그림 Fig. 4. Example of implementing C++ callback function in the adaptor.
그림 Fig. 5. Screenshot of reverse simulation GUI client: input parameters' configuration, output requirement selection, and R&S algorithm selection(Kim, 2015)
그림 Fig. 6. Screenshots of reverse simulation GUI client: (a) continuous input parameter setting, and (b) discrete input parameter setting(Kim, 2015)
그림 Fig. 7. Screenshot of reverse simulation GUI client: monitor and control the process of reverse simulation(Kim, 2015)
표 Table 2. Design parameters of warship's defense system (i.e., input parameters of the 3-stage defense system simulation model(Lee et al. 2006))
표 Table 3. Comparison of reverse simulation time spent for warship's defense system design with and without using the reverse simulation tool
그림 Fig. 8. Simulation model for analyzing effectiveness of NCW network system(Kang et al., 2019)
표 Table 4. Design parameters of NCW network system (i.e., input parameters of the simulation model in Figure 12)(Choi and Kim, 2019a)
표 Table 5. Comparison of reverse simulation time spent for NCW network system design with and without using the reverse simulation tool

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 반복 횟수를 줄임으로 역방향 시뮬레이션을 효율적으로 수행하기 위한 다양한 역방향 시뮬레이션 알고리즘을 제시한다. 그리고 이 알고리즘을 손쉽게 적용하기 위한 역방향 시뮬레이션 도구를 소개한다. 실무자는 본 도구를 바탕으로 다양한 역방향 시뮬레이션 알고리즘을 활용하여 국방체계 설계를 위한 역방향 시뮬레이션을 손쉽게, 또 효율적으로 수행할 수 있다.
추후 연구로는 독립적인 순방향 반복 시뮬레이션을 빠르게 수행하기 위하여 역방향 시뮬레이션 도구를 개선하여 분산 병렬 처리를 추가하고, 입력 집합을 줄일 수 없는 경우를 대비하여 R&S 알고리즘뿐만 아니라 다양한 메타휴리스틱 알고리즘도 활용할 수 있도록 한다. 또한, R&S 알고리즘과 메타휴리스틱 알고리즘을 결합하여 서로의 한계점을 보완할 수 있는 새로운 역방향 시뮬레이션 알고리즘을 제안하고자 한다.
, 2015; Choi and Kim, 2018a). 본 논문에서는 반복 횟수를 줄임으로 역방향 시뮬레이션을 효율적으로 수행하기 위한 다양한 역방향 시뮬레이션 알고리즘을 제시한다. 그리고 이 알고리즘을 손쉽게 적용하기 위한 역방향 시뮬레이션 도구를 소개한다.
본 논문에서는 역방향 시뮬레이션을 효율적으로 수행할 수 있도록 하는 메타휴리스틱 알고리즘과 R&S 알고리즘을 제시하였다.
현대 전장에서 전함은 지휘 통제(C2, Command and control) 체계의 중심으로 해군 전력의 핵심이기 때문에, 단 1%라도 그 생존률을 높이는 것은 중요하다. 본 사례 연구에서는 시뮬레이션 모델을 바탕으로 전함의 생존율을 최대화하는 방어 시스템을 설계하고자 한다.
지연시간은 시작 노드로부터 도착 노드까지 패킷이 전달되는데 걸리는 평균적인 시간을 뜻하며, 전달 비율은 전송된 패킷이 성공적으로 전달되는 비율을 의미한다. 안정적인 네트워크 시스템에 대한 작전운용성능(ROC: Required operational capability)으로 85%이상의 패킷 전달 비율을 유지하면서 지연시간을 최소화 하는 것으로 주어졌을 때, 본 사례 연구에서는 시뮬레이션 모델을 바탕으로 ROC를 충족하는 네트워크 시스템을 설계하고자 한다.
실무자는 본 도구를 바탕으로 다양한 역방향 시뮬레이션 알고리즘을 활용하여 국방체계 설계를 위한 역방향 시뮬레이션을 손쉽게, 또 효율적으로 수행할 수 있다. 전함의 방어 시스템 설계 및 NCW 네트워크 시스템 설계에 대한 사례 연구를 통하여 이를 보여준다.

제안 방법

엔진 서버는 m개의 연결된 시뮬레이션 모델에 대해서 n개의 클라이언트로부터 동시에 역방향 시뮬레이션을 진행할 수 있다. 각 클라이언트에 대해서 대응하는 엔진 스레드(Thread)가 생성되며, 이 스레드는 클라이언트가 선택한 알고리즘을 바탕으로 역방향 시뮬레이션을 독립적으로 진행한다. 각 스레드는 알고리즘 진행에 따라서 입력에 대한 출력 샘플들을 수집하기 위해 네트워크 서버에 연결된 시뮬레이션 모델에 순방향 시뮬레이션을 요청한다.
가장 핵심이 되는 역방향 시뮬레이션 엔진 서버는 Table 1에 명시된 다양한 R&S 알고리즘을 탑재하고 있으며, 새로운 알고리즘을 쉽게 추가할 수 있다. 또한 실무자가 해결하고자 하는 설계 문제에 적합한 알고리즘들을 제시하며 알고리즘에 대한 설명과 함께 적절한 파라미터 설정 제안을 제공한다. 엔진 서버는 m개의 연결된 시뮬레이션 모델에 대해서 n개의 클라이언트로부터 동시에 역방향 시뮬레이션을 진행할 수 있다.
또한 실무자로 하여금 이 R&S 알고리즘을 활용하여 역방향 시뮬레이션을 효율적으로, 그리고 손쉽게 수행할 수 있도록 하는 역방향 시뮬레이션 도구를 소개하였다.
, 2019). 이 시뮬레이션 모델은 워게임 모델과 ns-3 네트워크 시뮬레이션 모델을 시뮬레이션 연동 표준인 HLA/RTI(IEEE, 2010)를 기반으로 연동하므로 전장에서 설계된 네트워크 시스템에 대한 성능을 측정한다. 이 모델은 다양한 랜덤 요소를 포함하고 있기 때문에 지연 시간과 전달 비율은 이 모델에 대한 독립적인 반복 순방향 시뮬레이션을 통해서 얻은 출력 샘플들의 평균으로 추정될 수 있으며, 반복 횟수가 증가할수록 정밀한 값을 얻을 수 있다.
제시한 역방향 시뮬레이션 도구를 바탕으로 역방향 시뮬레이션을 수행하였으며, R&S 알고리즘의 파라미터 n0와 Δ는 각각 10과 30으로 설정하였다.
제시한 역방향 시뮬레이션 도구를 바탕으로 역방향 시뮬레이션을 수행하였으며, R&S 알고리즘의 파라미터 n0와 Δ는 각각 20과 200으로 설정하였다.

이론/모형

Figure 8에서도 볼 수 있듯이 본 모델은 그 복잡한 구조로 인하여서 높은 확률적 노이즈를 가지며, 앞선 사례와 마찬가지로 군 체계의 특성상 정확한 해를 찾을 필요가 있다. 따라서 UE 접근법에 기반한 Choi et al. (2019a) 알고리즘을 선택하여 역방향 시뮬레이션을 수행한다.

성능/효과

하지만 이 모델은 실제 시스템의 불확실성을 반영하기 위해 다양한 랜덤 변수를 포함하고 있기 때문에, 매번 순 방향 시뮬레이션 마다 다른 결과를 도출한다. 따라서 전함의 방어 시스템 설계에 대한 전함의 생존율은 이 모델에 대한 독립적인 반복 순방향 시뮬레이션을 통해서 얻은 출력 샘플들의 평균으로 추정될 수 있으며, 반복 횟수가 증가할수록 정밀한 값을 얻을 수 있다.
Table 5은 역방향 시뮬레이션 도구를 사용하였을 때와 사용하지 않았을 때 필요한 순방향 시뮬레이션 횟수를 나타내며, 도구를 사용하는 경우에 약 92%이상의 반복 횟수를 절약할 수 있었다. 본 시뮬레이션 모델의 경우 HLA/RTI기반의 연동으로 인하여서 한번 순방향 시뮬레이션에 약 60초가 소요되므로, 반복횟수를 시간으로 환산하면 약 370시간을 절약할 수 있다. 앞선 사례와 마찬가지로, 본 사례 연구도 역방향 시뮬레이션 도구가 국방체계 설계에 효과적으로 활용될 수 있음을 보여준다.
와 Δ는 각각 10과 30으로 설정하였다. 역방향 시뮬레이션의 결과로 ROC를 만족하도록 도출된 네트워크 시스템의 설계는 [100,40,20,20,11]이며, 이 선택에 대한 P{CS}는 최소 99%이상이다. Table 5은 역방향 시뮬레이션 도구를 사용하였을 때와 사용하지 않았을 때 필요한 순방향 시뮬레이션 횟수를 나타내며, 도구를 사용하는 경우에 약 92%이상의 반복 횟수를 절약할 수 있었다.
와 Δ는 각각 20과 200으로 설정하였다. 역방향 시뮬레이션의 결과로 전함의 생존율을 최대화하는 방어 시스템의 설계는 [P_SAMV=40, P_SAMRT=20, P_SAMPk=0.7, P_ECM=0.5, P_CHAFF=0.6]이며, 이 선택에 대한 P{CS}는 최소 99%이상이다(즉, 각 입력에 대해서 무한번의 순방향 시뮬레이션 반복을 통해서 측정된 생존율의 기댓값을 바탕으로 찾은 최고의 설계가 역방향 시뮬레이션을 통해 찾은 설계와 동일할 확률이 99%이상). Table 3은 역방향 시뮬레이션 도구를 사용하였을 때와 사용하지 않았을 때 필요한 순방향 시뮬레이션 횟수를 나타내며, 도구를 사용하는 경우에 약 97%이상의 반복 횟수를 절약할 수 있었다.
우측 그래프에서 가능한 입력들의 시뮬레이션 결과에 대한 표본 평균, 오차 범위, 표본 분산 등의 통계치를 확인할 수 있으며, 좌측 그래프에서는 역방향 시뮬레이션 알고리즘에 따라서 각 입력에 할당되는 샘플링 횟수 및 누적 할당 횟수를 확인할 수 있다. 아래쪽에는 그래프로 표시되지 않는 관련 정보 및 로그, 그리고 각 입력에 대한 세부적인 모델 파라미터 값의 구성을 확인할 수 있다.
이 시뮬레이션 모델은 워게임 모델과 ns-3 네트워크 시뮬레이션 모델을 시뮬레이션 연동 표준인 HLA/RTI(IEEE, 2010)를 기반으로 연동하므로 전장에서 설계된 네트워크 시스템에 대한 성능을 측정한다. 이 모델은 다양한 랜덤 요소를 포함하고 있기 때문에 지연 시간과 전달 비율은 이 모델에 대한 독립적인 반복 순방향 시뮬레이션을 통해서 얻은 출력 샘플들의 평균으로 추정될 수 있으며, 반복 횟수가 증가할수록 정밀한 값을 얻을 수 있다.
전함의 방어 시스템 설계와 NCW 네트워크 시스템 설계에 대한 사례 연구는, 실무자가 역방향 시뮬레이션 도구를 바탕으로 다양한 R&S 알고리즘을 활용하여 국방체계 설계를 위한 역방향 시뮬레이션을 손쉽게, 또 효율적으로 수행할 수 있음을 보여준다.

후속연구

또한 순차적 절차를 제어할 수 있으므로, 새로운 R&S 알고리즘의 동작을 검증하고 개발하는데도 활용될 수 있다.
본 역방향 시뮬레이션 도구는 역방향 시뮬레이션뿐만 아니라 개발한 시뮬레이션 모델을 검증하는데도 활용이 될 수 있다. R&S 알고리즘이 아닌, 모든 가능한 입력 집합에 대해서 동일한 샘플링 횟수를 할당하는 동등 할당 알고리즘을 사용하여서, 시뮬레이션이 입력에 대해서 적절한 출력을 도출하는지를 검증할 수 있다.
본 시뮬레이션 모델의 경우 HLA/RTI기반의 연동으로 인하여서 한번 순방향 시뮬레이션에 약 60초가 소요되므로, 반복횟수를 시간으로 환산하면 약 370시간을 절약할 수 있다. 앞선 사례와 마찬가지로, 본 사례 연구도 역방향 시뮬레이션 도구가 국방체계 설계에 효과적으로 활용될 수 있음을 보여준다.
추후 연구로는 독립적인 순방향 반복 시뮬레이션을 빠르게 수행하기 위하여 역방향 시뮬레이션 도구를 개선하여 분산 병렬 처리를 추가하고, 입력 집합을 줄일 수 없는 경우를 대비하여 R&S 알고리즘뿐만 아니라 다양한 메타휴리스틱 알고리즘도 활용할 수 있도록 한다.

참고문헌 (54)

Andrad'ottir, S. and S.-H. Kim (2010) "Fully sequential procedures for comparing constrained systems via simulation", Naval Research Logistics, 57(5), 403-421.

상세보기
Batur, D. and S.-H, Kim (2005) "Procedures for feasibility detection in the presence of multiple constraints", Proceedings of the 2005 Winter Simulation Conference, Orlando, FL, USA.
Beirlant, J., E. J. Dudewicz, and E. C. van der Meulen (1982) "Complete statistical ranking of populations with tables and applications", Journal of Computational and Applied Mathematics, 8(3), 187-201.

상세보기
Branke, J., S. E. Chick, and C. Schmidt (2007) "Selecting a selection procedure", Management Science, 53(12), 1916-1932.

상세보기
Butler, J., D. J. Morrice, and P. W. Mullarkey (2001) "A multiple attribute utility theory approach to ranking and selection", Management Science, 47(6), 800-816.

상세보기
Chen, C.-H. and L. H. Lee (2011) Stochastic Simulation Optimization: An Optimal Computing Budget Allocation, World Scientific, Singapore.
Chen, C.-H., J. Lin, E. Yucesan, and S. E. Chick (2000) "Simulation budget allocation for further enhancing the efficiency of ordinal optimization", Discrete Event Dynamin Systems: Theory and Applications, 10(3), 251-270.

상세보기
Chen, C.-H., D. He, M. Fu, and L. H. Lee (2008) "Efficient simulation budget allocation for selecting an optimal subset", INFORMS Journal on Computing, 20(4), 579-595.

상세보기
Chick, S. E. and K. Inoue (2001) "New two-stage and sequential procedures for selecting the best simulated system", Operations Research, 49(5), 732-743.

상세보기
Choi, S. H. and C.-B. Choi (2020) "A simulation budget allocation procedure for finding both extreme designs simultaneously in discrete-event simulatio", IEEE Access, 8, 93978-93986.

상세보기
Choi, S. H. and T. G. Kim (2018a) "Optimal subset selection of stochastic model using statistical hypothesis test", IEEE Transactions on Systems, Man, and Cybernetics: Systems, 48(4), 557-564.

상세보기
Choi, S. H. and T. G. Kim (2018b) "Pareto set selection for multiobjective stochastic simulation model", IEEE Transactions on Systems, Man, and Cybernetics: Systems, doi: 10.1109/TSMC.2018.2846680.
Choi, S. H. and T. G. Kim (2018c) "Efficient ranking and selection for stochastic simulation model based on hypothesis test", IEEE Transactions on Systems, Man, and Cybernetics: Systems, 48(9), 1555-1565.

상세보기
Choi, S. H. and T. G. Kim (2018d) "A heuristic approach for selecting best-subset including ranking within the subset", IEEE Transactions on Systems, Man, and Cybernetics: Systems, doi: 10.1109/TSMC.2018.2870408.
Choi, S. H., K.-M. Seo, and T. G. Kim (2017) "Accelerated simulation of discrete event dynamic systems via a multi-fidelity modeling framework", Applied Sciences, 7(10):1056.

상세보기
Choi, S. H., B. G. Kang, and T. G. Kim (2019a) "A heuristic procedure for selecting the feasible best design in the presence of stochastic constraints", IEEE Transactions on Systems, Man, and Cybernetics: Systems, doi: 10.1109/TSMC.2019.2894523.
Choi, S. H., C.-B. Choi, and T. G. Kim (2019b) "An improved budget allocation procedure for selecting the best-simulated design in the presence of large stochastic noise", IEEE Access, 7, 154435-154446.

상세보기
Eberhart, R. and J. Kennedy (1995) "A new optimizer using particle swarm theory", Proceedings of the Sixth International Symposium on Micro Machine and Human Science (MHS '95), Nagoya, Japan, 39-43.
Frazier, P. I. and A. M. Kazachkov (2011) "Guessing preferences: a new approach to multi-attribute ranking and selection", Proceedings of the 2011 Winter Simulation Conference, Phoenix, AZ, USA, 4319-4331.
Gao S. and W. Chen (2015) "Efficient subset selection for the expected opportunity cost", Automatica, 59, 19-26.

상세보기
Holland, J. H. (1975) Adaptation in Natural and Artificial Systems, University of Michigan Press, Ann Arbor, MI, USA.
Hong, J. H. and T. G. Kim (2010) "Interoperation between engineering- and engagement-level models for system effectiveness analysis", Journal of the Korea Society for Simulation, 19(4), 319-326.
Hong, J. H., K.-M. Seo, and T. G. Kim (2015) "Reverse simulation software architecture for required performance analysis of defense system", The Journal of Korean Institute of Communications and Information Sciences, 40(4), 750-759.

원문보기 상세보기
IEEE Computer Society (2010) IEEE standard for modeling and simulation (M&S) High level architecture (HLA) - framework and rules, IEEE Standard 1516-2010.
Jia, Q. S. (2012) "Efficient computing budget allocation for simulation-based policy improvement", IEEE Transactions on Automation Science and Engineering, 9(2), 342-352.

상세보기
Kang, B. G. and T. G. Kim (2018) "Method for analysis of C3 systems of systems using transformation of federation based on an extended DEVS formalism", Journal of the Korea Society for Simulation, 27(3), 13-21.
Kang, B. G., K.-M. Seo, and T. G. Kim (2019) "Machine learning-based discrete event dynamic surrogate model of communication systems for simulating the command, control, and communication system of systems", Simulation: Transactions of the Society for Modeling and Simulation International, 95(8), 673-691.

상세보기
Kim, T. G. (2007) "Modeling and simulation engineering", Communication of the Korea Information Science Society, 25(11), 5-15.
Kim, T. G. (2015) "Development of reverse simulation engine for extraction of engineering specification and tactics of weapon systems from given effectiveness", KAIST.
Kim, T. G. (2018a) Defense Modeling and Simulation, Hanteemedia, Seoul, South Korea.
Kim, T.-Y. (2018b) "Simulation reconfiguration using entity plug-in approach for weapon system effectiveness anaylsis", Journal of the Korea Society for Simulation, 27(2), 49-59.
Kim, S.-H. and B. L. Nelson (2001) "A fully sequential procedure for indifference-zone selection in simulation", ACM Transactions on Modeling and Computer Simulation, 11(3), 251-273.

상세보기
Kirkpatrick, S., C. D. Gelatt, and M. P. Vecchi (1983) "Optimization by simulated annealing", Science, 220(4598), 671-680.

상세보기
Lee, L. H., E. P. Chew, S. Teng, and D. Goldsman (2010a) "Finding the nondominated Pareto set for multi-objective simulation models", IIE Transactions, 42(9), 656-674.

상세보기
Lee L. H., E. P. Chew, and S. Teng (2010b) "Computing budget allocation rules for multi-objective simulation models based on different measures of selection quality", Automatica, 46(12), 1935-1950.

상세보기
Lee, L. H., N. A. Pujowidianto, L.-W. Li, C.-H. Chen, and C. M. Yap (2012) "Approximate simulation budget allocation for selecting the best design in the presence of stochastic constraints", IEEE Transactions on Automatic Control, 57(11), 2940-2945.

상세보기
Lee, W.-B., J.-H. Kim, and T. G. Kim (2006) "War game simulation using parametirc behavior modeling method", Journal of the Korea Contents Association, 6(11), 126-134.
Li, J., W. Liu, G. Pedrielli, L. H. Lee, and E. P. Chew (2018) "Optimal computing budget allocation to select the nondominated systems A large deviations perspective", IEEE Transactions on Automatic Control, 63(9), 2913-2927.

상세보기
Seo, K.-M., H. S. Song, S. J. Kwon, and T. G. Kim (2011) "Measurement of effectiveness for an antitorpedo combat system using a discrete event systems specification-based underwater warfare simulator", The Journal of Defense Modeling and Simulation, 8(3), 157-171.

상세보기
Shortle, J. F., C. H. Chen, B. Crain, A. Brodsky, and D. Brod (2012) "Optimal splitting for rare-event simulation", IIE Transactions, 44(5), 352-367.

상세보기
Teng, S., L. H. Lee, and E. P. Chew (2010) "Integration of indifference-zone with multi-objective computing budget allocation", European Journal of Operational Research, 203(2), 419-429.

상세보기
Wang, Y., L. Luangkesorn, and L. J. Shuman (2011) "Best-subset selection procedure", Proceedings of the 2011 Winter Simulation Conference, Phoenix, AZ, USA, 4310-4318.
Xiao, H. and S. Gao (2018) "Simulation budget allocation for selecting the top-m designs with input uncertainty", IEEE Transactions on Automatic Control, 63(9), 3127-3134.

상세보기
Xiao, H. and L. H. Lee (2014) "Simulation optimization using genetic algorithms with optimal computing budget allocation", Simulation: Transactions of the Society for Modeling and Simulation International, 90(10), 1146-1157.

상세보기
Xiao, H., L. H. Lee, and K. M. Ng (2014) "Optimal computing budget allocation for complete ranking", IEEE Transactions on Automation Science and Engineering, 11(2), 516-524.

상세보기
Xiao, H., S. Gao, and L. H. Lee (2017) "Simulation budget allocation for simultaneously selecting the best and worst subsets", Automatica, 84, 117-127.

상세보기
Xiao, H., H. Chen, and L. H. Lee (2019) "An efficient simulation procedure for ranking the top simulated designs in the presence of stochastic constraints", Automatica, 103, 106-115.

상세보기
Xiao, H., F. Gao, and L. H. Lee (2019b) "Optimal computing budget allocation for complete ranking with input uncertainty", IISE Transactions, 52(5), 489-499.

상세보기
Xu, J., E. Huang, C.-H. Chen, and L. H. Lee (2015) "Simulation optimization: A review and exploration in the new era of cloud computing and big data", Asia-Pacific Journal of Operational Research, 32(3):1550019.

상세보기
Xu, J., E. Huang, L. Hsieh, L.-H. Lee, and C.-H. Chen (2016) "Simulation optimization in the era of industrial 4.0 and industrial Internet", Journal of Simulation, 10(4), 310-320.

상세보기
Zhang, S., L. H. Lee, E. P. Chew, J. Xu, and C.-H. Chen (2016a) "A simulation budget allocation procedure for enhancing the efficiency of optimal subset selection", IEEE Transactions on Automatic Control, 61(1), 62-75.

상세보기
Zhang, J., C. Wang, D. Zang, and M. Zhou (2016b) "Incorporation of optimal computing budget allocation for ordinal optimization into learning automata", IEEE Transactions on Automation Science and Engineering, 13(2), 1008-1017.

상세보기
Zhang, J., Z. Li, C.Wang, D. Zang, and M. Zhou (2017a) "Approximate simulation budget allocation for subset ranking", IEEE Transactions on Control Systems Technology, 25(1), 358-365.

상세보기
Zhang, J., L. Zhang, C. Wang, and M. Zhou (2017b) "Approximately optimal computing budget allocation for selection of the best and worst designs", IEEE Transactions on Automtic Control, 62(7), 3249-3261.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증