[논문]세계은행 공적개발원조사업의 엔지니어링 기업 간 협력관계 예측모델 개발

유영수; 구본상; 이관훈; 한승헌

doi:10.6106/kjcem.2019.20.6.107

[국내논문] 세계은행 공적개발원조사업의 엔지니어링 기업 간 협력관계 예측모델 개발
Predicting Cooperative Relationships between Engineering Companies in World Bank's ODA Projects 원문보기

한국건설관리학회논문집 = Korean journal of construction engineering and management, v.20 no.6, 2019년, pp.107 - 116

유영수 (서울과학기술대학교 건설시스템공학과) , 구본상 () , 이관훈 (고려대학교 컴퓨터학과) , 한승헌 (연세대학교 건설환경공학과(현, 한국건설기술연구원))

초록
AI-Helper

국내 건설 엔지니어링 기업은 해외 실적 향상을 위한 방안으로 세계은행의 공적개발원조 사업을 통한 해외시장 확장의 발판을 마련하고자 한다. 하지만 세계은행 사업은 한정된 사업을 두고 다수의 글로벌 기업과 경쟁하기 때문에 입찰경쟁에서 우위를 선점하고, 수원국의 제도적 조건을 충족하기 위해 적합한 사업파트너와의 협력관계 구축이 필수적이다. 이러한 협력관계를 통한 입찰 전략 구축의 일환으로 사회 네트워크 분석을 이용한 다수의 과거 네트워크 분석 연구가 진행된 바 있으나, 네트워크의 변화과정을 기반으로 분석한 연구는 드물다. 이에 본 연구는 세계은행 ODA 사업이 원활히 시행된 후 종료된 아시아 3개국의 낙찰 데이터를 수집하고, 네트워크의 동적 변화를 반영한 학습기반 링크예측 모델을 구축하였다. 그 결과 낙찰기업들 간 협력관계 구축에 작용하는 11가지 주요 요인을 도출하고, 각 변수가 개별 링크의 협력 여부 확률 값에 미치는 영향을 확인하였다.

Abstract ▼ AI-Helper

Korean construction engineering firms want to pave the way for expansion of overseas markets through the World Bank's Official Development Assistance (ODA) projects as a way to improve their overseas project performance. However, since the World Bank project competes with global companies for limited projects, building partnerships with suitable business partners is essential to gain an upper hand in bidding competition and meet the institutional conditions of the recipient country. In this regard, many network studies have been conducted in the past through Social Network Analysis (SNA), but few have been analyzed based on the process of changes in the network. So, This study collected winning data from the three Southeast Asian countries that ended after the World Bank's ODA project performed smoothly, and established a learning-based link prediction model that reflected the dynamic nature of the network. As a result, the 11 main variables acting on building a cooperative relationship between winning companies were derived and the effect of each variables on the probability value of cooperation between individual links was identified.

Keyword

표/그림 (17)

그림 Fig. 1. Research Process
그림 Fig. 2. Link Prediction
표 Table 1. Network Topology Variables & Definition
표 Table 2. Analysis Scope by Category
표 Table 3. Period Division and Participation Count by Country
그림 Fig. 3. Link Prediction
그림 Fig. 4. Link Variables Extraction
그림 Fig. 5. Data Combination to Train&Test set
표 Table 4. Data-based Variables
그림 Fig. 6. Data Distribution
표 Table 5. Link Prediction Dataset(Original)
표 Table 6. Link Prediction Dataset(Over-sampled)
그림 Fig. 7. XGB Feature Importance
표 Table 7. XGB Hyperparameter
표 Table 8. XGB model’s Predictive Results
그림 Fig. 8. Thang Long-WSP Cooperative Case
그림 Fig. 9. Nippon Koei-Thai Eng. Consultant Cooperative case

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이에 해외 실적 향상을 위해 건설 엔지니어링 기업은 다방면으로 해외시장 진출 방안을 모색하고 있으며, 그 중 다자간개발은행(Multi-lateral Development Bank)인 세계은행(World Bank)의 공적개발원조(Official Development Assistance; 이하 ODA) 사업을 통한 해외시장 확장의 발판을 마련하고자 한다.
이에 본 연구에서는 세계은행이 발주한 ODA 엔지니어링 사업 낙찰데이터를 기반으로 과거 네트워크의 동적 변화를 반영한 협력관계의 예측모델을 개발하고자 하였다.
(2012)은 SVM (Support Vector Machine) 알고리즘 기반 링크예측을 통해 잠재적 사업 파트너 추천 시스템을 개발하였다. 이를 통해 기업의 직원 수, 순위, 설립 일자가 상호 간 협력관계를 구축하는데 주요 요인임을 확인하고 향후 형성될 상호관계를 예측하였다.
본 연구는 과거시점의 요인이 미래의 협력 요인에 미치는 영향에 관한 학습모델 구축을 목적으로 한다. 따라서 학습모델 훈련과 평가에 필요한 학습ㆍ평가데이터는 시간의 흐름을 기준으로 분류되며, 이에 각 국가별 사업 참여 건수를 바탕으로 데이터를 3개 기간으로 분할하였다[Table 3].
이를 통해 구축된 XGB 모델이 개별 링크의 협력 확률 도출을 위해 유의변수들을 어떻게 활용했는지 살펴 볼 수 있다. 아래에는 예측에 성공한 두 개의 협력사례를 그 예시로 제시하였다.
본 연구는 해외 ODA 사업에서 엔지니어링 기업들의 협력 여부를 네트워크 링크 예측이라는 새로운 기법으로 예측하는 방안을 정립하는 것으로 목적을 두었다.

제안 방법

또한, R의 ‘xgboost Explainer’패키지가 제공하는 Waterfall Chart를 통해서 개별 사례의 예측 확률 도출 과정을 해석하였다.
이를 통해 예측모델을 구축하고, 모델의 변수 의존도를 나타내는 ‘Feature Importance’를 도출하여 협력관계 형성에 유의한 요인을 확인하였다.
네트워크 변화 과정을 분석에 반영하기 위해 구축할 예측모델의 학습ㆍ평가데이터는 시간의 흐름을 기준으로 분류해야한다. 이에 각 국가별 사업 참여 건수를 바탕으로 데이터를 3개 기간으로 분할하였다. 이후 데이터를 기존 노드 단위에서 상호 간 관계를 나타내는 링크 단위로 변환하였다.
이에 각 국가별 사업 참여 건수를 바탕으로 데이터를 3개 기간으로 분할하였다. 이후 데이터를 기존 노드 단위에서 상호 간 관계를 나타내는 링크 단위로 변환하였다. 이를 통해 3개 기간에 대한 네트워크를 구축하고, 네트워크 중심성 지표를 추출하였다.
이후 데이터를 기존 노드 단위에서 상호 간 관계를 나타내는 링크 단위로 변환하였다. 이를 통해 3개 기간에 대한 네트워크를 구축하고, 네트워크 중심성 지표를 추출하였다.
링크예측모델 구축을 위해 변환한 링크 단위 데이터를 대상으로 3개의 기간에 대해 데이터 기반(10개)과2)위상정보 기반(10개) 두 방향으로 총 20개의 변수를 작성하였다. 이후 링크예측 학습모델 구축을 위해 현 단계의 입력변수와 다음 단계의 목적변수를 교차하여 최종 학습 데이터를 구축하였다.
링크예측모델 구축을 위해 변환한 링크 단위 데이터를 대상으로 3개의 기간에 대해 데이터 기반(10개)과2)위상정보 기반(10개) 두 방향으로 총 20개의 변수를 작성하였다. 이후 링크예측 학습모델 구축을 위해 현 단계의 입력변수와 다음 단계의 목적변수를 교차하여 최종 학습 데이터를 구축하였다.
3]의 pair data에 나타난 개별 링크가 하나의 데이터 단위이다. 학습모델 변수는 각 링크 별로 필요하며, 이에 3개의 기간에 대해 데이터 기반(10개)과2)위상정보 기반(10개) 두 방향으로 총 20개의 변수를 작성하였다.
(2018)은 ODA 입·낙찰 데이터를 이용하여 SNA 분석을 수행하였다. 이후 SNA 지표 값을 변수로 사용하여 로그 회귀분석을 수행함으로써 입찰 경쟁력을 향상 시킬 수 있는 공종별 파트너십 전략을 구축하였다.
, 2015). 본 기법은 사회연결망 분석에 주로 사용되는 노드(node)의 네트워크 중심성(network centrality) 지표 대신 그들 간의 관계를 나타내는 엣지(edge) 또는 링크(link)를 기반으로 한다. 분석 방법은 노드 기반, 위상 기반, 학습 기반으로 구분할 수 있으며, 위상 기반과 학습 기반 링크예측이 대표적인 방법이다.
이후 과정인 부스팅은 Gradient Descent 알고리즘을 이용하며, 이전모델의 error를 최소화하는 새로운 모델을 생성 후 조합함으로써 최적의 분류모델을 구축한다. 이 과정이 병렬 처리로 진행되어 XGB의 연산속도를 빠르게 한다.
이 같은 일련의 과정에서 XGB는 자동 가지치기(Greedy-algorithm)를 사용한 과적합(overfitting) 방지, 그리고 다양한 커스텀 최적화 옵션을 통한 예측성능 향상에 유리하여 본 연구에 적합한 기계학습 모델로 선정하였다.
이로 인해, ODA 데이터 기반의 학습모델은 과거 사례를 바탕으로 향후 협력할 가능성이 있는 모든 후보자를 검출하지만, 실제로 그 사례는 소수이기 때문에 모델의 정확도가 하락하는 현상이 발생한다. 따라서 본 연구에서는 많은 후보자를 선별하여 정확도가 하락하더라도, 실제 협력사례 만큼은 정확하게 맞추는 민감도를 주된 모델 평가방법으로 설정하였다.
본 분석에서는 세계은행 ODA 사업이 종료된 아시아 3개국(베트남, 인도네시아, 방글라데시)을 주 대상으로 삼았으며, 그 외 세부정보 별 분석에 사용한 범위는 [Table 2]와 같다. 또한 본 연구는 협력 네트워크의 형성 요인을 주된 분석 목적으로 삼았기 때문에 최종적으로는 협력 형태로 사업에 참여한 경우만을 대상으로 분석을 실시하였다. 최종적으로 분석에 사용된 데이터는 273개의 기업이 협력 형태로 471회 참여한 182건의 사업 데이터이다.
본 연구는 과거시점의 요인이 미래의 협력 요인에 미치는 영향에 관한 학습모델 구축을 목적으로 한다. 따라서 학습모델 훈련과 평가에 필요한 학습ㆍ평가데이터는 시간의 흐름을 기준으로 분류되며, 이에 각 국가별 사업 참여 건수를 바탕으로 데이터를 3개 기간으로 분할하였다[Table 3].
이후 사회 네트워크 분석 프로그램인 ‘Gephi’를 이용하여 네트워크를 구축하고, 그로부터 각 기간의 노드별 4가지 중심성 지표(degree, closeness, betweenness, eigen-vector centrality)를 추출하였다.
데이터 기반 변수는 기업 정보와 사회 네트워크 중심성 지표(social network centrality)로 다시 세분화된다. 기업 정보는 각 기업의 사업수행 경험 실적, 평균 수주금액, Joint Venture 내에서의 위상 등과 같이 세계은행 데이터베이스에 공개된 있는 정보를 개별 노드(기업) 값으로 입력한 후, 두 노드의 차이 값을 링크 변수로 작성하였다([Table 4] 참조). 또한, 3.
기업 정보는 각 기업의 사업수행 경험 실적, 평균 수주금액, Joint Venture 내에서의 위상 등과 같이 세계은행 데이터베이스에 공개된 있는 정보를 개별 노드(기업) 값으로 입력한 후, 두 노드의 차이 값을 링크 변수로 작성하였다([Table 4] 참조). 또한, 3.3절의 네트워크 구축 후 도출 가능한 4가지 사회 네트워크 중심성 지표는 SNA에서 정의된 산정 공식을 활용하여 추출하였다.
즉, 실제링크(actual ‘linked’)를 올바로 예측(predicted ‘linked’)하는 것에 집중하였다.
구축한 XGB 모델로부터 낙찰기업의 협력관계 유의변수 및 변수 별 중요도를 도출하였다. 변수 별 중요도는 XGB에서 개별 변수가 가지치기에 얼마나 유용하게 작용하였는가를 나타내는 지표로 의사결정 나무 구축 시 속성이 많이 사용될수록 가중치가 증가하는 방식으로 산정된다.

대상 데이터

분석 데이터 구축을 위해 세계은행이 제공하는 ‘World Bank Finance’오픈 데이터베이스를 사용하였으며, 국내 건설 엔지니어링 기업이 주로 참여하는 설계 컨설팅 서비스로 데이터를 국한하였다.
본 연구는 세계은행 ODA 사업이 원활히 진행되었고, 현재 지원 종료단계인 아시아 3개국(베트남. 인도네시아, 방글라데시)을 분석 대상으로 삼았다. 본 연구의 과정은 아래와 같다.
분석 데이터 구축을 위해 세계은행이 제공하는 ‘World Bank Finance’오픈 데이터베이스를 사용하였으며, 국내 건설 엔지니어링 기업이 주로 참여하는 설계 컨설팅 서비스로 데이터를 국한하였다. 해당 데이터에는 2004년부터 2017년까지 발주된 사업에 대한 프로젝트, 사업, 낙찰자 단위의 데이터가 수록되어 있다.
해당 데이터는¹⁾ 프로젝트 정보(수원국, 프로젝트명, 조달기관)^{, 2)} 사업 정보(사업 명, 조달방식, 공종)^{, 3)} 낙찰자 정보(낙찰기업, 낙찰기업국적, 계약금액) 등의 세부정보를 포함하고 있다. 본 분석에서는 세계은행 ODA 사업이 종료된 아시아 3개국(베트남, 인도네시아, 방글라데시)을 주 대상으로 삼았으며, 그 외 세부정보 별 분석에 사용한 범위는 [Table 2]와 같다. 또한 본 연구는 협력 네트워크의 형성 요인을 주된 분석 목적으로 삼았기 때문에 최종적으로는 협력 형태로 사업에 참여한 경우만을 대상으로 분석을 실시하였다.
또한 본 연구는 협력 네트워크의 형성 요인을 주된 분석 목적으로 삼았기 때문에 최종적으로는 협력 형태로 사업에 참여한 경우만을 대상으로 분석을 실시하였다. 최종적으로 분석에 사용된 데이터는 273개의 기업이 협력 형태로 471회 참여한 182건의 사업 데이터이다.
3]에 나타낸 바와 같이 이를 링크 단위로 변경하기 위해 pair data 형태로 변형하였으며, 해당 데이터는 링크가 연결되었는지 나타내는 여부를 이진 분류로 나타낸다. 이 방식으로 데이터는 273개의 기업에 대한 네트워크 조합인 273C2로 각 기간 별 37,128개이다.
상기 과정을 앞서 구축된 ODA 기간별 네트워크에 적용하여 [Table 5]와 같이 학습·평가 데이터를 구분하였으며, 이 때 훈련데이터와 평가데이터의 협력 횟수는 각각 134회, 232회이다.
따라서 Period 1의 입력변수인 과 Period 2의 목적변수인 로 학습데이터를 구축하여 학습하고, Period 2의 입력변수인 과 Period 3의 목적변수 로 평가데이터로 사용한다.
앞서 훈련된 XGB 모델을 [Table 5] 테스트 데이터를 기반으로 검증하였다.
첫 번째 예측 성공 사례로서 2011년 6월에 발주한 감리사업³⁾에서 베트남 Thang Long社와 영국의 WSP社 간의 실제 협력 사례를 들 수 있다.

데이터처리

위 과정에서 구축한 학습 모델 데이터의 입력변수에 대한 분포를 살펴보기 위해 기술통계분석을 실시하였다. [Fig.

이론/모형

최종 학습 데이터를 기반으로 XGBoost 알고리즘을 이용하여 학습모델을 구축하였다. 학습모델 구축은 R의 ‘xgboost’패키지를 사용하였다.
본 연구에서는 최적 파라미터 탐색을 위해 R의 ‘mlr’패키지 기반 GridSearch 방법을 사용하였다.
본 연구에서는 오버샘플링 기법으로 가장 많이 사용되고 있는 SMOTE (Synthetic Minority Over-sampling Technique)를 사용하였다(Chawla et al., 2002). SMOTE는 최근접 인근 알고리즘을 활용하여 소수 데이터 사이를 보간하여 새로운 데이터를 생성하는 방식이다.

성능/효과

(2015)은 건설프로젝트 내에서 협력네트워크가 구조적으로 어떻게 변화하는지 분석하였다. 그 결과 네트워크의 크기 증가에 따른 구조적 변화가 발생하며, 이 과정에서 구성원 간 경로 길이(path length)가 감소하며 상호 협력 가능성이 증가하는 것으로 나타났다.
Seo (2018)는 특허 정보에 링크예측을 적용하여 제조-서비스 융합 현상을 분석하고 향후 새롭게 융합될 기술의 동향을 예측하였다. 그 결과 132쌍의 제조-서비스 기술융합 관계 발생을 예측하였고, 이를 통해 새로운 기술융합 분야에 대한 전략 구축 방안을 제시하였다.
결과적으로 정확도(accuracy) 38,93%, 민감도(sensitivity) 70.26%의 결과가 도출되었다. 앞서 2.
즉, 실제링크(actual ‘linked’)를 올바로 예측(predicted ‘linked’)하는 것에 집중하였다. 본 모델의 민감도 70.26%는 232개 중에서 163개를 올바로 예측한 것을 의미한다.
본 WaterfallChart 그림을 통해 협력확률을 구할 때 XGB가 활용한 변수들의 영향 정도와 이들의 로그오즈 값을 살펴 볼 수 있다. 본 사례의 경우, 두 기업 간 ODA 사업 경험이 거의 유사하고(experience difference: 1회; 로그 오즈 값: 5.14), 네트워크 내의 위상 내지 중심성 차이가 적으며(degree centrality difference: 2; 로그 오즈 값: 1.7), 두 회사의 규모가 상이한 점(enterprise size=1, 로그 오즈 값; 0.58)들을 협력 확률을 높이는 요인으로 예측에 활용한 것을 볼 수 있다.
87)은 협력 확률을 낮추는 요인이었다. 본 경우는 첫 번째 사례와 동일하게 네트워크 내 위상이 유사한 것이 두 기업 간 협력 확률을 증가시키는 주요 요인이었으며, 글로벌 기업 간의 협력이면서 개별 기업의 네트워크 위상이 낮아 PA 값이 작은 것은 확률을 감소시키는 요인으로 작용하였다.
하지만, 네트워크 내 위상 차이와 선호적 연결 지표(PA)간의 관계를 보면, 위상이 비슷하더라도 해당 링크의 개별 노드에 연결된 다른 링크의 수가 적어 PA값이 낮은 경우 협력 확률이 감소하는 것을 볼 수 있다. 특히 네트워크 위상의 유사성이 높을수록 PA에 의한 확률 감소 정도가 더 크게 나타나는 것을 볼 때, 노드 간 위상이 유사하더라도 그들 자체의 위상이 낮으면 협력할 확률이 감소하며 이는 그들의 위상이 유사할수록 더 크게 작용하는 것을 알 수 있다.
이들 두 사례 뿐 아니라 XGB 모델이 올바로 예측한 163건의 waterfall chart를 종합 분석해 본 결과 특정 변수가 같은 값이라도 다른 변수들의 값이 변함에 따라 그 영향이 변화하는 것을 알 수 있었다. 즉, XGB 모델을 통해 개별 사례에 따라 유의 변수에 대한 해석이 가능하지만 변수 별 영향을 일반화 시키는 것에는 어려움이 있다.
구축된 예측모델은 민감도(sensitivity) 70.26%로 검증데이터의 실제 협력사례 232건 중 163건을 올바로 예측한 것으로 나타났다.
본 모델을 통해 개별 링크의 협력확률 도출 과정을 확인할 수 있는데, 이 과정에서 변수 별 영향이 단순히 범주화되는 것이 아닌 사례별로 상이하며 구체적인 요인 분석이 가능하다는 점을 알 수 있었다. 이를 통해 국내 기업이 협력 후보를 선정할 때 고려해야 할 구체적 기업 특성 및 실적을 파악할 수 있을 것이다.

후속연구

본 모델을 통해 개별 링크의 협력확률 도출 과정을 확인할 수 있는데, 이 과정에서 변수 별 영향이 단순히 범주화되는 것이 아닌 사례별로 상이하며 구체적인 요인 분석이 가능하다는 점을 알 수 있었다. 이를 통해 국내 기업이 협력 후보를 선정할 때 고려해야 할 구체적 기업 특성 및 실적을 파악할 수 있을 것이다.
더불어 본 예측모델은 생성되거나 소멸될 협력관계를 예측함으로써 국내기업이 향후 참여하고자 하는 특정 국가의 네트워크가 어떻게 변화될지 미리 예측해 볼 수 있다. 특히 네트워크 변화과정을 반영해 낙찰에 유리한 협력후보를 제시하는 만큼, 해당 시장에 진출하고자하는 국내 기업에게 시의 적절한 협력 후보를 맞춤형으로 추천해 주는데 활용될 것으로 기대된다.
그러나 본 연구에서는 분석 대상으로 세계은행 ODA 사업이 종료된 국가를 선정하여 다음 단계에 대한 실질적 분석은 실시하지 않았다. 이에 구축한 예측모델을 국내기업이 진출하고자 하는 신규시장에 적용함으로써 해당 시장의 협력 네트워크 변화를 예측하고, 이를 통해 해당 시장에 전략적 접근이 가능할 것으로 기대한다.
또한 실제 협력사례가 소수인 관계로 예측모델의 민감도를 향상시키는 과정에서 다수의 비협력 사례를 협력 사례로 예측함에 따라 정확도(ACC)가 하락하는 한계점이 존재하였다. 이에 향후 추가 유의변수를 도입하고, 다수의 세계은행 ODA 사업데이터로 부터 협력 사례를 추가로 수집하여 예측모델의 민감도와 정확도를 향상시킬 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	국내 엔지니어링 수주실적 건설 부문의 경우 국내 실적과 해외 실적은 어떠한가?	특히, 해외사업 수주 금액은 전년도보다 81% 증가하며 2016년 이후 상승하는 추세를 보이고 있다. 하지만 실제로 엔지니어링 사업의 수주 실적 증가는 대부분 비건설(원자력, 설비, 기계, 환경) 부문에 집중되어 있으며, 건설 부문의 경우 국내 실적은 증가하였으나 해외 실적은 감소한 것으로 나타났다(KENCA, 2019).
	위상 기반 링크예측은 무엇인가?	위상 기반 링크예측은 위상적 정보(topological information)를 기반으로 노드 사이의 유사도를 측정하여, 유사도의 임계치(cutoff) 이상의 값에서 링크가 연결될 것으로 예측하는 방법이다. 유사도 값은 이웃 노드가 연결된 링크의 수를 바탕으로 다양한 계산 공식을 바탕으로 도출되며, 본 연구에서 산정된 개별 유사도와 그 범위를 [Table 1]에 나타내었다.
	국내 건설 엔지니어링 기업이 해외 실적 향상을 위한 방법은 무엇이 있는가?	국내 건설 엔지니어링 기업은 해외 실적 향상을 위한 방안으로 세계은행의 공적개발원조 사업을 통한 해외시장 확장의 발판을 마련하고자 한다. 하지만 세계은행 사업은 한정된 사업을 두고 다수의 글로벌 기업과 경쟁하기 때문에 입찰경쟁에서 우위를 선점하고, 수원국의 제도적 조건을 충족하기 위해 적합한 사업파트너와의 협력관계 구축이 필수적이다.

참고문헌 (20)

Altman, D.G., and Bland, J.M. (1994). "Diagnostic tests. 1: Sensitivity and specificity." BMJ: British Medical Journal, 308(6943), p. 1552.

상세보기
Bastian M., Heymann S., and Jacomy M. (2009). Gephi: an open source software for exploring and manipulating networks. International AAAI Conference on Weblogs and Social Media.
Chawla, N.V., Bowyer, K.W., Hall, L.O., and Kegelmeyer, W.P. (2002). "SMOTE: synthetic minority over-sampling technique." Journal of artificial intelligence research, 16, pp. 321-357.

상세보기
Chen, T., and Guestrin, C. (2016). "Xgboost: A scalable tree boosting system." In Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining, pp. 785-794.
Fessler, J.A., and Sutton, B.P. (2003). "Nonuniform fast Fourier transforms using min-max interpolation." IEEE transactions on signal processing, 51(2), pp. 560-574.

상세보기
Frederickson, H.G., and LaPorte, T.R. (2002). Airport security, high reliability, and the problem of rationality. Public Administration Review, 62, pp. 33-43.

상세보기
KENCA (2019). Engineering Insight. Korea Engineering & Consulting Association. pp. 1-23.
Kim, T.Y. (2017). Python Deep Learning Keras with Block. Digital Books, pp. 10-340.
Klinkman, M.S., Coyne, J.C., Gallo, S., and Schwenk, T.L. (1998). "False positives, false negatives, and the validity of the diagnosis of major depression in primary care." Archives of Family Medicine, 7(5), pp. 451-461.

상세보기
KNA (2018). WB Bid Guidelines, Korea Energy Agency, pp. 3-25.
Koo, B.S., Shin, B.J., Yu, Y.S., and Jung, J.W. (2017). "Formulating International Entry Strategies for World Bank Consulting Projects Through Country-level Competitive Analysis: A Vietnam Case Study." Korean Journal of Construction Engineering and Management, KICEM, 18(4), pp. 57-66.
Lee, J.S., Lee, J.H., Han, S.H., and Kang, S.Y. (2018). "Partnering Strategy for Bidding Success in World Bank's Vietnam Consulting Project." Journal of The Korean Society of Civil Engineers, 38(6), pp. 1021-1028.
Liu, L., Han, C., and Xu, W. (2015). "Evolutionary analysis of the collaboration networks within National Quality Award Projects of China." International Journal of Project Management, 33(3), pp. 599-609.

상세보기
Mori, J., Kajikawa, Y., Kashima, H., and Sakata, I. (2012). "Machine learning approach for finding business partners and building reciprocal relationships." Expert Systems with Applications, 39(12), pp. 10402-10407.

상세보기
Seo. H.B. (2017). A Deep Learning based Approach to Prediction of Technological Convergence, Seoul National Univ. of Science & Technology Master's Thesis, pp. 1-50.
Seo. H.B., and Lee. H.Y. (2018). "Predicting the Technological Convergence between Manufacturing and Service based on SVM-based Link Prediction." Journal of the Korean Institute of Industrial Engineers, 44(2), pp. 141-152.

상세보기
Wang, P., Xu, B., Wu, Y., and Zhou, X. (2015). "Link prediction in social networks: the state-of-the-art." Science China Information Sciences, 58(1), pp. 1-38.

상세보기
World Bank (2018). IBRD/IDA/IFC/MIGA Guidance Country Engagement. World Bank, pp. 3-46.
Yap, B.W., Rani, K.A., Rahman, H.A.A., Fong, S., Khairudin, Z., and Abdullah, N.N. (2014). "An application of oversampling, undersampling, bagging and boosting in handling imbalanced datasets." In Proceedings of the first international conference on advanced data and information engineering (DaEng-2013), pp. 13-22. Springer, Singapore.
Zheng, X., Le, Y., Chan, A.P., Hu, Y., and Li, Y. (2016). "Review of the application of social network analysis (SNA) in construction project management research." International Journal of project management, 34(7), pp. 1214-1225.

상세보기

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증