급속도로 변화하는 과학기술 환경 속에서 기업들은 현존하는 기술의 발전을 모니터링함과 동시에 새롭게 부상하는 유망기술을 찾아야만 경쟁력을 가질 수 있다. 각 국가에서는 경쟁적으로 유망연구 영역을 찾고 있는데, 대부분의 국가에서는 전문가 평가를 기반으로 한 델파이 방법으로 유망기술을 탐색하고 있다. 그러나 델파이와 같은 전문가방식은 기본적으로 전문가의 주관적 판단에 의지하기 때문에 편향성과 이에 따른 문제가 발생한다. 본 연구에서는 델파이 방법의 기술예측방법이 가지는 문제점을 개선하기 위해 과학계량학적 방법으로 유망연구영역을 탐색하였다. 탐색과정에서는 다음 3가지의 특별한 노력을 통해 과학계량학적 방법의 성능을 제고하고자 하였다. 첫째, 데이터베이스 선정에 있어서 공학 등 저널수가 적은 기술분야에서도 유망연구영역의 도출이 가능한가를 고려하였다. 둘째, 과학기술 전분야를 대상으로 하는 분석에서 과학기술분야별로 가지고 있는 인용수의 차이로 인해 발생하는 문제점을 해결하고자 부분인용계상(fractional citation counting)과 이동평균을 이용한 선형회귀분석을 도입하였다. 셋째, 과학계량학적 분석으로 나온 결과를 정성적으로 검증하여 과학계량학적 방법에 의한 오류를 최소화 하였다. 최종 290개의 유망연구영역을 선정하였으며, 각 영역은 기술의 네트워크상에서 가시화하였다. 본 연구에서는 Scopus 데이터베이스가 사용되었으며, 데이터마이닝과 가시화에는 한국과학기술정보연구원에서 개발한 KnowledgeMatrix가 사용되었다.
급속도로 변화하는 과학기술 환경 속에서 기업들은 현존하는 기술의 발전을 모니터링함과 동시에 새롭게 부상하는 유망기술을 찾아야만 경쟁력을 가질 수 있다. 각 국가에서는 경쟁적으로 유망연구 영역을 찾고 있는데, 대부분의 국가에서는 전문가 평가를 기반으로 한 델파이 방법으로 유망기술을 탐색하고 있다. 그러나 델파이와 같은 전문가방식은 기본적으로 전문가의 주관적 판단에 의지하기 때문에 편향성과 이에 따른 문제가 발생한다. 본 연구에서는 델파이 방법의 기술예측방법이 가지는 문제점을 개선하기 위해 과학계량학적 방법으로 유망연구영역을 탐색하였다. 탐색과정에서는 다음 3가지의 특별한 노력을 통해 과학계량학적 방법의 성능을 제고하고자 하였다. 첫째, 데이터베이스 선정에 있어서 공학 등 저널수가 적은 기술분야에서도 유망연구영역의 도출이 가능한가를 고려하였다. 둘째, 과학기술 전분야를 대상으로 하는 분석에서 과학기술분야별로 가지고 있는 인용수의 차이로 인해 발생하는 문제점을 해결하고자 부분인용계상(fractional citation counting)과 이동평균을 이용한 선형회귀분석을 도입하였다. 셋째, 과학계량학적 분석으로 나온 결과를 정성적으로 검증하여 과학계량학적 방법에 의한 오류를 최소화 하였다. 최종 290개의 유망연구영역을 선정하였으며, 각 영역은 기술의 네트워크상에서 가시화하였다. 본 연구에서는 Scopus 데이터베이스가 사용되었으며, 데이터마이닝과 가시화에는 한국과학기술정보연구원에서 개발한 KnowledgeMatrix가 사용되었다.
In todays environment in which scientific technologies are changing very fast than ever, companies have to monitor and search emerging technologies to gain competitiveness. Actually many nations try to do that. Most of them use Dephi approach based on experts review as a searching method. But expert...
In todays environment in which scientific technologies are changing very fast than ever, companies have to monitor and search emerging technologies to gain competitiveness. Actually many nations try to do that. Most of them use Dephi approach based on experts review as a searching method. But experts review has been criticised for probability of inclination and its derivative problems in the sense that it is accomplished only by expert's subjectivity. To overcome such problems, we used Scientometric Method for identifying emerging technology that had been done by Delphi as a rule. We made three particular efforts in order to improve the Quality of the result. Firstly, we selected one alternative database between SCI and Scopus hoping to see evenly-distributing results in wide fields on the front burner. Secondly we used Fractional citation counting in counting citation number in the stage of linear regression analysis. Lastly, we verified Scientometric result with experts opinions to minimize probable errors in a Scientometric research. As a result, we derived 290 emerging technologies from Scientometric analysis with Scopus Database, and visualized them on 2-dimension map with data mining system named KnowledgeMatrix which was developed by KISTI.
In todays environment in which scientific technologies are changing very fast than ever, companies have to monitor and search emerging technologies to gain competitiveness. Actually many nations try to do that. Most of them use Dephi approach based on experts review as a searching method. But experts review has been criticised for probability of inclination and its derivative problems in the sense that it is accomplished only by expert's subjectivity. To overcome such problems, we used Scientometric Method for identifying emerging technology that had been done by Delphi as a rule. We made three particular efforts in order to improve the Quality of the result. Firstly, we selected one alternative database between SCI and Scopus hoping to see evenly-distributing results in wide fields on the front burner. Secondly we used Fractional citation counting in counting citation number in the stage of linear regression analysis. Lastly, we verified Scientometric result with experts opinions to minimize probable errors in a Scientometric research. As a result, we derived 290 emerging technologies from Scientometric analysis with Scopus Database, and visualized them on 2-dimension map with data mining system named KnowledgeMatrix which was developed by KISTI.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이것은 자동주제발견(auto topic discovery)이나 다문서요약(multi-document summarization) 기법을 사용하여 어느 정도 묘사가 가능하나 영역의 정확한 정의를 위해서는 전문가들이 직접 명명하는 것이 가장 최선의 방법일 것이다. 따라서 본 논문에서는 유망연구영역 선정의 최종단계에서 한국과학기술정보연구원 소속 연구원, 대학교수, 퇴직과학자(www.reseat.re.kr) 등의 관련 분야 전문가들로 하여금 영역을 정의하게 하고, 그 영역이 전문가적 관점에서 한국의 미래 유망연구영역으로서 타당한지와 영역을 이루는 논문집단은 공통된 주제를 내포하고 있는지에 대해 검증하도록 하였다. 이 과정에서는 전문가의 주관적인 의견이 검증에 다소간 반영될 것이다.
유망연구영역 후보들은 몇 가지 통계 기법으로 그 유망성을 판단할 수 있다. 마지막 단계에서는 계량분석을 통해 나온 정량적인 결과를 전문가를 활용하여 정성적으로 검증함으로써 계량분석이 가지는 근본적인 약점을 보완하고자 하였다. 최종 확정된 유망연구영역은 영역별로 기술구성을 찾고 세부기술 간의 관계를 쉽게 파악할 수 있도록 2차원 매핑 알고리즘을 사용하여 가시화 하였다.
본 논문에서는 레퍼런스의 분포를 계산하여( 참조) 표준편차 구간으로 계급화하여 가중치를 결정함으로써 부분인용계상방법을 보완하고자 하였다.
본 논문에서는 여기에 추가적으로 영역별로 세부 연구가 어떻게 구성되어 있는지 파악하기 위하여 KISTI에서 개발한 KnowledgeMatrix를 사용하여 핵심논문들을 서지결합의 네트워크 관계로 가시화하였다( 참조).
본 연구에서는 과학계량학을 이용하여 논문을 객관적으로 정량화하여 탐구적으로 유망연구영역을 발굴하고자 하였다. 그러나 아쉽게도 유망성이라는 것은 현재시점에서 결론 내리기 쉬운 문제가 아니다.
특히 최근 연구성과의 질적인 측면의 중요성을 강조하면서 ‘인용’이 널리 사용되고 있는데(Cole 2000; Moed 2005), 인용 목적의 상이성(Small 1982; Liu 1993; Case and Higgins 2000)과 분야별 인용수 차이(Egghe and Rousseau 1990)의 문제가 제기되는 등 ‘인용’이 평가지표로서 적합한가에 대한 논란이 계속되고 있다. 본 연구에서는 과학계량학이 가지는 한계를 극복하기 위하여 다음 3가지의 특별한 노력을 하였다. 첫째, 데이터베이스 선정에 있어서 공학 등 저널수가 적은 기술분야에서도 유망연구영역의 도출이 가능한가를 고려하였다.
본 연구에서는 델파이 방법의 기술예측이 가지는 문제점을 개선하기 위해 과학계량학을 이용하여 한국의 미래 과학기술 유망연구영역을 탐색하였다. 그러나 여기에서 주지해야 할 사실은 과학계량학만을 사용하는 평가는 분명히 문제점을 안고 있다는 것이다.
중장기 유망연구영역의 선정이라는 관점에서는 이렇듯 변화무쌍한 공인용분석은 오히려 단점으로 작용한다. 이에 본 논문에서는 서지결합법을 이용하며, 그 연구기간을 일정기간으로 절단하고 통계적 분석을 사용하여 영역들을 선별하고자 하였다.
제안 방법
그리고 연구영역간의 상대적인 발전가능성의 비교만을 목적으로 하였기 때문에 회귀기울기인 β에만 관심을 두었다.
2와 최대 클러스터 사이즈 50을 적용하여 5,446개의 연구영역을 확보하였다. 다음 단계로 영역별로 인용하고 있는 논문에 대해 부분인용계상과 3기 이동평균을 적용하여 선형회귀분석을 수행하고 회귀기울기가 0.5 이상인 영역을 추출, 353개의 유망연구영역 후보군을 도출하였다. 353개의 후보군 중에서 전문가 검증에서 유망하지 않다고 판단된 38개 영역과 최다분류가 과학기술이 아닌 25개 영역을 제외하고 최종 290개의 과학기술 유망연구영역을 선정하였다(<그림 3> 참조).
첫째, 데이터베이스 선정에 있어서 공학 등 저널수가 적은 기술분야에서도 유망연구영역의 도출이 가능한가를 고려하였다. 둘째, 과학기술 전 분야를 대상으로 하는 분석에서 과학기술분야별로 가지고 있는 인용수의 차이로 인해 발생하는 문제점을 해결하고자 부분인용 계상(fractional citation counting)과 이동평균을 이용한 선형회귀분석을 도입하였다. 셋째, 과학계량학적 분석으로 나온 결과를 정성적으로 검증하여 과학계량학적 방법에 의한 오류를 최소화 하였다.
본 논문에서는 영역별로 포함된 논문들을 분류(Scopus에서 제공하는 27개 분류)별로 합하여 가장 많이 나온 분류를 영역의 중심분류로 하여 에 나타내었다.
KnowledgeMatrix는 국내외 유수의 특허논문데이터베이스에 대해 데이터 입력이 가능하도록 설계되어 있으며, 필요시에는 사용자가 입력 형태를 간단히 설정할 수 있도록 되어있다. 본 연구에서는 Scopus 데이터베이스를 XML 형태로 수집하였기 때문에 서지정보를 KnowledgeMatrix가 인식할 수 있도록 텍스트형태로 변환하는 작업을 수행하였다.
Single-linkage는 유사도 매트릭스(dissimilarity, distance)를 활용하여 항목 간 최단거리를 기준으로 군집화하는 방식으로, 계산알고리즘이 단순하여 대규모 데이터 처리에 자주 이용된다. 본 연구에서는 두 논문의 유사성을 정의하기 위해 코사인 계수가 0.2미만인 경우는 유사도를 0으로 설정하였으며, Single-linkage에 발생하는 연쇄(chaining) 문제를 없애기 위하여 영역의 최대 크기를 논문 50개로 제한하였다.
본 연구에서는 서지결합법을 통해 도출된 유망연구영역 후보군 중에서 최종 유망연구영역을 선별할 때, 회귀분석 과정에서 이용된 피인용수 계산에 부분이용계상방식을 적용하였다. 본 연구에 사용된 고인용논문 7만2,299편을 인용하고 있는 147만349편의 인용논문에 대한 레퍼런스 수의 분포는 <그림 2>와 같다.
마지막 단계에서는 계량분석을 통해 나온 정량적인 결과를 전문가를 활용하여 정성적으로 검증함으로써 계량분석이 가지는 근본적인 약점을 보완하고자 하였다. 최종 확정된 유망연구영역은 영역별로 기술구성을 찾고 세부기술 간의 관계를 쉽게 파악할 수 있도록 2차원 매핑 알고리즘을 사용하여 가시화 하였다.
대상 데이터
본 연구에 사용된 고인용논문 7만2,299편을 인용하고 있는 147만349편의 인용논문에 대한 레퍼런스 수의 분포는 <그림 2>와 같다. 3,730개의 레퍼런스가 가장 많은 수치이며, 최소 1편의 논문을 인용하고 있다. 논문들 중에서 30개의 레퍼런스를 가지는 논문이 3만 1,955개로 가장 많은 분포를 차지하고 있다.
353개의 후보군 중에서 전문가 검증에서 유망하지 않다고 판단된 38개 영역과 최다분류가 과학기술이 아닌 25개 영역을 제외하고 최종 290개의 과학기술 유망연구영역을 선정하였다( 참조).
본 논문에서는 논문들의 성장속도를 예측하기 위하여 선형회귀 방정식을 이용하였다. 논문발표수는 저널의 발행기간이 정해져 있고, 기술적 이슈 발견과 연동하여 자기상관을 가질 수 있다. 그러나 이러한 계절 혹은 계열적인 요인을 배제하면 간단한 선형회귀만으로도 중기적 관점의 예측이 가능하다.
특히 동일한 철자를 가진 단어가 분야별로 다른 의미로 사용되는 경우가 빈번하다. 따라서 본 연구에서는 논문을 분석대상 객체로 선정하였다. 동시발생을 이용하여 논문을 분석하는 경우에도 키워드와 인용을 활용하여 분석하는 것이 가능한데 키워드의 경우 위에서 설명한 것과 같은 이유로 대규모 데이터에서는 적절치 않는 분석기법이 된다.
본 논문에서는 Scopus 데이터베이스에서 최근 5년간(2002~2006), 연도별 294개 분야별 피인용율이 상위 1%에 속하는 고인용논문 7만2,299를 서지결합법으로 군집화하고, 최소 연결계수 0.2와 최대 클러스터 사이즈 50을 적용하여 5,446개의 연구영역을 확보하였다. 다음 단계로 영역별로 인용하고 있는 논문에 대해 부분인용계상과 3기 이동평균을 적용하여 선형회귀분석을 수행하고 회귀기울기가 0.
본 논문에서는 Scopus를 이용하여 최근 5년간(2002~2006년)에 걸쳐 각 연도별, Scopus 데이터베이스의 294개 분야별 피인용율이 상위 1%에 속하는 고피인용논문 7만2,299편과 이를 인용하는 147만250편의 논문을 취하여 정보분석을 실시하였다( 참조).
본 논문에서는 피인용율 상위 1%에 해당하는 논문집단인 고인용논문(higly cited papers)을 분석을 위한 기초데이터로 활용하였다. 고인용논문은 탁월한 성과를 보이는 과학적 연구를 모니터링하고 찾아내기 위한 잠재적인 대표집단으로 여겨지고 있다.
본 연구에 사용된 고인용논문 7만2,299편을 인용하고 있는 147만349편의 인용논문에 대한 레퍼런스 수의 분포는 와 같다.
데이터처리
기술분야별 분포의 편중은 과학기술 활동의 편중과도 상관이 있겠지만, Scopus 데이터베이스에 포함된 분류별 논문의 개수와도 밀접한 관계가 있을 것이다. 본 논문에서는 이러한 영향을 최소화하기 위하여 분류를 세분화하여 데이터를 수집하였고, 유망성 계량과정에는 부분인용계상과 선형회귀분석을 사용하였다. 영역에 속하는 분류가 다 분류로 나타나기 때문에, 실제 영역의 분류별 분포는 <표 2>와 차이가 있을 가능성도 있다.
이론/모형
따라서 데이터축소의 작업이 정량분석에서 가장 중요한 작업이라 할 수 있다. 데이터축소 알고리즘은 여러 가지가 있는데 본 연구에서는 군집화 알고리즘을 사용한다. 군집화 결과는 개별 논문들이 군집의 형태로 나오게 된다.
본 논문에서는 논문들의 성장속도를 예측하기 위하여 선형회귀 방정식을 이용하였다. 논문발표수는 저널의 발행기간이 정해져 있고, 기술적 이슈 발견과 연동하여 자기상관을 가질 수 있다.
정형화된 데이터도 데이터분석에 활용되는 소프트웨어가 인식할 수 있는 형태로 변환을 해 주어야 한다. 본 연구에서는 한국과학기술정보연구원에서 개발한 KnowledgeMatrix를 사용하여 정량분석을 수행하였다. KnowledgeMatrix는 최종분석에서 연구영역별 세부 기술의 네트워크 가시화에도 사용된다.
2007년에 구축된 이 시스템은 미래유망기술 발굴, 연구자간 공동 연구 추진현황, 전문가 발굴, 인용지수(impact factor)에 의한 질적 평가, 인용도 분석 등 추적평가 등에 적용하고 있다. 이 시스템에서 핵심을 차지하는 미래유망기술 발굴 프로세스는 동시단어분석을 기반으로 한다.
이 연구에서는 Small(1997)이 사용한 것과 같은 “humpty-dumpty”라는 블록모델(Blockmodel) 기법을 사용하여 동시인용분석을 수행 하였다.
성능/효과
본 연구에서 SCI와 Scopus 데이터베이스를 선택함에 있어서 가장 중요하게 고려한 사항은 데이터베이스의 “분류”체계였다.
셋째, 과학계량학적 결과물은 전문가 평가를 위한 보조지표로 뿐만 아니라 평가를 위한 주지표로 사용할 수 있다.
둘째, 과학기술 전 분야를 대상으로 하는 분석에서 과학기술분야별로 가지고 있는 인용수의 차이로 인해 발생하는 문제점을 해결하고자 부분인용 계상(fractional citation counting)과 이동평균을 이용한 선형회귀분석을 도입하였다. 셋째, 과학계량학적 분석으로 나온 결과를 정성적으로 검증하여 과학계량학적 방법에 의한 오류를 최소화 하였다.
Bengisu and Nekhili(2006)는 터키에서 델파이 기법으로 나온 Turkey's Vision 2023(TUBITAK 2004) 기술예측 결과 중 “Machine and Materials”에 속하는 20개의 기술에 대해 과학계량학적으로 유망성을 검증 하였다. 연도별 논문 및 특허의 발생 빈도와 이들의 연도별 유사성, Gompertz와 logistic 성장곡선 예측법이 사용된 검증에서 20개의 기술 중 적어도 5개의 기술에 대해서는 델파이 기법과 다른 결과(유망성 부적함)를 보여, 과학계량학의 필요성을 증명하였다. 이 밖에도 Kuusi and Meyer(2007)는 Nantero Inc.
후속연구
이를테면 최종 결과에 나타나는 화성탐사와 관련된 연구가 한국의 미래 유망연구영역인가에 대한 검증은 오로지 전문가의 판단에 의존할 뿐이다. 그러나 본 논문에서는 이러한 부정적인 측면보다는 정량분석으로 인해 발생하는 문제점을 보완할 수 있는 긍정적인 측면이 더욱 클 것이라고 기대한다.
둘째, 산업적 효과의 불확실성으로 인해 기존에 전문가 집단에 의해서는 부각되지 못했던 소외된 연구에 대해서도 유망성을 검증할 기회를 가질 수 있다.
영역에 속하는 분류가 다 분류로 나타나기 때문에, 실제 영역의 분류별 분포는 <표 2>와 차이가 있을 가능성도 있다. 또한 두 세개 기술이 고르게 분포하는 경우 최근에 이슈가 되고 있는 융합기술(convergence technology)로 생각해 볼 수도 있으나(Okuwada 2008), 융합기술에 대한 판단 기준의 확립과 선행연구 등이 필요하므로, 차후 연구로 미뤄 두고자 한다.
첫째, 본 연구에서와 같은 과학계량적 분석 프로세스가 체계적으로 정립될 경우 델파이 방식과 비교해 볼 때 유망연구영역 선정에 있어서 시간과 비용 절감의 효과를 기대할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
군집화를 통해 도출된 연구영역은 어떤 영역인가요?
군집화를 통해 도출된 연구영역은 영역들의 유사성과 유망성이 검증되지 않은 영역이다. 그래서 이 영역들을 본 논문에서는 유망연구 영역후보군이라고 정의하였다.
과학계량학이 가지는 한계를 극복하기 위하여 어떤 특별한 노력을 하였나요?
본 연구에서는 과학계량학이 가지는 한계를 극복하기 위하여 다음 3가지의 특별한 노력을 하였다. 첫째, 데이터베이스 선정에 있어서 공학 등 저널수가 적은 기술분야에서도 유망연구영역의 도출이 가능한가를 고려하였다. 둘째, 과학기술 전 분야를 대상으로 하는 분석에서 과학기술분야별로 가지고 있는 인용수의 차이로 인해 발생하는 문제점을 해결하고자 부분인용 계상(fractional citation counting)과 이동평균을 이용한 선형회귀분석을 도입하였다. 셋째, 과학계량학적 분석으로 나온 결과를 정성적으로 검증하여 과학계량학적 방법에 의한 오류를 최소화 하였다.
유망연구의 개념에서 가장 먼저 언급될 것은 어떤 개념인가요?
유망연구의 개념에서 가장 먼저 언급될 것은 “최근 들어 급격한 성장을 보이는 영역”이라는 개념이다(Poter et al. 2002; Corrocher et al.
참고문헌 (45)
정보통신연구진흥원. 2007. Raius를 통한 IT 미래유망기술 발굴. 대전: 동연구소.
한국화학공학회. 2005. 과학기술정책동향-과학기술부, NEWS & INFORMATION FOR CHEMICAL ENGINEERS, 23(5): 512-513.
Aksnes D. W. 2003. “Characteristics of highly cited papers.” Research Evaluation, 12(3): 159-170.
Bengisu, M. and R. Nekhili. 2006. “Forecasting emerging technologies with the aid of science and technology databases.” Technological Forecasting and Social Change, 73(7): 835-844.
Bauin, S., B. Michelet, M. G. Schweighoffer and P. Vermeulin. 1991. “Using bibliometrics in strategic analysis: Understanding Chemical Reactions at CNRS.” Scientometrics, 22: 113-137.
Callon, M., J. P. Courtial, and F. Laville. 1991. “Co-word analysis as a tool for describing the network of interactions between basic and technological research: The case of polymer chemistry” Scientometrics, 22(1): 155-205.
Case, D. O., and G. M. Higgins. 2000. “How can we investigate citation behavior? A study of reasons for citing literature in communication.” Journal of the American Society for Information Science, 51(7): 635-645.
Chen, C. and S. Morris. 2003. “Visualizing evolving networks: Minimum spanning trees versus Pathfinder networks.” Proceedings of IEEE Symposium on Information Visualization, IEEE Computer Society Press, 67-74.
Chubin D. E., and E. J. Hackett. 1990. “Peer review and the printed word.” In: Chubin DE, Hackett E.J. Peerless Science: Peer Review and U.S. Science Policy. Albany, NY: SUNY Press.
COLE, J. R. 2000. “A short history of the use of citations as a measure of the impact of scientific and scholarly work.” In: B. CRONIN, H. B. ATKINS (Eds), The Web of Knowledge. A Festschrift in Honor of Eugene Garfield. Medford, NJ, USA, Information Today, 281？300.
Corrocher, N., F. Malerba, and F. Montobbio. 2003. “The emergence of new technologies in the ICT field: main actors, geographical distribution, and knowledge sources.” Working Papers of Faculty of Economics Universit? degli Studi dell'Insubria, 37 Varese, Italy.
Day, G. S. and P. J. H. Schoemaker. 2000. “A different game. In G. S. Day & P. J. H. Schoemaker(Eds.).” Wharton on Managing Emerging Technologies. New York: John Wiley & Sons.
Egghe, L., and R. Rousseau. 1990. “Introduction to informetrics. Quantitative Methods in Library.” Documentation and Information Science. Amsterdam: Elsevier, 203？290.
European Commission. 2001. Key Figures 2001. Special edition. Indicators for benchmarking of national research policies(Brussels).
Garfield E. 1993. “Essays of an Information Scientist.” ISI Press, 15: 75-83.
Glanzel, W., and H. Czerwon. 1996. “A new methodological approach to bibliographic coupling and its application to the national, regional and institutional lenel.” Scientometrics, 37: 195-221.
Hung, S. C., and Y. Y. Chu. 2006. “Stimulating new industries from emerging technologies: challenges for the public sector.” Technovation, 26(1): 104-110.
Kuusi, O. and M. Meyer. 2007. “Anticipating technological breakthroughs: Using bibliographic coupling to explore the nanotubes paradigm.” Scientometrics, 70(3): 759-777.
Kostoff, R. N. 1994. “Assessing research impact: US. government retrospective and quantitative approaches.” Science and Public Policy, 2(1).
Liu, M. 1993. “Progress in documentation: the complexities of citation practice: a review of citation studies.” Journal of Documentation, 49(4): 370-408.
Martin, B. R., and J. Irvine. 1983. “Assessing basic research. Some partial indicators of scientific progress in radio astronomy.” Research Policy, 12: 61-90.
Miranda Santo, M., G. Massari Coelho, D. M. dos Santos, and L. Fellows Filho. 2006. “Text mining as a valuable tool in foresight exercises: a study on nanotechnology.” Technological Forecasting & Social Change, 1013？1027.
Moed, H. F. 2005. Citation analysis in research evaluation. New York: Springer.
Morris, S. A. 2005. Unified mathematical treatment of complex cascaded bipartite networks: The case of collections of journal papers, Ph.D. diss., University of Oklahoma.
NISTEP, Japanese website. .
Norris, M., and C. Oppenheim. 2007. “Comparing alternatives to the Web of Science for coverage of the social sciences' literature.” Journal of Informetrics, 1-9.
Okuwada, K. 2008. “Elements of Convertging Technologies.” CACCI Journal, 1: 1-6.
Park, H. W., C. W. Lee and W. D. Yeo. 2007. “Development of Information Model to Identify Emerging Technologies.” Jornal of Information Management, 38(4): 1-21.
Porter, A. L., D. Roessner, X. Y. Jin & N. C. Newman. 2002. “Measuring national emerging technology capabilities.” Science and Technology Policy, 29(3): 189-200.
Salton, G. 1989. Automatic text processing: the transformation, analysis, and retrieval of information by computer. Reading: Addison-Wesley.
Salton G., and M. J. McGill 1983, Introduction to Modern Information Retrieval, McGraw-Hill, New York
Schvaneveldt, R. W., F. T. Durso and D. W. Dearholt. 1989. “Network structures in proximity data.” The psychology of learning and motivation: Advances in research and theory, Academic Press, San Diego, Calif., 24: 249-284.
Small, H. 1973. “Co-citation in the scientific literature: a new measure of the relationship between two documents.” Journal of the American Society for Information Science, 24(4): 265？269.
Small H. 2003. “Paradigms, citations and maps of science: a personal history.” Journal of the American Society for Information Science and Technology, 54(5): 394-399.
Tijssen R. J. W., M. S. Visser and T. N. van Leeuwen. 2002. “Benchmarking international scientific excellence: are highly cited research papers an appropriate frame of reference?” Scientometrics, 54(3): 381-397.
TUBITAK. 2004. Vision 2023 Technology Foresight Delphi Survey Final Report.
Wheatley, K. K. and D. Wilemon. 1999. “From Emerging Technology to Competitive Advantage.” in Portland International Conference on the Management of Engineering and Technology (PICMET).
Whittaker, J. 1989. “Creativity and conformity in science: Titles, keywords and co-word Analysis.” Social Studies of Science, 19: 473-496.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.