[논문]Bidirectional Convolutional LSTM을 이용한 Deepfake 탐지 방법

이대현; 문종섭

doi:10.13089/jkiisc.2020.30.6.1053

Bidirectional Convolutional LSTM을 이용한 Deepfake 탐지 방법
A Method of Detection of Deepfake Using Bidirectional Convolutional LSTM 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.30 no.6, 2020년, pp.1053 - 1065

초록
AI-Helper

최근 하드웨어의 성능과 인공지능 기술이 발달함에 따라 육안으로 구분하기 어려운 정교한 가짜 동영상들이 증가하고 있다. 인공지능을 이용한 얼굴 합성 기술을 딥페이크라고 하며 약간의 프로그래밍 능력과 딥러닝 지식만 있다면 누구든지 딥페이크를 이용하여 정교한 가짜 동영상을 제작할 수 있다. 이에 무분별한 가짜 동영상이 크게 증가하였으며 이는 개인 정보 침해, 가짜 뉴스, 사기 등에 문제로 이어질 수 있다. 따라서 사람의 눈으로도 진위를 가릴 수 없는 가짜 동영상을 탐지할 수 있는 방안이 필요하다. 이에 본 논문에서는 Bidirectional Convolutional LSTM과 어텐션 모듈(Attention module)을 적용한 딥페이크 탐지 모델을 제안한다. 본 논문에서 제안하는 모델은 어텐션 모듈과 신경곱 합성망 모델을 같이 사용되어 각 프레임의 특징을 추출하고 기존의 제안되어왔던 시간의 순방향만을 고려하는 LSTM과 달리 시간의 역방향도 고려하여 학습한다. 어텐션 모듈은 합성곱 신경망 모델과 같이 사용되어 각 프레임의 특징 추출에 이용한다. 실험을 통해 본 논문에서 제안하는 모델은 93.5%의 정확도를 갖고 기존 연구의 결과보다 AUC가 최대 50% 가량 높음을 보였다.

Abstract ▼ AI-Helper

With the recent development of hardware performance and artificial intelligence technology, sophisticated fake videos that are difficult to distinguish with the human's eye are increasing. Face synthesis technology using artificial intelligence is called Deepfake, and anyone with a little programming skill and deep learning knowledge can produce sophisticated fake videos using Deepfake. A number of indiscriminate fake videos has been increased significantly, which may lead to problems such as privacy violations, fake news and fraud. Therefore, it is necessary to detect fake video clips that cannot be discriminated by a human eyes. Thus, in this paper, we propose a deep-fake detection model applied with Bidirectional Convolution LSTM and Attention Module. Unlike LSTM, which considers only the forward sequential procedure, the model proposed in this paper uses the reverse order procedure. The Attention Module is used with a Convolutional neural network model to use the characteristics of each frame for extraction. Experiments have shown that the model proposed has 93.5% accuracy and AUC is up to 50% higher than the results of pre-existing studies.

주제어

표/그림 (16)

그림 Fig. 1. Overall structure of proposed method
그림 Fig. 2. Example of Image
그림 Fig. 3. Detailed structure of the proposed model
그림 Fig. 4. Structure of the Convolutional LSTM
그림 Fig. 6. Detailed structure of the Convolution Block and Sequential layer
그림 Fig. 5. Structure of the Bi-LSTM
그림 Fig. 7. Structure of the Fully-connected layer
표 Table 1. First generation Deepfake data set
표 Table 2. Second generation Deepfake data set
표 Table 3. Dataset for Deepfake detection
표 Table 4. Learning algorithm of proposed model
그림 Fig. 8. Visualization of the confusion matrix
그림 Fig. 9. Grad-CAM visualization results
표 Table 5. The comparison of different methods(AUC)
표 Table 6. The comparison of different methods(Accuracy)
표 Table 7. Evaluation of our method

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 인접한 프레임의 불연속적인 특징을 시간의 순방향뿐만 아니라 역방향으로도 학습하는 딥페이크 탐지 모델을 제안하였다. 기존 합성곱 신경망과 LSTM 셀을 단순하게 연결한 모델보다 Convolutional LSTM을 이용하면 딥페이크 탐지 시에 높은 정확도를 나타내는 것을 확인하였다.
이와 같이 딥페이크 기술로 인해 사회적으로 많은 문제가 발생하고 있는 반면, 현재까지 딥페이크에 대한 뚜렷한 대책과 대응 방안은 제시되지 않았다. 이에 가짜 동영상으로 인한 피해를 예방하고자 본 논문에서는 딥페이크 영상을 탐지하는 모델을 제안한다.

제안 방법

Fig. 1.과 같이 본 논문에서 제안하는 모델은 Convolution Block, Sequential layer, Fully-Connected layer로 구성된다.
첫째, 본 논문에서 제안하는 모델이 기존 제안된 모델들이 탐지하지 못하던 데이터 셋을 학습하여 높은 성능을 보인다. 둘째, 프레임간 지속적으로 나타나는 불연속적인 위치를 특정하여 후속 연구의 학습범위로 제안한다. 마지막으로 기존 Full y-connectedlayer와 LSTM모델을 단순하게 연결한 FC-LSTM 기반 딥페이크 탐지 모델보다 공간적, 시간적 특징을 효율적으로 학습하는 방법을 제안한다.
둘째, 프레임간 지속적으로 나타나는 불연속적인 위치를 특정하여 후속 연구의 학습범위로 제안한다. 마지막으로 기존 Full y-connectedlayer와 LSTM모델을 단순하게 연결한 FC-LSTM 기반 딥페이크 탐지 모델보다 공간적, 시간적 특징을 효율적으로 학습하는 방법을 제안한다.
본 논문에서는 Fully-Connected layer를 분류층으로써 사용한다. Convolution Block, Sequen tial layer를 거쳐 출력된 특징을 학습하여 딥페이크 영상인지 실제 영상인지 판별한다.
본 논문에서는 동영상의 프레임별 특징을 추출하기 위해 합성곱 신경망 모델 중 하나인 XceptionN et과 중요한 특징에 가중치를 주어 학습하는 어텐션 모듈을 이용한다.
본 논문에서는 양방향 순환 신경망을 활용한 딥페이크 탐지 모델을 제안한다.
실험은 Celeb-DF 데이터 셋을 학습하여 딥페이크 동영상 탐지를 수행하는 방식으로 진행하였다. Grad-CAM을 이용하여 본 논문에서 제안한 모델이 딥페이크 동영상 판별할 때 영향을 준 구역을 확인하였다.

대상 데이터

본 논문에서 제안하는 모델은 딥페이크 데이터 셋을 학습한다. 전 처리된 데이터 셋을 이용하여 Con volution Block에 입력한다.
실험에 사용한 데이터 셋은 딥페이크 탐지에 많이 사용되는 2세대 데이터 셋인 Celeb-DF를 이용하였다. 본 논문에서 제안하는 모델의 기본 구조는 Xcep tionNet이기 때문에 기존 XceptionNet을 이용한 탐지 모델들과 본 논문에서 제안하는 모델과 비교를 하기 위해서 Celeb-DF 데이터 셋을 이용하였다. 실험에 사용한 데이터 셋의 구성은 Table 3.
Celeb-DF 데이터 셋의 각 동영상은 30개의 프레임으로 구성되어 있으며 딥페이크 동영상은 유튜브에 업로드된 동영상을 이용하여 생성하였다. 실제 동영상은 총 59명의 인터뷰 영상이며, 성별 및 나이를 균형 있게 선별되어 있다. 실험에 사용된 동영상은 인물이 바라보는 방향, 조명, 배경 등이 다양하여 본 논문이 제안하는 딥페이크 탐지 모델에 적합하다.
실험에 사용한 데이터 셋은 딥페이크 탐지에 많이 사용되는 2세대 데이터 셋인 Celeb-DF를 이용하였다. 본 논문에서 제안하는 모델의 기본 구조는 Xcep tionNet이기 때문에 기존 XceptionNet을 이용한 탐지 모델들과 본 논문에서 제안하는 모델과 비교를 하기 위해서 Celeb-DF 데이터 셋을 이용하였다.
학습을 위해 6,229개 동영상을 사용하였다. 우선 Celeb-DF 데이터 셋의 각 동영상을 30개의 프레임으로 분리한 뒤 얼굴만 추출하는 전처리 과정을 진행하였다.

데이터처리

실험은 Celeb-DF 데이터 셋을 학습하여 딥페이크 동영상 탐지를 수행하는 방식으로 진행하였다. Grad-CAM을 이용하여 본 논문에서 제안한 모델이 딥페이크 동영상 판별할 때 영향을 준 구역을 확인하였다.
딥페이크 탐지 모델의 성능을 더 정확하고 자세하게 평가하기 위해서 인식 및 탐지 모델의 성능을 평가하는데 많이 쓰이는 Precision, Recall, F1-score를 계산한다. 본 논문에서 제안하는 모델의 Precision, Recall, F1-score 결과를 식(15)~(17) 과 같이 측정한다.

이론/모형

본 논문에서 제안하는 모델이 훈련 데이터 셋을 얼마나 잘 처리하지 못하였는지 계산하기 위해 식(13)과 같이 교차엔트로피 오차(Cross Entropy Error, CEE)를 이용하였다. 교차 엔트로피 오차 중 이진 분류 문제를 해결하는데 사용하는 binary crossentropy를 사용하였다.
본 논문에서 제안하는 모델은 인접한 프레임의 불연속적인 특징을 학습할 때, 시간의 순방향과 역방향을 학습하기 위해서 Bidirectional Convolutiona lLSTM(Bi-LSTM)모델을 이용한다.
본 논문에서 제안하는 모델이 훈련 데이터 셋을 얼마나 잘 처리하지 못하였는지 계산하기 위해 식(13)과 같이 교차엔트로피 오차(Cross Entropy Error, CEE)를 이용하였다. 교차 엔트로피 오차 중 이진 분류 문제를 해결하는데 사용하는 binary crossentropy를 사용하였다.
본 논문에서는 인접한 프레임에 대해서 프레임 간 연결이 자연스럽지 않고 일관적이지 않은 특징을 학습하기 위해 Convolutional LSTM(CLSTM) 셀을 사용한 순환 신경망 모델을 활용한다. 순환 신경망 모델은 XceptionNet과 CBAM이 결합한 Convolution Block으로부터 추출된 특징을 입력으로 받아 학습한다.

성능/효과

Table. 5.에서 볼 수 있듯이, 본 논문에서 제안된 딥페이크 탐지 모델이 다른 모델보다 좋은 성능을 보임을 알 수 있다.
Table. 6.에서 볼 수 있듯이, XceptionNet과 LSTM을 연결한 딥페이크 탐지 모델의 AUC 값이 XceptionNet과 CLSTM을 연결한 딥페이크 탐지 모델의 AUC 값보다 0.9% 더 높게 계산되었다. AUC 값만으로 성능을 비교하였을 때, XceptionNet과 LSTM을 연결한 모델의 성능이 높게 측정된 것으로 보이지만 정확도(Accuracy)를 비교하였을 때, XceptionNet과 LSTM을 연결한 탐지 모델의 정확도는 69.
Table. 7.에서 볼 수 있듯이, 본 논문에서 제안된 딥페이크 탐지 모델의 Precision은 98.9%, Recall은 88.06%, F1-score는 93.1%로 계산되었다.
9% 더 높게 계산되었다. AUC 값만으로 성능을 비교하였을 때, XceptionNet과 LSTM을 연결한 모델의 성능이 높게 측정된 것으로 보이지만 정확도(Accuracy)를 비교하였을 때, XceptionNet과 LSTM을 연결한 탐지 모델의 정확도는 69.5%, XceptionNet과 CLSTM을 연결한 딥페이크 탐지 모델의 정확도는 85.0%으로 XceptionNet과 LSTM을 연결한 딥페이크 탐지 모델보다 XceptionNet 가 CLSTM을 탐지한 딥페이크 탐지 모델의 정확도가 15.5% 높았다. 정확도를 비교하였을 때 CLSTM을 딥페이크 탐지에 사용하는 것이 더 좋은 성능을 나타냄을 알 수 있다.
본 논문에서는 인접한 프레임의 불연속적인 특징을 시간의 순방향뿐만 아니라 역방향으로도 학습하는 딥페이크 탐지 모델을 제안하였다. 기존 합성곱 신경망과 LSTM 셀을 단순하게 연결한 모델보다 Convolutional LSTM을 이용하면 딥페이크 탐지 시에 높은 정확도를 나타내는 것을 확인하였다.
을 통해 알 수 있다. 본 논문에서 제안하는 모델을 통해 프레임 간 발생하는 불연속적인 특징을 탐지할 수 있는 것을 확인하였다.
5%의 정확도가 계산되었다. 본 논문에서 제안한 딥페이크 탐지 모델은 동영상의 프레임 간 연결 관계를 학습하였기에 높은 정확도를 보였다.
본 논문에서 제안한 모델의 정확도는 93.5%으로 기존 제안되었던 모델들의 정확도보다 최대 30% 높은 것을 확인하였다.
5% 높았다. 정확도를 비교하였을 때 CLSTM을 딥페이크 탐지에 사용하는 것이 더 좋은 성능을 나타냄을 알 수 있다.
둘째, 얼굴 전체를 학습하기 때문에 적절한 하이퍼파라미터(Hyperparameter)를 설정하지 않은 경우, 어텐션 모듈이 성능을 내지 못하는 한계점이 있다. 즉, 본 논문에서 제안하는 방법은 알맞은 파라미터를 설정하지 못하면 오버헤드가 크게 발생하여 기존 모델보다 성능이 떨어질 수 있다.
본 논문에서 제안하는 딥페이크 탐지 모델의 기여는 다음과 같다. 첫째, 본 논문에서 제안하는 모델이 기존 제안된 모델들이 탐지하지 못하던 데이터 셋을 학습하여 높은 성능을 보인다. 둘째, 프레임간 지속적으로 나타나는 불연속적인 위치를 특정하여 후속 연구의 학습범위로 제안한다.
본 논문에서 제안하는 방법의 한계점은 다음과 같다. 첫째, 인접한 프레임 사이의 특징을 충분히 학습할 수 있는 프레임 개수를 알 수 없다. 둘째, 얼굴 전체를 학습하기 때문에 적절한 하이퍼파라미터(Hyperparameter)를 설정하지 않은 경우, 어텐션 모듈이 성능을 내지 못하는 한계점이 있다.

후속연구

둘째, 얼굴 전체를 학습하기 때문에 적절한 하이퍼파라미터(Hyperparameter)를 설정하지 않은 경우, 어텐션 모듈이 성능을 내지 못하는 한계점이 있다
본 논문에서 제안하는 모델의 한계점은 프레임의 개수를 증가, 감소시키며 실험을 진행하여 학습에 적절한 프레임 개수를 탐색함으로써 개선 가능할 것으로 예상된다. 또한 본 논문에서 제안하는 방법을 통해 검출되는 불균형이 발생하는 위치를 특정하여 학습에 이용하면 하이퍼파라미터로 인한 오버헤드를 줄여 성능을 개선할 수 있을 것으로 보인다.
본 논문에서 제안하는 모델의 한계점은 프레임의 개수를 증가, 감소시키며 실험을 진행하여 학습에 적절한 프레임 개수를 탐색함으로써 개선 가능할 것으로 예상된다. 또한 본 논문에서 제안하는 방법을 통해 검출되는 불균형이 발생하는 위치를 특정하여 학습에 이용하면 하이퍼파라미터로 인한 오버헤드를 줄여 성능을 개선할 수 있을 것으로 보인다.

참고문헌 (42)

B. Dolhansky, R. Howes, B. Pflaum, N. Baram, and C. C. Ferrer, "The deepfake detection challenge (DFDC) preview dataset," arXiv preprint arXiv:1910.08854, 2019.
K. Li, Z. Wu, K.-C. Peng, J. Ernst, and Y. Fu, "Tell me where to look: Guided attention inference network," arXiv preprint arXiv:1802.10171, 2018.
E. Sabir, J. Cheng, A. Jaiswal, W. AbdAlmageed, I. Masi, and P. Natarajan, "Recurrent Convolutional Strategies for Face Manipulation Detection in Videos," in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2019.
W.S. Hu, H.C. Li, L. Pan, W. Li, R. Tao, and Q. Du, "Feature extraction and classification based on spatial-spectral convlstm neural network for hyperspectral images," arXiv preprint arXiv:1905.03577, 2019.
Y. Li and S. Lyu, "Exposing deepfake videos by detecting face warping artifacts," arXiv preprint arXiv:1811.00656, 2018.
P. Korshunov and S. Marcel, "Deepfakes: a new threat to face recognition? assessment and detection," arXiv preprint arXiv:1812.08685, 2018.
T.T. Nguyen et al., "Deep Learning for Deepfakes Creation and Detection," arXiv preprints, arXiv:1909.11573, 2019.
Q. Liu, F. Zhou, R. Hang, and X. Yuan, "Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification," Remote Sens, vol. 9, no. 12, p. 1330, 2017.

상세보기
J. Deng, J. Guo, and S. Zafeiriou, "ArcFace: Additive angular margin loss for deep face recognition," arXiv:1801.07698, 2018.
H. Fukui, T. Hirakawa, T. Yamashita, and H. Fujiyoshi, "Attention branch network: Learning of attention mechanism for visual explanation," In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.
A. Hanson, K. Pnvr, S. Krishnagopal, and L. Davis, "Bidirectional convolutional LSTM for the detection of violence in videos," Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 11130 LNCS, pp. 280-295, 2019.
S. Woo, J. Park, J. Y. Lee, and I. So Kweon, "Cbam: Convolutional block attention module," In Proceedings of the European Conference on Computer Vision (ECCV), pages 3-19, 2018.
Y. Li, P. Sun, H. Qi, and S. Lyu, "Celeb-DF: A Large-scale Challenging Dataset for DeepFake Forensics," in IEEE Conf. on Computer Vision and Patten Recognition (CVPR), Seattle, WA, United States, 2020.
S. Xingjian, Z. Chen, H. Wang, D. Yeung, W. Wong, and W. Woo, "Convolutional LSTM network: A machine learning approach for precipitation nowcasting," In Neural Information Processing Systems, 2015.
O.M. Parkhi, A. Vedaldi, A. Zisserman, "Deep face recognition." In Proceedings of the British Machine Vision, vol. 1, no. 3, p. 6, 2015.
I. Amerini, L. Galteri, R. Caldelli, and A. Bimbo, "Deepfake Video Detection through Optical Flow based CNN," in Proc. IEEE/CVF International Conference on Computer Vision, 2019.
D. Guera and EJ. Delp, "Deepfake video detection using recurrent neural networks," In AVSS, 2018.
M. Tan and Q.V. Le, "EfficientNet: Rethinking model scaling for convolutional neural networks," In International Conference on Machine Learning, 2019.
D.A. Pitaloka, A. Wulandari, T. Basaruddin, and D.Y. Liliana, "Enhancing cnn with preprocessing stage in automatic emotion recognition," Procedia Computer Science, vol. 116, pp. 523-529, 2017.

상세보기
A. Rossler, D. Cozzolino, L. Verdoliva, C. Riess, J. Thies, and M. Niebner. "Faceforensics++: Learning to detect manipulated facial images." arXiv preprint arXiv:1901.08971, 2019.
H. Dang, F. Liu, J. Stehouwer, X. Liu, and A. Jain, "On the Detection of Digital Face Manipulation," in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020.
C. Ding and D. Tao, "Robust face recognition via multimodal deep face representation," IEEE TMM, 17(11):2049-2058, 2015.
L. Chen, H. Zhang, J. Xiao, L. Nie, J. Shao, W. Liu, and T. Chua, "SCACNN: Spatial and channel-wise attention in convolutional networks for image captioning," In CVPR, 2017.
S. Suwajanakorn, S.M. Seitz, and I. Kemelmacher-Shlizerman, "Synthesizing Obama: learning lip sync from audio," ACM Transactions on Graphics (TOG), 36(4), 2017.
Y. Taigman, M. Yang, M. Ranzato, and L. Wolf, "Deepface: Closing the gap to human-level performance in faceverification," In CVPR, 2014.
R. Tolosana, R. Vera-Rodriguez, J. Fierrez, A. Morales, and J. OrtegaGarcia, "DeepFakes and beyond: A survey of face manipulation and fake detection," Inf. Fusion, 2020.
A. Singh, A. S. Saimbhi, N. Singh an d M. Mittal, "DeepFake Video Detection: A Time-Distributed Approach," SN Computer Science, 2020.
K. Dale, K. Sunkavalli, MK. Johnson, D. Vlasic, W. Matusik, H. Pfster, "Video face replacement," In Proceedings of the 2011 SIGGRAPH Asia conference. 2011. p. 1-10
J. Thies, M. Zollhofer, M. Stamminger, C. Theobalt, and Matthias Niebner, "Face2Face: Real-time face capture and reenactment of RGB videos," In CVPR, 2016.
F. Chollet, "Xception: Deep learning with depthwise separable convolutions," In Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. p. 1251-8.
C. Szegedy, V. Vanhoucke, S. Iofe, J. Shlens, Z. Wojna, "Rethinking the inception architecture for computer vision," In Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. p. 2818-26.
J. Hu, L. Shen, G. Sun, "Squeeze-and-excitation networks," In Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. p. 7132-41.
K. He, X. Zhang, S. Ren, J. Sun, “Deep residual learning for image recognition,” In Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. p. 770？8.
DP. Kingma and M. Welling, “Auto-encoding variational bayes,” In ICLR, 2014.
D.J. Rezende, S. Mohamed, and D. Wierstra, “Stochastic backpropagation and approximate inference in deep generative models,” In ICML, 2014.
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville and Y. Bengio, “Generative adversarial nets,” In NeurIPS, 2014.
ZAO.https://apps.apple.com/cn/app/zao/id1465199127. Accessed: 2019-09-16.
FakeApp.https://www.malavida.com/en/soft/fakeapp/, Acessed Nov 4, 2019.
Ajder, H, Patrini, G, Cavalli, F, et al.(2019) The state of DeepFakes: landscape, threats, and impact. Deeptrace Labs, September. Available at: https://regmedia.co.uk/2019/10/08/deepfake_report.pdf
Min-seo Kim and Jong-sub Moon, “Speaker Verification Model Using Short-Time Fourier Transform and RecurrentNeural Network,” Jonornal of The Korea Institute of information Security &Cryptology, 29(6), pp. 1393-1401, Feb.2019
S. Bianco, R. Cadene, L. Celona, andP. Napoletano, “Benchmark analysis ofrepresentative deep neural network architectures,” IEEE Access, vol. 6, 2018.

상세보기
V.J. Reddi et al., “Mlperf inference benchmark,” in arXiv preprint arXiv:1911.02549, 2019.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증