[논문]인간-기계 인터페이스 및 증강현실 기술의 항공운항 분야 적용

박형욱; 정준; 장조원; 주성현; 황영하

doi:10.12985/ksaa.2019.27.2.054

인간-기계 인터페이스 및 증강현실 기술의 항공운항 분야 적용
Application of Human Machine Interface and Augmented Reality Technology to Flight Operation 원문보기

한국항공운항학회지 = Journal of the Korean Society for Aviation and Aeronautics, v.27 no.2, 2019년, pp.54 - 69

박형욱 (라이어슨대학교 항공우주공학과) , 정준 (라이어슨대학교 항공우주공학과) , 장조원 (한국항공대학교 항공운항학과) , 주성현 (한국생산기술연구원) , 황영하 (한국생산기술연구원)

Abstract ▼ AI-Helper

The primary objective of this paper is to introduce the application of Human-Machine Interface (HMI) and Augmented Reality (AR) technologies in flight operations. These include: self-check-in, baggage handling, airport security and surveillance, airport operations monitoring, In-Flight Entertainment and Connectivity (IFEC), cockpit design, and cabin crew support. This paper investigates the application status and development trends of HMI and AR technologies for airports and aircraft. These technologies can provide more efficient in-flight passenger service and experience by using AR devices. This paper also discusses the developments such as; the Integrated Control Application (ICA) for the IFEC interface, AR flight simulation training program using the fixed-based simulator, and the AR aircraft cabin interior concept test program. These applications present how HMI and AR techniques can be utilized in actual flight operations. The developed programs in this paper can be applied to their purpose within aircraft interiors and services to enhance efficiency, comfort, and experience.

주제어

표/그림 (28)

그림 Fig 1. Smart Bag Drop at Incheon Airport
그림 Fig 2. Airstar of Incheon Airport
그림 Fig 3. Ground Handler with AR Glasses[13]
그림 Fig 4. Non-contact fingerprint recognition[14]
그림 Fig 5. Air Traffic Control with HoloLens[18]
그림 Fig 6. Mock-up of Tempest Fighter, BAE[25]
그림 Fig 7. Strike II Helmet of BAE[26]
그림 Fig 8. AR Navigation (top) and Demonstration Screen (Bottom) of WAYRAY[27]
그림 Fig 9. Wireless and Portable IFE
그림 Fig 10. ActiVision-Smart Interactive Window
그림 Fig 11. Aircraft Cabin Research Facility of National Research Council of Canada [28]
그림 Fig 12. Passenger Information at HoloLens[29]
그림 Fig 13. Galley equipments
그림 Fig 14. Smart Galley of Diehl Aerospace [31]
그림 Fig 15. Menu of ICA
그림 Fig 16. Boing 747-400 Simulator
그림 Fig 17. Optical See-Through Goggle Concept[8]
그림 Fig 18. Airbus A320 Starting Procedure[32]
그림 Fig 19. Concept of HoloLens Simulator Training App
그림 Fig 20. Composition of Sim. Training App
그림 Fig 21. Simulator Training App
그림 Fig 22. Depth Sensor of HoloLens
그림 Fig 23. Spatial Mapping of HoloLens
그림 Fig 24. Aircraft Cabin Mock-up
그림 Fig 25. Inside of Aircraft Cabin Mock-up
그림 Fig 26. OLED Display at Aircraft Cabin Ceiling on AR Environment
그림 Fig 27. Smart Window on AR Environment
그림 Fig 28. Smart Cabin Divider on AR Environment

질의응답

핵심어	질문	논문에서 추출한 답변
	HMI란 무엇인가?	이러한 최신 기술 가운데 항공여행 승객 편의를 향상시키기 위해 인간-기계 인터페이스 (HMI, Human-Machine Interface) 기술이 활발하게 적용 되고 있다. HMI의 사전적인 의미는 ‘시각이나 청각과 관련된 인간의 아날로그적인 인지의 세계와 컴퓨터의 디지털을 처리하는 기계의 세계를 연결 하는 인터페이스’다. 이 기술로 인해 과거에 사용자가 기계에게 일방적으로 명령하는 방식이 아닌, 기계와 사용자가 정보를 주고받는 양방향 소통이 가능하게 되었다.
	가상현실 멀미를 줄이기 위해서는 어떻게 해야하는가??	컴퓨터 그래픽 또는 실제 영상/이미지를 활용하여 가상의 공간을 만들어 이를 통해 다양한 체험을 사용자에게 제공해줄 수 있다. VR에 사용되는 전용 고글은 사용자가 체험할 때 발생할 수 있는 ‘가상현실 멀미’ 를 줄이기 위해서는 초당 60~120 프레임을 재생할 수 있어야 하며 사용자의 움직임을 따라갈 수 있도록 영상의 지연이 없어야 한다[5]. 이와 같은 영상을 안정적으로 처리하며 재생하기 위해서는 높은 처리 속도의 CPU와 그래픽 기술등이 필요하다.
	VR과 다른 AR의 장점은?	즉, 실제 사용자가 위치한 환경에 목표한 대상에 대해 서만 컴퓨터 그래픽 또는 실제 이미지를 활용한 3 차원 가상사물을 합성하여 원래의 현실에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이 다. 그렇기 때문에 VR과 달리 주변 환경 전체를 만들어야 하는 부담도 적고, 높은 재생 프레임이 필수적이지도 않다. 하지만 이들 가상사물의 현실 합성을 위해서는 위치인식, 마커인식, 영상합성 등의 기술이 요구된다.

참고문헌 (34)

Boeing, “Current Market Outlook: 2018~2037,” 2018. (Available at: https://www.boeing.com/resources/boeingdotcom/commercial/market/commercial-market-outlook/assets/downloads/2018-cmo-09-11.pdf)
장조원, 정준, “AIX(항공기 인테리어 엑스포)를 통해 본 항공기 인테리어 산업(1/2),” 월간항공, 2018년 7월호, pp. 80~87.
장조원, 정준, “AIX(항공기 인테리어 엑스포)를 통해 본 항공기 인테리어 산업(2/2),” 월간항공, 2018년 8월호, pp. 80~85.
Bjerregaard, L., “Top 10 Ultra-Cool Cabin Interior Products,” MRO-Network, 04 Apr. 2018.(https://www.mro-network.com/mro-links/top-10-ultra-cool-cabin-interior-products)
서동일, “IEEE P3079 표준화 동향,” TTA 저널, Vol. 174, 2017, pp.39-45.
10.1561/1100000049 Billinghurst, M., Clark, A. & Lee, G., “A Survey of Augmented Reality,” Foundations and Trends® in Human-Computer Interaction, Vol. 8, No. 2-3, 2014, pp. 73~272. 10.1561/1100000049

상세보기
10.1007/s11042-016-4067-x Liu, J., Mei, J., Zhang, X., Lu, X., Huang, J., “Augmented reality-based training system for hand rehabilitation,” Multimedia Tools Applications, Vol. 76, Issue 13, 2017, pp.14847~14867. 10.1007/s11042-016-4067-x

상세보기
Sowmyasree, M., Durga, S., Sindhusha, P., “Augmented Reality,” International Journal of Scientific & Engineering Research, Vol. 4, Issue 9, September 2013, pp. 1469~1474.
Nicholl, R., “Airline Head-Up Display Systems: Human Factors Considerations,” International Journal of Economics & Management Sciences, Vol. 4, Issue 5, 2015, pp.1~12.
Incheon city, “Mar 18, 2018 at front of self Check-in counter in Incheon airport,” Dreanstime, 14 March 2018.(https://www.dreamstime.com/mar-front-self-check-counter-incheon-airport-city-korea-image112557721)
국민일보, “여권·탑승권 없이 출국심사, AI·IoT 활용… 더 스마트해지는 인천공항,” 17 June 2018.(http://m.kmib.co.kr/view.asp?arcid=0923966352)
Korean Air, “Incheon International Airport Gets Smarter with Robotic Help,” August 2018. (http://micro.koreanair.com/mainevent/lax/201808/edm/Incheon-Robot.html)
EON Reality, “EON Reality Creates Next Generation Augmented Reality Solution with SATS for Airport Ramp Handling Services,”2017.(https://www.eonreality.com/press-releases/eon-reality-creates-next-generation-augmented-reality-solution-sats-airport-ramp-handling-services/)
인천 국제공항.(https://www.airport.kr/ap/en/index.do)
10.1007/978-3-319-54502-8_2 Peddie, J., “Augmented Reality : Where We Will All Live,”1st Ed., Springer, 2017. 10.1007/978-3-319-54502-8_1
Pinska, E. & Tijus, C., “Augmented Reality Technology for Control Tower Analysis of Applicability based on the Field Study,” In Proceeding of 1st CEAS European Air and Space Conference, 2007, pp. 573~580.
10.3233/WOR-2012-0299-1168 Hofmann, T., König, C., Bruder, R. & Bergner, J., “How to reduce workload - Augmented reality to ease the work of air traffic controllers,” Work, Vol. 41, 2012, pp. 1168~1173.

상세보기
The Future of Work, “This Is What Happens When HoloLens Meets Air Traffic Control.”(https://www.youtube.com/watch?v=uOIDfC_jNGc)
“Reimagine airport control centers with HoloLens technology,” SITA, 2016.(https://www.sita.aero/resources/type/videos/reimagine-airport-control-centers-with-hololens-technology)
Mobile & Wearables, “Helsinki Airport exploring operational potential of Microsoft HoloLens,” May 2017.(https://www.futuretravelexperience.com/2017/05/sita-lab-and-helsinki-airport-explore-potential-of-microsoft-hololens/)
Foyle, D.C., Andre, A.D., Hooey, B.L., “Situation Awareness in an Augmented Reality Cockpit: Design, Viewpoints and Cognitive Glue,” In Proceedings of the 11th International Conference on Human Computer Interaction. Las Vegas, NV., 2005.
Aukstakalnis, S., “Practical Augmented Reality: A guide to the technologies, applications, and human factors for AR and VR. Crafordsville,” Pearson Education Inc., 2017.
Nicholl, R., “Airline Head-Up Display Systems: Human Factors Considerations,” SSRN Electronic Journal, Vol. 4, Issue 5, 2014. (DOI:10.4172/2162-6359.1000248) 10.2139/ssrn.2384101
10.1007/978-1-4614-0064-6 Furht, B., “Handbook of Augmented Reality,”1st Ed., Springer New York 2011. 10.1007/978-1-4614-0064-6
Ian King, “Tempest jet takes UK engineering by storm,” Sky News, 18 July 2018.(http://news.sky.com/story/tempest-jet-takes-uk-engineering-by-storm-11440702)
British Telecommunications PLC, “Future plane cockpit's could include virtual dials and readings that appear in front of the pilot’s eyes,” 14 September 2017.(http://home.bt.com/tech-gadgets/future-tech/bae-systems-mixed-reality-cockpit-aeroplane-11364212192683)
WAYRAY (https://wayray.com/)
National Research Council of Canada, “National Research Council of Canada introduces facility to improve air travellers’ experience.”(www.nrc-cnrc.gc.ca/eng/stories/2015/new_facility.html)
Robertson, A., “Air New Zealand imagines flight attendants using HoloLens to read your emotions,” The Verge, 24 May 2017. (https://www.theverge.com/2017/5/24/15686740/microsoft-hololens-air-new-zealand-augmented-reality-airplane-emotion-reading)
Bellamy III, W., “9 Companies Using Augmented Reality and Virtual Reality in Aviation,” Avionics International, 24 August 2017.(https://www.aviationtoday.com/2017/08/24/9-companies-using-augmented-virtual-reality-aviation/)
DIEHL Aviation, “Smart Galley.”(https://www.diehl.com/aviation/en/innovation/innovative-solutions/smart-galley/)
Airbus, “A318/A319/A320/A321 Flight Crew Training Manual,” 08 July 2008.
"HoloLens (1st Gen) hardware details," Microsoft, Mar. 2018. (https://docs.icrosoft.om/en-us/windows/mixed-reality/hololens-hardware-details)
"Spatial Mapping," Microsoft, Mar. 2018. (https://docs.microsoft.com/en-us/windows/mixed-reality/spatial-mapping)

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증