[60호]Touchless Signage Display

2019 ICT 융합 프로젝트 공모전 참가상

Touchless Signage Display

글 | 동서대학교 황영아, 임은혜, 박준현, 허준혁, 우동우

1. 심사평
칩센 여러 측면에서 흥미로운 작품과 의도로 생각됩니다. 기술적으로 보았을 때 가장 중요한 것이 Kinect camera로 보이며, 나머지 시스템은 image process등의 동작을 하게 될 것으로 보이고, 그 외에 물품의 위치 가격 등을 알려주는 것은 기술보다는 서비스 구성으로 판단되는데, Kinect camera에 대한 의존도가 너무 높아 보입니다. 키오스크 시스템 적용에 대한 단점 중 많은 부분이 유사하게 적용되어야 할 시스템으로 보이며, 이에 대한 개선점이나, 유리한 점을 조금 더 자세하게 설명하였으면 좋을 듯 합니다.
뉴티씨 구현하려고 하는 기능에 대한 연구는 다른 곳에서 이미 구현된 것이긴 하지만, 재미있는 아이디어로 실제로 구현해 보기로 한 것 자체에 큰 의미를 둡니다. 여러 가지 디스플레이에 대한 제안들이 있지만, 현실화 된 후 상업적으로 사용되지 못한 것들도 많이 있는데, 이렇게 새로운 디스플레이에 대한 것들은 무엇인가 포인트가 되는 제품이 만들어져야 상용화되는 경우가 종종 있습니다. 무엇인가 재미있는 3D광고판 등을 제작하거나, 공간터치 등을 제공한다면 편리하고 재미있는 미래세상이 펼쳐지게 될 것입니다.
위드로봇 아이디어가 뛰어난 작품인데, 완성하지 못한 점이 아쉽습니다.
펌테크 제출된 보고서 내용 고려하자면 작품에 대한 기획의도는 상당히 우수하다고 생각됩니다. 작품이 실제 완성도 높게 완성이 된다면 실생활에 다양한 활용이 가능하리라 생각됩니다. 단 출품작의 경우 계획단계 이상의 아무런 진전이 없는 것으로 판단됩니다.

2. 개요
2.1. 연구 배경
2.1.1. 많은 디스플레이 사용에 따른 질병의 원인
패스트푸드점을 이용하는 소비자들의 사용량이 급격히 늘었고, 빠르게 주문을 받고 음식을 내주기 위해서 무인주문 기계가 각각의 매장에 놓여졌다. 예를 들면, 맥도날드에서는 햄버거를 사기 위해 직접 카운터에서 주문을 하는 방식이 있지만, 대부분 앞에 놓인 무인주문기계를 사용한다. 사람의 손이 직접 디스플레이 화면을 터치하기 때문에 각종 세균에 노출된다. 이를 통해 각종 질병에 감염된 사람으로부터 치명적인 병균과 바이러스가 전염될 수 있다.

2.1.2. 키오스크 디스플레이 사용의 한계
많은 기술의 발달로 인해 우리는 손쉽게 원하는 것의 위치를 찾을 수 있게 되었다. 자동차를 이용해서 목적지로 가려고 할 때 내비게이션을 통해 원하는 곳의 위치까지의 길을 알 수 있고, 포털사이트의 위치 관련 서비스를 통해서 한눈에 위치를 파악할 수 있게 되었다. 하지만, 복잡한 대규모 구조물에서는 입구나 중심지의 안내판 외에는 자세하게 위치를 찾을 수 없거나 놀이공원에서는 큰 안내 지도뿐이다. 그 또한 세부적으로 정보를 얻을 수 없기 때문에 위치를 파악하기에 불편함이 있다. 그 결과, 다시 키오스크 디스플레이로 돌아와 위치를 찾아야 하는 고충이 있다.

2.1.3. 디스플레이(모니터)의 빈번한 파손
평판 디스플레이 혹은 터치 스크린을 적용한 정보 디스플레이는 내적, 외적 고장에 노출되어 있다. 외부적으로 고장 나는 것은 모니터가 직접적으로 노출되어 있어서, 누군가 센 압력을 가해서 부서질 상황도 있고, 직접적인 무언가에 의한 충돌로 화면이 파손되는 상황도 있고, 높은 곳에서 실수로 떨어뜨려 모니터가 고장이 나는 경우도 있다. 내부적으로는 강한 압력으로 인한 모니터 내부의 LCD 패널이 파손 될 수도 있고, 그 위에 다양한 액체류에 의해 파손이 되는 경우도 빈번하다. 이러한 모니터 파손에 대하여 경제적, 산업적 손실이 매우 심각하며, 디스플레이의 파손은 정보를 획득하려고 하는 다양한 고객에게 부정적인 이미지와 혼선을 야기한다.
허상 디스플레이 연구팀은 기존 정보 디스플레이가 갖고 있는 기술적 한계점과 다양한 문제 즉, 질병의 전염과 정보를 쉽게 활용할 수 없는 키오스크 디스플레이의 제한된 정보 전달력, 그리고 빈번한 공공 디스플레이의 파손에 따른 손실을 해결하려고 본 연구를 진행하였다.

2.2. 아이디어 도출
2.2.1. Touchless Signage Display
기존 평판 정보 디스플레이는 직접적인 화면 터치방식으로 인하여 사용자들에게 직간접적인 시각적 불편을 불러일으킨다. 기존 방식은 사람의 손에 영향을 받아 화면의 영상을 직접 투시하기 때문에 고휘도 영상이 눈에 악영향을 발생시킨다. 그렇기 때문에 정보 영상을 공기(Air)중에 허상 영상을 투영시켜 영상의 간접 이미지를 사람이 인식할 수 있는 방법을 고안하였다. 영화 <아이언 맨>을 예로 들자면 토니가 버튼 하나만 눌러도 바로 화면이 나오며, 허상에 터치를 해서 자기가 원하는 정보를 얻거나, 또는 작업을 하고 어디에서나 스크린을 띄어서 장소에 제한을 받지 않는 실용성을 보여준다.

2.2.2. Touchless Signage Display 적용분야
1) 대형 쇼핑몰은 어떻게 적용을 시킬 것인가?
대부분의 사람들은 원하고자 하는 물품의 위치를 빠르고 손쉽게 찾기를 원한다. 하지만 물품의 정확한 위치를 파악하는데 있어 고충을 겪는다. 이런 대형 쇼핑몰에서의 불편함을 개선하기 위해서 카트 손잡이에서 사용자가 찾고자 하는 물품이나 원하는 길을 알려주는 디스플레이를 고안하였다. 이 아이디어를 학교, 관광지, 놀이공원 등등 다양한 공공시설에 적용된다면 사람들에게 최단의 원하는 길을 제공해주며 또한 시간소비를 줄여줘 사람들이 큰 불편함을 해소할 것이다.

2) 기존 키오스크를 대체하여 어떤가?
기존 키오스크를 사용해 왔던 사용자들의 조사 결과로 ‘고장이 나면 수리하기 힘들다’, ‘터치가 느리다.’, ‘특정 장소에만 설치되어 있다.’, ‘크기가 크다’는 불편한 점을 찾을 수 있다. 이러한 불편한 점들을 고려하여 쉽게 구할 수 있는 부품들로 구성하였고 고장이 발생하더라도 쉽게 고칠 수 있도록 하였다. 또한, 터치를 하여 신호를 H/W로 보내는 방식이 아닌 동작을 인식하여 H/W로 보내기 때문에 그 속도가 기존의 키오스크보다 빠르고, 크기에 제한성이 기존 키오스크보다 현저히 낮아 사람들이 자주 이용하는 장소에서 적용이 가능한 제품이다.

2.3 작품에 대한 상세 접근방법과 기대효과
2.3.1. 작품 Touchless Signage Display를 만들기

2.3.2. Touchless Signage Display 적용방안

1) 마트에서 찾고자 하는 물품 선택
2) 카트 손잡이에 띄워진 화면에 물품 클릭
3) Kinect 카메라가 동작 인식, 좌푯값을 하드웨어로 송신
4) 클릭 후, 화면이 넘어가면서 물품이 있는 위치를 내비게이션처럼 안내

2.3.3. Touchless Signage Display의 경제적 효과
1) 위치 탐색에 효과적
기존으로 사용하는 제품들은 단순히 그림판으로만 되어있거나 영상에 직접적인 터치를 하는 것으로 이루어져 있다. 하지만 Touchless Signage Display는 사용자가 찾고자 하는 위치들이 허공에 영상에 뜨며 터치를 하지 않는 방식으로 되어있어 가고자 하는 곳을 좀 더 쉽게 찾을 수 있다. 그리고 복잡하지 않고 단순하게 볼 수 있기 때문에 어느 곳에서든 적용이 가능하고 여러 가지 방면으로 응용이 가능한 작품이다.

2) 간단한 시스템 체계 및 운영체제
주 메인인 Kinect camera를 이용하여, 보다 간단한 시스템 체계의 원리를 나타낸다. 최소의 구성품으로 최대의 효과를 나타내기 때문에 고장이 났을 경우 간편하게 고칠 수 있다. 그리고 Kinect camera가 사용자의 손을 인식할 수 있게 프로그램을 만들고 panel에서 영상만 추출되므로 보다 간편한 운영체제를 가지고 있다.

3) 관광 사업 극대화
위치 검색을 필요로 하는 장소, 즉 공공장소나 학교 등 어디에서나 사용이 가능하며, 특히 외국인들이 한국을 찾는 경우 더욱 위치를 찾기 쉽게 시스템 되어 관광사업에 있어서 많은 경제적 효과를 불러일으킬 수 있다. 또한, 모르는 장소의 위치 정보를 편리하고 자세하게 획득할 수 있다.

2.3.4. Touchless Signage Display의 응용 및 적합성
1) 관광 책자 : 관광 책자는 2D로 되어있는 이미지로, 가고자 하는 위치를 정확히 알 수가 없고 위치 정보에 대한 정확성이 떨어진다. 이러한 단점을 보완하여 Touchless Signage Display 제품을 소형화시켜 사용자가 들고 다닐 수 있게 응용이 가능하다. 또한, 관광객에게 대여해 주는 시스템으로 만들며 2D 관광 책자가 아닌 Touchless Signage Display을 소형화시킨 제품을 사용자가 들고 다닌다면 전보다 사용자가 원하는 목적지를 쉽게 향해 갈 수 있을 것이다. 또한, 영상이 허공에 떠 있기 때문에 보다 시각적으로 편리하게 사용자가 이동하면서 볼 수 있다.

2) 대형 쇼핑몰 : 대형 쇼핑몰의 경우 불편한 점은 사용자가 원하는 물품을 쉽게 찾을 수 없다. 대부분 길을 물어보거나 층마다 분류되어있는 안내 표지를 보고 찾아간다. 하지만 이러한 불편함을 해소하기 위해서는 Touchless Signage Display 시스템을 대형 쇼핑몰에 적용시켜 카트에 부착시키는 것이다. 카트에 부착된 장치를 통해 사용자는 사고 싶은 물품들의 위치를 쉽게 알 수 있다.

3) 주차장 : 보통 주차장들은 주차할 수 있는 공간 개수만 화면에 알려져 있다. 하지만 주차장의 빈 공간의 위치 정보를 알 수 없다. 이러한 불편함을 해소하기 위해서는, 먼저 자동차에 Touchless Signage Display 제품을 응용하여 차량이 주차장에 들어가는 순간 자동으로 운전자가 들어간 주차장과 Touchless Signage Display 제품과 연결되어 이 제품에 빈 주차공간의 위치를 허상으로 보여준다. 주차 공간을 찾기 위한 시간을 절약할 수 있고 시각적으로 간편하게 위치 정보를 알 수 있다.

3. 작품 설명
3.1 주요 동작 및 특징
3.1.1. Touchless Signage Display 시스템의 구성품과 동작
Touchless Signage Display 시스템은 C, C#을 기반으로 한 HW(회로설계 및 PCB 제작) 및 C, C#을 기반으로 한 Kinect의 제어알고리즘의 SW를 기반으로 설계되어 동작하는 시스템이다. 이 시스템을 이루는 제품들은 LCD패널, 반사 필름, Kinect camera, Raspberry Pi 등으로 구성되어있다.

1) Raspberry Pi : 시스템의 본체 역할을 하는 것으로 C 및 C#으로 프로그래밍 과정을 통해 사용자의 손을 Kinect camera가 인식을 할 수 있게 해준다. 다음으로 Kinect camera의 역할인데 이것은 사용자의 손을 인식할 수 있게 하는 역할을 한다.

2) LCD패널 : 모니터를 대신해서 사용하는 것으로 Raspberry Pi에 저장한 영상들이 LCD패널에 출력되는 시스템이다.

3) 반사 필름 : LCD패널에 나오는 영상들을 반사 필름을 통해 허상으로 나오게 해주는 역할을 한다. 따라서 Raspberry Pi를 통해 LCD 필름에 영상이 출력되고 이러한 영상들이 반사 필름에 반사되어 허공에 뜨게 된다. 허공에 뜬 영상에 사용자가 손을 대면 Kinect camera가 사용자의 손을 인식하여 사용자가 허공에 떠 있는 영상 속에서 원하는 정보를 볼 수 있도록 동작 되어있다.

4) Kinect camera : 복잡한 컨트롤 없이 몸의 동작을 인식하는 카메라로 키넥트 센서의 핵심 기능인 depth 센서는 단색 cmos 센서와 적외선 레이저 빔 프로젝터로 구성, 적외선 IR 카메라 센서가 정보를 받아 pixel당 거리가 측정, 데이터를 프로세서가 처리하여 Kinect 센서 앞의 사용자를 인식한다.

3.1.2. Touchless Signage Display의 차별성
1) 허공에서 인식 가능 : 기존 터치스크린 제품의 경우 사용자가 화면에 특정한 명령어 부분에 손이나 특수 장치를 갖다 대면 그 명령이 실행될 수 있게 되어있다. 하지만 Touchless Signage Display는 사용자가 화면에 직접적인 터치가 없어도 허공에서 Kinect camera가 사용자의 손을 인식해 명령이 실행될 수 있다.

2) 특정 물질이 묻어도 인식 가능 : 터치스크린들의 단점은 손에 물이나 기름 등 특정 물질들이 묻으면 사용자의 손이 인식되지 못한다는 점이다. 우리는 이러한 단점들을 보완하여 허공에서 조작이 가능하기 때문에 사용자의 손에 특정 물질이 묻어도 작업수행이 가능하다.

3) 이물질이 표면에 묻지 않음 : 사용자가 화면에 직접 터치함으로써 생기는 지문들이나 이물질(물, 기름 등)들이 표면에 묻게 된다. 하지만 허공에 손을 터치해 사용자의 명령이 인식되기 때문에 지문이 묻거나 이물질이 발생하지 않기 때문에 시각적으로 더욱 편하고 사람들의 손을 통한 질병도 피할 수 있다. 따라서 Prevent a Disease 시스템이라고도 할 수 있다.

4) 고장 날 확률 감소 : panel 화면에 직접적인 접촉을 하지 않아 고장 날 확률이 매우 낮다. 기존의 panel들은 사용자가 직접적인 터치를 함으로써 panel이 고장이 빈번히 발생하기 때문에 이러한 단점을 보완할 수 있다.

5) 창의적인 접근 방법 가능 : 기존 터치스크린은 명확히 한정된 메뉴에서 선정하므로 사용자의 오류를 제거한다는 장점이 있지만, Touchless Signage Display는 기존 터치스크린의 장점을 더욱더 극대화 시켜 다양한 분야에서 응용이 가능하다.

3.2. 전체 시스템 구성
3.2.1. 주요 구성부품

1) Kinect camera

(1) Kinect camera 3개의 렌즈로 구성된다.
(2)왼쪽 렌즈는 적외선 송출프로젝터, 전면에 픽셀 단위의 적외선 송출한다.
(3) 가운데 렌즈(컬러 센서)
- RGB (Red, Green, Blue) 구성한다.
(4) 적외선 깊이 카메라 : 송출된 점들이 반사되는 것을 받아들여 물체를 인식한다.
(5) Kinect 카메라를 통한 motion 인식 알고리즘

2) Raspberry Pi 3 : ‘초소형 컴퓨터’로, C와 C# 등 다양한 프로그래밍 언어로 이용 가능 하며, 사용자가 얻고자 하는 정보에 관한 영상 첨부가 가능하다.

3) 3D 반사필름 : Raspberry Pi 3에 저장되어 있는 영상을 허상 화면으로 전환이 가능한 부품이다.

4) LCD패널 : 3D 반사필름으로 통해 전환된 화면을 사용자가 눈으로 볼 수 있는 평판 디스플레이이다.

5) 아크릴판 : 단한 시제품을 제작할 때 사용하며, 안에 부품들을 정리할 수 있고 깔끔한 외형 제작이 가능하다.

3.2.2. 작품 설계 구조도

① 반사 필름 ② Kinect camera ③ LCD패널 ④ Raspberry Pi ⑤ 아크릴판

3.2.3. 작동과정
(1) 사람들이 지정된 영역 안에 들어오면, 자동으로 홀로그램이 켜져서 눈앞에 나타나고 없으면 사라진다.

(2) 사람들이 홀로그램을 터치하면 원하는 화면으로 넘어간다.

(3) 내가 원하는 정보를 얻는다.

3.3. 개발 환경
개발언어 : C언어, C#
TOOL : Microsoft Visual Studio, Raspberry Pi
사용시스템 : OSHW
운영체제 : 유닉스, 라눅스(커널), 라즈비안