[29호] 하지 장애인을 위한 스마트 음성인식 휠체어

Posted by 디바이스마트 매거진 on Tuesday, March 10, 2015 · Leave a Comment

2014 ICT 융합 프로젝트 공모전 우수상

하지 장애인을 위한 스마트 음성인식 휠체어

글 | 대구가톨릭대학교 의공학과 장익제

심 사 평
싱크웍스 핵심적인 기술은 음성인식인 것으로 보인다. 음성인식의 경우 오래된 주제이고 구동되는 액추애이터들이 특별한 것은 없는 것 같다. 따라서 창의성 점수를 높게 줄 수 없었다.
JK전자 홈오토메이션, 사물인터넷 등이 활성화되어 기반 인프라가 조성이 되면 이 작품이 제대로 빛을 발휘할 수 있을 것이라고 예상된다. 작품의 기술적인 면에서는 Labview 소프트웨어를 활용하여 음성 인식을 하는데 상용소프트웨어를 활용하는 것보다는 직접 알고리즘 설계에 도전해 보았으면 하는 생각이다. 제품을 상용화하는 경우에도 외부 소프트웨어 활용은 제품의 비용 측면에서 상당한 부분을 차지하게 될 것이다.
뉴티씨 사회적 약자를 위한 기술은 언제나 필요한 기술이며, 내가 사회적 약자가 될 수 있다는 각도에서 고려되어야 한다. 또한, 그러한 기술의 개발은 이 사회의 책임이기도 하며, 동시에 의무이다. 하지만, 사회적 약자들은 힘과 자본이 없어서, 그러한 기술들의 필요성이 상대적으로 크지만, 잘 드러나지 않는 것이 특징이다. 이에 이러한 프로젝트의 시도는 매우 의미가 있다고 하겠다. 스마트 패드 등에 설치하여, 안드로이드 환경에서 구현하였다면 더욱 좋았을 것으로 생각되며, 당장 실용 가능할 것으로 생각된다. 또한, 문을 닫거나, 불을 끄거나 하기 위한 주변 하드웨어도 함께 개발이 된다면 더욱 실용성이 높을 것으로 생각된다.

1. 작품 개요
1.1. 기구 개요
현대 사회의 의료기술이 발전함에 따라 장애인들에 대한 높은 복지 수준도 요구되고 있다. 이러한 요구에 맞춰 스마트 기기의 성능과 편리함의 장점을 이용하여, 하지 장애인들이 겪고 있는 집 안에서의 활동 제한과 불편함을 개선하고자 ‘스마트 음성인식 휠체어’를 개발하게 되었다.
휠체어의 상당수가 노인층에 속하며, 스마트기기에 익숙하지 않은 세대들이기 때문에 굉장히 쉽고 직관적인 방법이 필요하다. 따라서 음성인식은 이러한 세대를 위한 최적의 기술이면서 굉장히 도전적인 방법이라고 판단된다.

그림1. 스마트 음식인식 휠체어

보편적으로 사용되고 있는 수동 휠체어를 모델로 하고 모니터를 설치하여 실시간으로 집 안의 각종기기와 상태를 파악하고 조작 가능하도록 하였다. ‘스마트 음성인식 휠체어’의 작동은 모두 음성을 통한 명령어로 동작 가능하도록 개발되었다.

‘스마트 음성인식 휠체어’를 사용함으로써 실내 이동과정에서 발생할 수 있는 사고를 미연에 방지할 수 있으며 장애인의 자립생활이 가능하도록 함으로서 가족들이 느끼는 시간적 부담을 줄여, 궁극적으로는 ‘언제나 도움을 받아야 하는 존재’에서 벗어나 ‘도움을 줄 수 있는 존재’로 삶의 수준을 한 단계 높여 줄 것이다.

1.2. 주 사용대상 및 문제점
· 휠체어를 사용해야 하는 하지 장애인들
· 보행보조기를 사용하는 고령자
· 휠체어나 보행보조기를 타고 집안을 이동하는 것은 상당히 불편(문턱, 공간 etc)하고 힘들다.
· 일상 생활에서의 간단한 행동(문 개폐, 스위치 on/off)도 하지 장애인들에게는 어려움이 많다.

1.3. 사용자 예상 규모
2011년 한국통계청에 따르면 전국 등록 장애인수는 성별에 구분 없이 약 250만명으로 추정된다. 이 중 하지마비, 척수마비 등의 지체장애환자들은 대부분 휠체어의 사용을 필요로 한다. 또한 뇌병변장애인들도 휠체어를 필요로 하는 수가 대부분이다. 지체 및 뇌병변 장애의 인구, 그리고 고령자들을 고려할 때 약 100만명 이상의 사용대상자가 있을 것으로 판단된다.

그림2. 전국장애인유형별등록인수

2. 작품 설명
2.1. 주요 동작 및 특징
· 이동이 불편하고 제한된 하지장애인과 고령자들이 휠체어에 앉은 채로 집안의 전자기기나 문 개폐, 조명과 같은 다양한 활동을 목소리로 제어하는 기구이다.
· 사용자 특유의 억양과 음색을 데이터베이스화하여 인식하기 때문에 최적화된 시스템을 제공해 줄 수 있다.
· 집안의 다양한 기기들과 연결하여 사용자의 삶의 질을 향상시키는 기구이다.
· 장애인을 돌보는 가족들의 번거로움을 덜 수 있고 각자의 일에 충실할 수 있다.
· 휠체어의 좌측 팔걸이에 부착된 모니터를 통해 기기들의 실시간 상태와 컨트롤이 가능하다.
· 인터페이스가 매우 단순하고 쉽게 이해할 수 있도록 디자인 되었다.
· 기존 수동휠체어에 음성 인식부분만 추가적으로 결합하는 방식이 가능하기 때문에 비용 면에서도 경쟁력을 가지고 있다.

2.2. 전체 시스템 구성
‘스마트 음성인식 휠체어’의 시스템은 세부분(input, signal processing, output)으로 나뉘어진다. input은 명령어를 수집하여 컴퓨터로 전송하는 부분으로서, 마이크를 통해 명령어가 입력되면 DAQ(myDAQ, NI, USA)가 A/D변환을 하고 컴퓨터로 명령어가 전송된다. signal processing은 수집된 명령어의 고유주파수를 분석하여 어떤 명령어인지 판단한다. 어떤 명령어인지 확인되면 모니터상의 상태가 변하게 되고 output으로 명령어에 맞는 활동신호를 보내게 된다. 본 시스템알고리즘은 LabVIEW(NI, USA)를 통해 개발하였다. output은 명령어에 맞는 활동을 제어하는 부분으로서 MCU인 Arduino를 사용하였다. 본 시스템에서는 명령어를 통해 LED의 점등과 소등, Servo모터의 작동, DC모터의 작동을 구현하였다.

그림3. 전체 시스템 도식

2.3. 개발 환경

본 기구는 다양한 기술의 복합체로서 LabVIEW(ver.2012, NI, USA), Arduino(UnoR3-ATmega328P, Arduino, Italy) Rhino3D(ver.5, Mcneel, USA)를 사용하여 3부분으로 나뉘어져 S/W와 출력, 휠체어 디자인을 제작하였다. LabVIEW는 그래픽 기반의 프로그래밍으로서 C언어와는 달리 쉽고 간편하게 코드를 작성할 수 있다, LabVIEW를 활용하여 시스템 알고리즘(음성인식)과 모니터의 인터페이스를 만들었다. Arduino는 오픈소스 기반으로 된 강력한 MCU로서, 본 기구에서는 LabVIEW를 통해 아두이노를 사용하는 LIFA(labview interface for arduino)으로 아두이노를 컨트롤하였다. Rhino3D는 3D모델링 소프트웨어로서, 본 기구의 프로토타입을 디자인하였다.

그림4. 사용된 프로그램

3. 단계별 제작 과정
3.1. 단계별 제작 과정
본 기구는 소프트웨어 제작과 하드웨어 제작으로 나눠서 개발되었다.
· 소프트웨어 : 시스템 알고리즘, 인터페이스
· 하드웨어 : 아두이노 출력물 동작(output), 프로토타입 디자인

시스템 알고리즘 및 인터페이스:
· DAQ어시스턴트는 마이크로부터 들어온 목소리를 데이터로 불러준다.
· 목소리 데이터는 FFT를 통해 모든 주파수영역으로 분해된다.
· 배열창을 통해 모든 주파수값들은 순서대로 배열상태로 정리시킨 후, 최대값을 찾는다.
· 최대값의 파장대를 찾는다. 이 때, 최대값의 파장대가 명령어의 고유 주파수값이 된다.
· 노트북에 DAQ(myDAQ, NI, USA)를 연결하여 신호를 받을 수 있도록 하였다. DAQ에 마이크를 연결하고 명령어를 반복적으로 말하여 주파수를 획득하였다. 8가지 명령어(열어/닫어/덥다/춥다/온도올려/온도내려/점등/소등)를 모두 수행하여 데이터베이스화 하였다.

그림5. 데이터 입력 및 출력

그림6. 마이크와 DAQ 연결모습

음성인식의 알고리즘:

· 음성인식의 알고리즘은 크게 데이터베이스, 명령어마다의 고유주파수 검출, 명령어 분석으로 나뉘어진다.
· 음성인식을 하기 위해서는 명령어와의 비교를 통해 인식을 해야 될 레퍼런스, 즉 데이터베이스가 필요하다. 따라서 사용자가 활용할 명령어를 10번 반복하여 마이크에 녹음한다.
· 10번 반복된 단어(명령어)를 FFT하여 각종 노이즈를 제거하고, 고유 발음에 의한 주파수를 찾는다.
· 위와 같은 방법으로 사용할 모든 단어들(명령어)을 녹음하여 고유 주파수를 찾고, 데이터베이스를 완성시킨다.
· 마이크를 통해 단어를 입력하면 주파수분해를 통해 데이터베이스에 있는 명령어들과 비교를 하게 된다. 비교하여 동일한 주파수가 잡히면 아두이노로 출력신호를 보내게 되고, 그렇지 않으면 작동을 하지 않게 된다.
· 고유 주파수를 알고리즘에 설정하고, 8가지의 명령어를 구별하여 인터페이스에 나타날 수 있도록 하였다. ‘온도올려’와 ‘온도내려’는 에어컨이 켜져 있을 때만 명령어가 인식하도록 하였다. 그 외의 명령어들은 동시 실행이 가능하도록 하였다.
· 명령어를 인식하면 글씨의 색이 바뀌고 동작변화를 인식할 수 있도록 아이콘과 그래프를 디자인하였다.

그림7. 음성인식 알고리즘

그림8. 명령어마다의 고유 주파수 설정

그림9. 명령어 인터페이스

아두이노 출력물동작(output):
· 집안에서 가장 보편적인 작업 및 행동을 표현하기 위해서 MCU인 Arduino를 사용하였으며, 출력은 DC형 servo motor(SEDS 350)와 DC motor 그리고 LED를 이용하여 동작형태를 나타내었다.
· DC형 servo motor와 DC motor의 전류를 맞춰 주기 위하여 트랜지스터(2N4401)와 저항(220Ω, 100Ω)으로 공통 콜렉터 증폭기를 구성하였다.
· 거실조명을 표현한 LED는 turn on/off의 동작이 되도록 하였고, 에어컨(선풍기)을 표현한 DC motor는 PWM(Pulse Width Modulation)출력을 이용하여 펄스 폭을 제어하였다. 펄스 폭을 제어함으로써 온도조절에 따른 모터의 회전속도를 컨트롤 하였다. 현관문을 표현한 DC형 servo motor를 통해 경첩과 같은 움직임을 컨트롤 할 수 있도록 하였다.

그림10. 아두이노와 연결된 출력물

그림11. 아두이노의 파워제어 모니터링

· 기존의 아두이노는 C언어 기반의 작동을 하도록 되어있다. 하지만 LIFA(LabVIEW interface for Arduino)를 이용하여 C언어가 아닌 랩뷰로 아두이노를 구동함으로써, 손쉽게 제어하고 프로그램 연동이 쉽도록 하였다.
· 각 명령어에 나타나는 알고리즘의 값들(참, 거짓)을 로컬변수를 통해 아두이노의 출력부분과 결합하여 함께 인식하도록 하였다. 같은 값을 공유함으로써 인터페이스의 현재상태와 아두이노의 동작이 동시에 나타나게 된다.

그림12. 아두이노의 입력과 출력제어

그림13. 아두이노 동작 유무제어

프로토타입(Prototype)제작:


그림14. 라이노3D로 디자인한 기구

· ‘스마트 음성인식 휠체어’의 디자인은 라이노3D를 이용하여 모델링 하였다.
· 휠체어는 가장 많이 쓰이는 수동휠체어의 형태를 선택 하였으며, 좌측 팔걸이에 마이크가 내장된 모니터를 설치하였다. 모니터를 통해서 명령어에 의한 작동과 시스템 모니터링이 가능하다.
· 디자인한 모델링을 토대로 Prototype를 제작하였다. 거치대를 제작하여 휠체어의 좌측 팔걸이에 설치하였으며 태블릿PC(Ativ, Samsung, KOREA)를 결합하였다. 휠체어를 움직여 안정도를 테스트하였다.
· DAQ와 아두이노를 연결하고 명령어에 따라 인터페이스와 기계동작이 올바르게 작동하는지 테스트하였다.

그림15. 프로토타입 제작과정

기구의 구성과 User interface:

· 주파수(스펙트럼): 목소리(명령어)의 주파수 값을 그래프화 한다.
· 목소리(음파): 목소리(명령어)의 진폭 값을 그래프화 한다.
· 인터페이스: 명령어에 따른 동작의 변화를 보여준다
-에어컨: on/off , 설정온도 조절
-현관문: OPEN/CLOSE
-형광등: 현재상태의 LED 점등
· 명령어: 목소리(명령어)에 따라 글씨의 색이 변한다 (검정 ⇨ 노랑)

그림16. 완성된 인터페이스

특이사항:
· 오른손잡이를 기준으로 디자인된 휠체어로서 좌측 팔걸이에 모니터를 설치하여 활동에 불편함이 없도록 하였다.
· Prototype 개발시, 주위의 소음을 최대한 줄인 채 명령어를 획득하였다.

장점:
· 휠체어를 이용하는 장애인이 음성인식을 사용함으로써 움직이지 않고 여러가지 컨트롤이 가능하다.
· 장애인을 돌보는 가족들의 번거로움을 덜 수 있고 각자의 일에 충실할 수 있다.
· 사용자 특유의 억양과 음색을 데이터베이스화하여 인식하기 때문에 최적화된 시스템을 제공해 줄 수 있다.
· 인터페이스가 매우 단순하고 쉽게 이해할 수 있도록 디자인 되었다.
· 간단한 인터넷 서핑이나 TV와 같은 다양한 기능들을 결합 가능하다.
· 기존 수동휠체어에 추가적으로 결합하는 방식이 가능하기 때문에 비용면에서도 경쟁력을 가지고 있다.

단점:
· 데이터베이스를 만들어 고유 주파수를 획득하고 나서 사용이 가능하다.
· Prototype의 경우 동일인이 다른 억양과 음색으로 말을 할 경우 작동에 오류가 생길 수 있다.
· 외부 노이즈(소음)에 의한 오작동의 위험성이 존재한다.

개선방향:
· Prototype은 유선방식의 동작테스트를 하였다, ‘스마트 음성인식 휠체어’에 bluetooth를 결합하여 홈 네트워크의 무선화를 구현하여야 할 것이다.
· 고유 주파수 획득을 자동화하여 사용자 스스로 수정하고 인터페이스의 조정이 가능하도록 할 것이다.
· 외부 노이즈 제거 기술을 향상시킴으로서 오작동을 줄이도록 개선 할 것이다.
· 배터리 부분을 고려하여 장시간 사용이 가능하도록 개선할 것이다.

기대효과:
① 개인(기구 사용자) 및 사회적 기대 효과
· 하지 장애인을 위한, 더 나아가 스스로의 활동이 어려운 고령자들을 위하여 집 안에서 혹은 직장에서 장애인들이 의지해야만 하는 휠체어나 보행 보조기에 스마트 음성 인식장치를 부착함으로써 장애인 및 고령자들이 외부의 도움을 받지 않고 그들 스스로가 일을 해낼 수 있도록 한다. 따라서 ‘스마트 음성인식 휠체어’가 보편화됨으로서 장애인 및 고령자들의 삶의 질을 높이고 움직임에 의한 낙상사고와 같은 위험을 줄일 수 있다.
· 장애인 및 고령자들은 ‘언제나 도움 받아야만 하는 존재’ 라는 사회적 인식이 개선될 것이라 확신한다.

② 경제적 기대 효과(상품으로써의 가치 창출 및 시장성 분석)
· ‘가구설치 및 인테리어팀과 복합적인 기술을 요구한다. 때문에 이 시스템의 장점을 잘 살려 고부가가치 상품화가 가능할 수 있을 것이다.
· 독창적인 보조기기로써 U-health와 더불어 새로운 시장성을 만들어 줄 것이다.
· 기존 수동 및 전동 휠체어보다 한 단계 발전된 새로운 기능의 휠체어로서 휠체어의 새 시장을 구축할 것이다.

4. 기타
모델링 :