[62호]Mindwave mobile 2를 이용한 뇌파 기반 응급호출 시스템
2020 ICT 융합 프로젝트 공모전 우수상
Mindwave mobile 2를 이용한 뇌파 기반 응급호출 시스템
글 | 숭실대학교 최영림, 최지웅, 이하영, 김수희
1. 심사평
칩센 측정한 뇌파가 유사한 상황에 대하여 모든 사람이 동일한 혹은 비슷하게 출력되는지가 궁금합니다. 만약 그렇다면 시스템 및 DB구축이 충분히 가능할 듯 합니다만, 그렇지 않다면 이미 의사표현과 거동이 불편한 노약자들이 각각의 DB를 구축하기는 쉽지 않을듯 합니다. 의료기기 또는 의료 보조기의 경우 critical한 정보를 해석하거나 판정을 위한 데이터를 제공해야 하므로 신중하게 접근할 필요가 있어 보입니다.
펌테크 아이디어와 창의성을 갖춘 작품이라고 생각이 듭니다. 단 제출된 보고서 내용을 고려하면 작품에 대한 기획의도는 우수하다고 생각되지만 계획에 대비해서 출품작의 일부 진행 과정은 확인이 되나 최종적인 완성도를 구체적으로 확인할 수가 없었습니다.
위드로봇 수집한 데이터 양이 작은 점이 문제이지만 학부생 연구에서는 더 이상을 요구하는 것도 무리라 생각이 듭니다.
2. 서론
SWEEG 팀이 개발한 ‘뇌파 기반 응급호출 시스템’은 의사 표현이 힘든 노약자나 어린아이를 위하여 BCI기술과 machine learning(AI)을 접목해 간병인에게 환자의 상태를(응급/평상시) 알려주는 도구이다.
과학기술이 발전하면서 인간의 평균 수명은 그림1과 같이 높아졌고, 다양한 질병의 규명이 가능해지게 되었으며, 그러한 질병에서 오는 불편함을 해소하고자 하는 개선 욕구 또한 증가하는 추세가 되었다. 시대적 흐름에 맞춰 인간의 삶의 질에 대한 중요성이 점차 높아짐에 따라 특히 바이오산업이 주목을 받게 되었다.
한편, 현재 사람들이 살아가는 시대는 업종별 구분이 무의미해지는 변화의 시기이다. ‘4차 산업혁명’이라고 흔히 부르는 이러한 변화는 AI의 발전을 기반으로 자동차, 가전, 의료기기 등 여러 분야의 구분을 무너뜨리고 모든 것이 연결되는 세상을 만들고 있다.
바이오 산업은 최근 IT 기술과 접목하면서 큰 성장을 이루며 점차 복잡-세분화되고 있다. 그중 인간과 컴퓨터 간의 상호 작용을 연구하는 학문 분야인 HCI(Human-Computer Interface)에 대한 수요가 증가하고 있다. 특히, BCI(Brain-Computer Interface)는 미국 MIT 대학과 세계 경제포럼 등에서 10대 유망기술로 선정되기도 하였다.
BCI 기술이란 사람의 뇌 활동을 측정해 생각, 의도, 감정 등을 분석하고 이러한 정보를 명령으로 변환해 다양한 외부기기를 제어하거나 사용자의 의사, 의도를 외부에 전달하는 기술을 말한다. [1] 오랫동안 수많은 연구자들이 뇌파를 분석해왔고 그 결과 최근 과학자들이 뇌 속 신호체계를 컴퓨터로 표현하는 방법을 개발하게 되면서 BCI기술이 본격적으로 발전할 수 있게 되었다. 지난 수십 년간의 연구에서 인간이 말을 할 때나 뭔가를 생각할 때 인간의 두뇌는 뚜렷한 활동 패턴이 나타나는 것으로 밝혀지고 있다. 또한, 누군가의 말을 들을 때, 혹은 듣는 것을 상상할 때에도 뇌가 인식 가능한 신호 패턴이 나타나는 것으로 밝혀졌다. [2] 이는 BCI를 통해 뇌파를 갖고 실제 의사소통이 가능하다는 것을 보여준다.
본 프로젝트에서는 딥러닝을 이용한 실시간 뇌파 기반 호출 시스템의 모델과 결과물을 제공하고자 한다. 환자들의 의사 혹은 응급 시 호출 상황을 말이나 몸짓이 아닌 뇌파로 표현할 수 있도록 컴퓨터 알고리즘과 인공지능을 이용하여 분석하고 이를 간병인 혹은 의사에게도 적용할 수 있을 것이다.
3. 제품 설명
3.1. BCI 시스템
BCI 시스템은 측정 방법에 따라 침습식 혹은 비침습식 방식이 있다. 침습식은 두개강내뇌파, 국소장전위, 마이크로 전극, 마이크로 전극배열 등을 이용하고 비침습식은 뇌전도, 뇌자도, 양전자 단층촬영, 근적외선분광, 기능적 자기공명영상을 이용한다. 두 방식은 각기 장단점을 가지고 있다. 침습식은 두피를 뚫고 뇌 피질 혹은 뇌 안에서 직접 신호를 측정하기 때문에 센서의 생체적합성 이 중요한 사항이 된다. 이는 신호의 질과 시간/공간 해상도가 뛰어나다는 장점이 있기는 하지만, 센서의 생체적합성 및 장기간 이식되어도 문제가 되지 않는 디자인과 재질 그리고 신경조직을 상하지 않으면서 저 전력과 무선으로 동작할 수 있는 전극에 대한 연구가 요구된다. 이에 반해, 비침습식은 잡음 문제가 있어 신호의 질이 떨어지지만, 인체에 무해하고 준비과정이 복잡하지 않기 때문에 선호되고 있다[3].
BCI 시스템은 기본적으로 학습 과정과 피드백과정으로 구성된다. 학습 과정은 전처리 단계, 특징 정보 추출 단계와 분류 단계로 나뉜다.
· 전처리 단계
뇌파는 측정 시 전극을 부착하는 위치와 방법, 실험 환경, 피험자의 움직임 등에 의하여 잡음이 발생하기 쉬우며, 잡음이 포함된 뇌파는 BCI 시스템에 사용하기 부적절하다. 따라서 효율적인 BCI시스템을 구성하기 위해서는 전처리 과정을 수행하여 신뢰성 있는 뇌파를 수집하여야 한다.
· 특징 정보 추출 단계
특징추출은 주어진 입력자료보다 적은 차원을 가지면서 동시에 자료를 분류하기 위한 특징을 충분히 포함하는 입력신호의 특징을 찾아내는 과정이다. 이러한 특징을 이용하면 분류를 위한 계산량을 감소시킬 수 있을 뿐만 아니라 불필요한 특징을 제거함으로써 분류성능을 향상시킬 수 있다.
· 분류 단계
특징추출을 거친 뇌파 신호는 실질적인 기기 제어 등을 위한 분석 및 분류 과정을 거치게 된다. 다양한 감각 기관을 통하여 전달되는 정보를 처리, 분석, 종합하여 미리 정의된 특정 패턴들 중 어떤 부류에 속하는지 판별하는 기술이다. 생체 인식의 한 분야인 BCI 분야에서 활용되어지는 기법으로는 은닉마르코프모델(HMM: Hidden Markov Models), Kalman Filter Model, 다층신경회로망(Multi Layer Perceptron)등이 있다.
이후 피드백과정은 마우스커서 컨트롤, 휠체어 운전, 로봇팔의 제어 등의 구체적 응용에 적용한다.
3.2. 주요 동작 및 특징
먼저 Mindwave Mobile2(이하 측정기)와 연결된 클라이언트가 실행되면 호출 서버에 대한 Post Request를 통해 해당 기기의 등록 여부를 확인하고 아닐 경우 등록한다. 그 후 측정기와 현재 블루투스 통신을 하고 있는지 확인하고 정상적으로 수행됨을 확인한 후 측정기로부터 사용자의 뇌파 데이터를 수신받는다. 수신받은 뇌파 데이터는 곧바로 미리 학습된 딥러닝 모델에 의해 호출 상황인지 예측하는 작업을 수행한다.
해당 뇌파가 응급 시 호출 상황일 경우 측정기의 MAC address와 함께 서버로 Get Request를 보내 호출 요청을 전송하게 된다.
호출 요청을 받은 서버는 DB의 ‘call’ 테이블을 확인하여 해당 기기와 호출 관계인 피호출자가 존재하는지 확인한다. 존재하는 경우에는 ‘callee’ 테이블로부터 해당 피호출자의 토큰을 읽어오고 이를 기반으로 Firebase의 FCM을 이용하여 피호출자 모바일 어플리케이션에 호출을 요청한 유저의 이름이 담긴 푸시 메시지를 전송하게 된다.
3.3. 전체 시스템 구성도
3.3.1. 순서도
본 작품의 순서도는 다음과 같다.
3.3.2. 시스템 구성도
측정기를 이용한 뇌파 기반 호출 시스템의 구성도는 다음과 같다. 상황에 따라 측정기와 호출 서버 사이에 존재하는 라즈베리파이는 일반 사용자 컴퓨터로 대체할 수 있다.
라즈베리파이와 사용자가 착용한 측정기는 블루투스 통신을 통해 연결되며 연결이 완료되었을 시 측정기는 사용자의 전두엽으로부터 나오는 EEG 신호를 측정하여 연결된 기기로 송신한다. 본 데이터를 수신받은 라즈베리파이 기기는 딥러닝 모델 중 가장 정확도가 높은 MLP 기반으로 학습된 모델에 의해 해당 EEG 신호를 판별(예측)하게 되며 해당 신호가 호출 상황(응급)인 경우 AWS EC2에 올라가 있는 뇌파 호출 서버로 Http Request를 전송한다.
AWS EC2에는 Django Framework 기반 뇌파 호출 서버와 데이터를 관리하는 MySQL로 이루어져 있다. MySQL에는 피호출자 클라이언트(어플리케이션)의 정보와 호출자 클라이언트(측정기)의 정보가 저장된다.
본 서버는 어플리케이션에 푸시 방식의 알람 메시지를 전송하기 위해 Google Firebase 클라우드를 이용한다. 따라서 서버가 호출자의 호출 요청을 수신받았을 때 연결된 Firebase 클라우드로 피호출자의 토큰 값을 전송해 해당 어플리케이션에 푸시 알람을 전송한다.
3.3.3. DB 다이어그램
호출에 필요한 호출자의 정보(기기 MAC address 및 이름)과 피호출자의 정보(토큰, 이름)을 효율적으로 관리하고 관계성을 정의하기 위해 데이터베이스는 MySQL을 사용한다. 각 테이블의 세부 역할은 다음과 같다.
ⅰ) EEG 테이블
호출을 지시할 측정기 기기의 MAC 주소와 사용자의 이름을 등록 및 관리
ⅱ) callee 테이블
피호출자의 어플리케이션 정보 및 FCM 토큰을 저장
ⅲ) call 테이블
EEG 테이블과 callee 테이블 간 호출 관계성을 정의
3.4. 개발 환경
OS : 라즈베리파이3(라즈비안), 우분투(AWS EC2), 윈도우
개발 언어 : python 3.6, java
개발 툴 : jupyter notebook, android studio, pycharm, git, MySQL
오픈소스 : OpenCV, Firebase, Keras, Tensorflow, Django
디바이스 : Neurosky사 Mindwave Mobile2
4. 단계별 제작 과정
4.1. 측정기와 블루투스 통신을 이용한 사용자 뇌파(EEG) 탐지
본 프로젝트의 뇌파(EEG) 탐지 방법은 다음과 같다.
측정기의 데이터 전송방식은 BLE 4.0을 이용하기 때문에, 측정기와 서버를 중계할 Ubuntu와 Python Bluetooth 연결을 시도한다. 측정기의 블루투스가 Advertising(외부에 자신의 존재를 알리는 기능)은 안정적이지만 Connection(두 블루투스 장치 간 연결을 하는 것)은 불안정한 편이라 연결이 성공할 때까지 그림9와 같이 대략 3~4번의 재시도가 발생한다. 성공하면 측정기와 Ubuntu Linux를 페어링(Pairing)하여 측정된 뇌파를 파형의 종류에 따라 분류하는 결과로 나타난다. 뇌파 수신이 안정적이라면 이후부터 응급호출 상황과 평소 상황을 가정하여 각각 데이터를 측정, 수집한다.
4.2. 뇌파 데이터 수집 및 BCI 알고리즘을 이용한 뇌파 분석
· 데이터 수집
두피에 전극을 배치하기 위한 다양한 시스템이 있다. 연구 목적으로 가장 널리 사용되는 시스템은 21개의 전극으로 구성된 10/20 시스템이다. 눈과 코 사이의 영역은 nasion 영역이고, 머리 뒤에서 두개골의 가장 낮은 지점의 영역은 inion 영역이다. Fig. 10은 10/20 시스템에서 전극의 위치를 보여준다[4]. 해당 프로젝트에서 이용한 측정기기는 위에서 언급한 Mindwave Mobile2이다. 해당 기기는 머리에 헤드셋처럼 낀 뒤에 전극이 붙은 날개 부분을 이마 위에 대고, 그 뒤에 걸린 집게를 귀에 집는 형식으로 되어있다. 이는 그림10과 같이 10/20 시스템에 따라 Fp1, A1 위치의 전극을 이용하여 뇌파를 비침습형 방식(non-invasive)으로 측정한다.
데이터의 수집을 위해 23, 24세의 성인 남성 2명이 프로젝트의 실험자로 진행되었다. 실험자들이 실험에 자발적으로 참여했으며 그들 각자의 동의하에 진행되었다. 응급 상황을 위해, 실험자 2명은 약 1분간 여러 번 기록한 영상이나 공포영화를 보거나 응급 상황을 상상하면서 응급 시 호출 뇌파를 측정하였다. 평상시 상황을 위해, 실험자 2명은 약 10분간 여러 번 게임, 수면, 음식물 섭취 등의 위급하지 않은 상황에서 뇌파를 측정하였다. 측정된 응급상황 뇌파와 평상시 뇌파의 수는 기계학습의 정확도를 위하여 만개 이상이 되도록 하였다.
· 전처리 단계
위에서 언급한 비침습형 방식은 간편하지만 수집한 데이터의 정확도가 떨어지는 단점이 있다. 하지만, 이 문제는 측정기 내부의 알고리즘으로 불필요한 신호를 높은 수준으로 걸러낼 수 있게 되었다. 측정기로 뇌파를 측정한 후 더 정확한 데이터의 수집을 위해 해당 프로젝트에서는 유효한 뇌파만 검출하여 데이터 형식을 csv로 가공하였다. 측정기에서 측정된 rawdata는 각 delta, theta, lowAlpha, highAlpha, lowBeta, highBeta, lowGamma, midGamma, meditation, 그리고 Attention 총 10개의 column으로 구분되어 매 초마다 출력된다. 추가적으로 눈 깜박임도 측정되지만, 이를 기록했을 경우 rawdata가 1초가 아닌 3초마다 출력되기 때문에 정확도가 오히려 낮아질 수 있다고 판단되어 측정에 고려하지 않았다. 이때 응급상황일 경우 meditation과 attention이 0일 때를 모두 제거하고 0이 아닌 데이터만 csv로 받아와 train, test data를 생성했다. 측정하고 전처리 된 평상시 데이터와 응급상황 데이터는 다음과 같다.
· 특징정보 추출 단계
특징을 추출하기 위해 몇 가지 통계 도구를 사용했다. 코드에서 이들을 구현하기 위해 scikit-learn, tensorflow 등의 python 라이브러리를 사용하여 분류를 위해 10개의 column으로 이루어진 데이터셋을 가공하였다. 다음 Scaler는 뇌파신호의 통계적 특징을 계산하는 데 사용된다.
RobustScaler
10개의 column을 가진 각각의 데이터들이 같은 scale을 갖게 되지만, 평균과 분산 대신 중앙값(median absolute deviation)과 사분위 값(interquartile range)을 사용한다. 따라서 기존 평균, 표준편차를 이용한 scaler와 달리 측정 에러(이상값)의 영향을 받지 않는다. 즉, 중앙값(MAD)이 0, 사분위 값(IQR)이 1이 되도록 변환한다[5].
i ) Interquartile Range(IQR)
IQR은 은 데이터 세트를 사분위수로 나누는 것을 기반으로 하는 변수 측정 방법이다. 사분위수는 정렬된 데이터셋을 4개의 동일한 부분으로 나눈다. 분리된 분위 값을 각각 1사분위, 2사분위, 3사분위라고 한다. 그것들은 각각 Q1, Q2 및 Q3으로 표시된다. 75 분위수와 25 분위수 사이의 차이 또는 상한과 하한 사이의 차이와 같다. 식은 다음과 같다[6].
IQR = Q3 – Q1
ii ) Median(MAD)
중앙값은 상위 절반을 데이터 샘플의 하위 절반, 모집단 또는 확률 분포와 구분하는 값이다. 즉, 어떤 주어진 값들을 크기의 순서대로 정렬했을 때 가장 중앙에 위치하는 값을 의미한다. 확률 분포에서, 실수 m이 다음 식을 만족할 경우 그 값을 확률분포 P의 중앙값이라고 정의한다. 식은 다음과 같다[7].
· 분류 단계
해당 프로젝트에서는 MLP(DNN), SVM, CNN 세 종류 방식의 머신러닝 알고리즘을 이용하여 뇌파를 훈련했다. 각 머신러닝 알고리즘을 이용한 데이터의 정확도는 다음과 같다. 3가지 머신러닝 알고리즘을 사용한 이유는 더 정확도가 높은 머신러닝 알고리즘을 프로젝트에 적용하기 위함이다.
초기 SVM 알고리즘을 이용한 데이터를 실험했을 때 60%정도로 정확도가 낮았으나 이후 함수에 대한 다양한 변수값의 변화를 줌으로써 80%대까지 끌어올릴 수 있었다. 그러나 더 정확한 테스트를 위해 CNN, MLP 알고리즘을 추가 적용하였다. 그 결과 MLP가 약 95%의 정확도를 선보여 최종적으로 해당 프로젝트에 MLP 알고리즘을 적용할 수 있게 되었다. 추후 응급 상황뿐만이 아닌 다양한 상태의 뇌파를 판단할 때 이외의 알고리즘도 적용할 수 있다는 여지를 남겨두었다.
·피드백 과정
이후 csv로 저장된 뇌파를 훈련한 알고리즘을 h5 형태의 파일로 저장하여 Ubuntu에서 받아오는 뇌파에 즉석으로 적용할 수 있도록 하였다. 훈련된 데이터를 측정한 동일한 실험자에게 먼저 이 알고리즘을 적용한 결과, 정확도 높은 응급호출을 할 수 있었다. 데이터를 측정하지 않은 다른 실험자에게도 알고리즘을 적용해 응급호출상황을 가정해 실험해보았더니 이 또한 높은 정확도로 결과를 도출해낼 수 있었다.
4.3. Django 서버 프레임워크와 MySQL을 이용한 뇌파 호출 (메세징) API 서버 구현
높은 생산성과 머신러닝 라이브러리와의 지원과 같은 이유로 서버는 파이썬 Django 프레임워크를 선택하여 개발하였다. 측정기기의 MAC 주소와 피호출자 어플리케이션의 FCM 토큰값을 저장하기 위한 데이터베이스로는 MySQL을 사용하여 구현하였다.
만약 사용자의 특정 뇌파 패턴(호출 상황)이 감지된 경우 서버에 호출 요청을 하게 되고 서버는 해당 기기의 MAC주소와 연결되어있는 모든 클라이언트에게 FCM(Firebase Clout Message)를 통해 푸시 알람을 보내주게 된다.
4.4. 안드로이드 어플리케이션과 Firebase Cloud Message를 이용한 푸시 알람
사용자 어플리케이션의 효과적인 푸시 알람을 구현하기 위해 구글 Firebase를 이용하였다. 안드로이드 어플리케이션 구동 시 사용자는 Firebase로부터 토큰값을 할당받는다. 해당 토큰값을 뇌파 호출 서버에 등록하기 위해 어플리케이션 첫 실행 시 사용자는 개인의 식별 ID와 함께 토큰값을 서버에 전달하게 된다.
서버가 정상적으로 토큰을 DB에 저장했을 경우 사용자의 어플리케이션 로컬 스토리지(SharedPreference)에 해당 값을 기록하여 토큰이 서버에 저장되어 있음을 명시한다.
안드로이드 서비스 컴포넌트를 이용하여 어플리케이션은 Firebase로 부터 백그라운드 상황에서 푸시 알람을 받을 수 있으며 해당 경우 호출자의 이름과 함께 “호출하였습니다.” 메시지를 출력하게 된다.
5. 기타
5.1. 결론
본 프로젝트를 통해 응급 뇌파 호출을 위한 서버 시스템 및 통신 호출 관계를 정의하고 구축하였으며 뇌파 분석을 위한 알고리즘을 설계하였다. 실험 결과, 응급 상황 시에는 Meditation 및 Attention 수치가 일정 수준의 값을 보이는 것을 확인하였으며 이를 이용하여 정확한 알고리즘을 설계할 수 있었다. 이와 같은 뇌파 분석결과를 이용하여 의료분야뿐 아니라 게임 및 산업체 등 다양한 방면으로 뇌파 분석 시스템을 활용할 수 있다. 향후 연구 방향으로 더욱 다양한 상태의 뇌파 형태를 분석, 가공하여 4차 산업혁명의 시대에 맞는 다양한 뇌파 서비스를 제공하고자 한다.
5.2. 소스코드
https://github.com/Below0/EEG-Communication에서 확인할 수 있다.
5.3. 참고 문헌
[1] 조용환(2019.3.19.). 브레인 Vol.74, 10대 유망기술 BCI, 핵심은 ‘뇌파’. Retrieved from https://www.brainmedia.co.kr/BrainEducation/20968
[2] 김들풀(2019.2.6.). it뉴스, 뇌파를 음성으로 변환…BCI기술 구현. Retrieved from. http://www.itnews.or.kr/?p=29994
[3] 김귀정, 한정수 (2015). 뇌파를 이용한 BCI 게임 동향 고찰, 디지털융복합연구, 13:6, 178-179, 잠재적 사용자 대상 뇌-기계 인터페이스 (Brain-Machine Interface, BMI) 기술 개발을 위한 수요조사 (한국직업재활학회, 2014), 5-25에서 재인용.
[4] Max Roser, Esteban Ortiz-Ospina, Hannah Ritchie (2019). Life Expectancy. Retrieved from https://ourworldindata.org/life-expectancy
[5] Omid Bazgir, Zeynab Mohammadi, Seyed Amir Hassan Habibi (2018). “Emotion Recognition with Machine Learning Using EEG Signals.” 2018 National and 3rd International Iranian Conference on Biomedical Engineering (ICBME). IEEE 25: 1-5. Retrieved from https://arxiv.org/abs/1903.07272.
[6] V. Jurcak, D. Tsuzuki, and I. Dan. (2007) “10/20, 10/10, and 10/5 systems revisited: their validity as relative head-surface-based positioningsystems.”Neuroimage34(4): 1600-1611.
[7] 데이터 사이언스 스쿨(2016). scikit-learn의 전처리 기능. Retrieved from https://datascienceschool.net/view-notebook/f43be7d6515b48c0beb909826993c856/
[8] Wikipedia. Interquartile Range(IQR), Retrieved from, https://en.wikipedia.org/wiki/Interquartile_range
[9] Wikipedia, Median(MAD), Retrieved from, https://en.wikipedia.org/wiki/Median
[10] 한국콘텐츠진흥원(2011.3.). 문화기술(ICT) 심층리포트 12호:BCI 기술동향, Retrieved from https://www.kocca.kr/knowledge/publication/ct/__icsFiles/afieldfile/2011/03/24/HrswSxQXZXsO.pdf
[11] Akbari, H., Khalighinejad, B., Herrero, J.L. et al. Towards reconstructing intelligible speech from the human auditory cortex. Sci Rep 9, 874 (2019). https://doi.org/10.1038/s41598-018-37359-z
[12] “SVM using Scikit-Learn in Python.” learn opencv. n.d. 수정, Retrieved from https://www.learnopencv.com/svm-using-scikit-learn-in-python/.Scikit-learn: Machine Learning in Python, Pedregosa et al., JMLR 12, pp. 2825-2830, 2011.