[56호]인공지능 실버 케어 강아지 로봇 [AI-Based Sliver Care Robot System with IoT]

인공지능 실버 케어 강아지 로봇

[AI-Based Sliver Care Robot System with IoT]

1. 심사평
칩센 시스템의 구성과 실제 최종 목표가 매우 촘촘하게 구성된 듯합니다. 기획의 의도에 맞는 설계 개발 과정이 진행된 것으로 예상되고, 사진으로 확인되는 결과물 또한 훌륭해 보이는 게 사실이지만, 심사를 위한 보고서의 내용이 매우 미흡합니다. 또한 실제 결과물의 동작이나 내장된 기능을 확인할 수 있는 자료가 포함되어 있지 않아 평가를 하는데 아쉬움이 남습니다.
뉴티씨 강아지형 로봇으로 감성을 불러일으켜 외롭지 않게 함과 동시에 노인들이 약 복용 등을 할 수 있도록 도움을 드리고, 심박수 등을 감시하여 보고할 수 있도록 한 점에서 누군가에게는 매우 중요한 필수품이 될 수도 있겠다고 하는 생각이 들었습니다. 점점 실버시대로 접어들고 있고, 이로 인하여 자동화가 진행되어야 하는 부분이 많아질 것인데, 이러한 개발은 현시대에 도움이 되는 기술로 보입니다.
위드로봇 하드웨어와 소프트웨어 모두 난이도가 높은 부분을 잘 구현한 작품입니다. 다양한 환경에서 실험한 결과 분석이 보고서에 추가되면 더욱 좋을 것 같습니다.
펌테크 일본에서는 이미 상용화되어 있는 반려견 로봇은 로봇 body 설계, 카메라를 통한 영상 인지 기능, 서보모터 구동, AI 알고리즘 구성까지 각각의 과정 과정이 상당히 난도가 높은 제품으로 학생들이 도전하기에는 다소 무리가 된다고 생각할 정도의 기술집약적인 제품이라고 볼수 있습니다. 출품된 작품의 경우 제출된 문서를 감안하자면 최종 완성이 되지 않은 것으로 판단되지만 기획 과정이 쳬계적이라는 생각이 들었고 개발과정 또한 최종 단계까지는 아니지만 중간단계 정도까지는 어느 정도 진행된 것으로 판단됩니다. 최종 개발 작품을 내년도 공모전에서는 볼 수 있기를 바랍니다.

2. 개발동기 및 목적, 필요성
한국을 포함한 많은 나라들은 저 출산과 고령화 현상을 동시에 경험하고 있습니다. 그 결과 전체 인구에서 노령인구가 차지하고 있는 비율은 급속하게 증가하여 고독사, 노인의 자살 등 노인문제가 심화되고 있습니다. 앞으로 경제적 능력이 떨어지고 정신건강 측면에서도 매우 취약한 거대한 노령인구집단을 어떻게 해야 하는지는 매우 중요한 과제가 될 것입니다. 그에 저희는 강아지 형태의 친숙한 반려동물 형태의 노인 돌봄 로봇으로 노인문제에 접근하고, AI(인공지능)와 IoT(사물인터넷)를 기반으로 하여 기존의 노인 돌봄 로봇과는 차별화되는 인공지능·챗봇·CCTV 등 내장되어있는 다기능 노인 돌봄 로봇을 만들었습니다.

3. 과제 해결 방안 및 과정

본 과제에서 통계청의 통계와 실제 팀원의 조부모님들께 진행한 조사를 토대로 노인분들의 불편하신 점을 외로움·건강·방범 등으로 잡고, 조사한 문제들을 해결하고 더 나아가 생활이 편리해지고 재난 등에도 대비할 수 있는 로봇 제작을 수행하였습니다. 외로움을 위해 반려동물의 역할을 할 수 있는 감정을 추가하고 대화가 가능한 챗 봇을 내장하였고, 환경 변화와 재난에 취약한 노인분들의 문제점을 해결하고자 로봇 내에 온/습도 센서, 미세먼지 센서, 가스센서를 내장하고 변화에 즉각적 반응하며 사용자와 보호자에게 푸시 알람이 가는 시스템으로 구성했습니다. 인공지능 기반의 방법으로 앉아있는 사람, 뒷모습, 숨어있는 모습을 통해 방문자를 인식할 수 있고, 사용자가 외출 시 자율주행하며 집안의 상황을 실시간으로 체크할 수 있습니다. 사용자에게 제공되는 스마트 웨어러블 기기는 실시간으로 심박수와 체온을 OLED를 통해 출력하며, 저체온, 고체온, 심정지 시에 응급상황을 인지, 보호자에게 푸시알림으로 알릴 수 있게 되어있습니다. 뿐 만 아니라 사용자가 노인분들이라는 것을 고려하여 편리하게 사용 가능하도록 음성명령, 약 복용 알람 기능 등이 내장되어 있습니다.

4. 출품과제의 핵심 기술
① 강아지 형태의 반려동물 역할 로봇으로 동물매개치료(Animal Assisted Therapy)효과를 얻을 수 있습니다.
② 챗봇을 내장하여 말벗 기능을 구현해 사회적 고립감을 해소할 수 있습니다.
③ 인공지능을 통해 주인과의 교감·음성명령·방범이 가능합니다.
④ IoT 기반 시스템으로 어디서든 스마트폰 어플리케이션으로 전체시스템 모니터링, 제어가 가능하고 시스템 수정과 타 장치와의 연동이 편리합니다.
⑤ 스마트 웨어러블 기기를 통한 응급상황 인지와 고독사 방지가 가능합니다.
⑥ 플라즈마 이온 모듈이 내장되어 집안환경개선(항균, 탈취 바이러스)이 가능합니다.
⑦ 실시간 영상 스트리밍과 자율주행이 내장되어 노인의 상태확인·방범이 가능합니다
⑧ 환경개선 이온 모듈, 약 알림이 있어 집안의 환경을 개선하고 규칙적인 약 섭취를 통해 건강관리가 가능합니다.

5. 개념설계 및 상세설계
5.1. 개념설계
5.1.1. 필요성
2018년 한국이 세계에서 가장 빠른 속도로 고령사회에 진입하고 OECD 국가 중 노인 자살률이 지난 10년 이상 1위를 기록하는 등 현 사회에서의 노인문제는 점점 심화될 것으로 예측되고, 해결할 필요성을 느꼈습니다.

5.1.2. 시장성
2019년 보건복지부 예산안 중 노인복지가 가장 높은 폭(26.1% 2조 8840억) 예산 증가와 함께 노인 돌봄 서비스도 증액(13.8% 1140억)하며 수요의 증가를 확인 할 수 있었고, 또한 세계 서비스 로봇 시장은 매년 15% 넘게 성장하며 시장성이 할 수 있었습니다.

5.1.3. 목표
저희는 노인 분들이 거부감을 느끼는 기존의 로봇형태가 아닌 친숙한 반려동물의 형태로 다가가며, 4차 산업혁명의 기술 중 하나인 인공지능으로 로봇이 감정을 지니고 방범의 역할을 수행할 수 있게 하고, IoT(사물인터넷)를 구현하여 보호자와 사용자가 편리하게 사용할 수 있는 다기능의 로봇을 만드는 것을 목표로 과제를 진행하였습니다.

5.2. 상세설계
시스템 구성도

6. 개념설계 및 상세설계
6.1. 어플리케이션

6.2. 기구설계

6.3. 인공지능 알고리즘 YOLO V3

7. 기대효과
인공지능 기반의 실버 케어 로봇은 증가하는 노인 복지 수요에 발 맞춰 공공기관 및 사립기관의 노인복지 인력난을 해소할 수 있고, 늘어나는 1인가구의 외로움 해소와 스마트홈 구축에 큰 도움이 될 수 있습니다. 뿐만 아니라 저희 로봇은 강아지라는 친숙한 디자인과 사용하는 노인 분들에 맞춰 인터페이스를 제작하여 로봇을 보다 편리하고 쉽게 제어 가능하게 하여 실질적으로 노인 분들이 쉽게 사용하고 접근할 수 있도록 설계되었습니다. 또한 저희 로봇은 노인 복지 뿐만 아니라 시스템이 IoT를 기반으로 되어있어 스마트 홈의 가구제어·전자제품제어 등 쉽게 연동되어 편리한 생활이 가능해집니다.
늘어나는 고령인구와 1인 가구의 문제들을 효과적으로 해결 가능하며, 기존의 노인 돌봄 로봇과는 차별화되는 디자인과 기술로 노인 돌봄 로봇 사업에 큰 임팩트가 있을 거라 예상됩니다.

8. 내부 프로그램 설명
8.1. 펌웨어 프로그래밍
8.1.1. 프로그래밍

시스템 내부에는 위 그림과 같이 Arduino 기반의 IoT 보드 Wemos사의 D1 mini를 이용하여 시스템을 구성하였고, 위의 센서들을 활용하고 있습니다. IoT 보드를 이용하여 상용 웹서버 Firebase와 연동하여 MCU와 통신을 하고 있습니다. IoT 보드에서 Firebase와 연동하는 소스코드는 다음과 같습니다.

메카넘 휠이란 각 바퀴에 가해지는 동력에 따라 벡터값이 생기게 되는데, 그 벡터값의 합이 기구의 방향이 되는 바퀴를 말합니다.
메카넘 휠을 제어하기 위해서는 방향별로 바퀴의 제어 방법을 숙지하여 프로그램을 구성해야 하기 때문에 방향별로 함수를 만들어 간단하게 로봇을 제어할 수 있도록 했습니다.

8.2. 영상처리 기술
로봇 내의 방문자 인식 시스템을 위해 딥러닝을 이용한 YOLO v3 알고리즘과 Haar 특징 추출기 기반의 얼굴인식 알고리즘이 내장되어 있습니다. 사람 이미지 17,000장을 트레이닝 시킨 YOLO v3 모델과 Haar 특징 추출기 기반의 얼굴이 학습된 모델을 통해서 방문자를 인식하고 외부인인지, 내부인인지 판별할 수 있게 됩니다.

위와 같은 과정을 통해서 방문자 인식을 진행하게 됩니다. 얼굴인식 알고리즘을 통해 얼굴 위치를 추출하고 딥러닝을 통해 학습된 객체 “사람”이 학습된 모델은 앉은 모습, 뒷모습 등의 모습에서도 사람임을 인지해낼 수 있습니다. 이미지는 CCTV 스트리밍 서버에서 이미지로 받아와 연산을 한 후 Firebase에 결과 값을 전송합니다.

8.3. 임베디드 프로그래밍
로봇의 MCU Raspberry PI 3 B+는 Firebase의 값을 연산하여 블루투스 통신을 통해 Arduino Mega2560을 제어하여 로봇의 움직임을 제어합니다. 또 한 Wemos 의 IoT 보드와 상호 통신하며 자율주행 및 움직임을 제어합니다. 핵심 기능 중 하나인 CCTV 또한 MCU에 내장되어있습니다.

다음과 같이 Raspberry PI 3 B+을 통해서 Firebase 값을 수신 받아 아두이노와 블루투스 통신을 하여 모터를 제어합니다. 또 한 라즈캠을 통해서 CCTV 서버에 영상 스트리밍을 진행하여 전체 시스템에 영상을 송신할 수 있습니다.

8.4. 안드로이드 어플리케이션
탭은 Fragment형식을 이용해 보다 부드러운 swipe 방식을 구현하였습니다. 첫 번째 탭에서는 Open weather를 통한 gps기반의 날씨와, 센서를 통해 Firebase database로 들어오는 값(로봇 내 및 wearable기기)을 보여주기 위해 Image View와 Text View로 화면을 구성하였습니다. 두 번째 로봇 제어 탭에서는 raspberry pi 기반의 ip로 구현된 웹서버를 통해 이뤄진 실시간 영상 스트리밍과 간편 전화 버튼 기능을 넣었습니다. 모터제어 버튼을 넣어 CCTV의 사각지대를 없애도록 하였습니다. 그리고 세 번째 탭은 놀이기능으로, 조이스틱을 통해 로봇을 8방향으로 자유롭게 움직일 수 있고, 각종 동작 버튼으로 로봇의 동작을 제어 할 수 있으며, 음성 명령이 들어가면 그에 따른 명령을 수행 할 수 있도록 하였고, 자율주행 ON/OFF기능을 넣어 자율적 주행이 가능하도록 하였습니다. 네 번째 탭은 Firebase storage를 통해 어플리케이션과의 상호보안을 이뤄 자체적 사진첩 라이브러리를 가능케 하였습니다. 다섯 번 째 탭은 알람 기능을 넣어 약 복용 시간을 돕는 기능을 합니다. 마지막으로 여섯 번 째 탭은 로봇과 어플리케이션. 그리고 wearable까지 전체적인 사용법 및 역할을 간략히 소개한 설명서 탭입니다.

Firebase database를 통해 실시간으로 수신한 데이터를 활용해 어플리케이션 외부에서도 사용자가 팝업 알람을 통해 긴급한 상황을 처리할 수 있도록 하였습니다. 어플리케이션이 실행 중이지 않아도 정보를 수신하고 알람이 울리는 등의 이벤트를 처리하기 위해서는 어플리케이션이 스마트폰의 백 그라운드에서 동작할 수 있도록 해야 하고 이를 코딩 시에는 서비스의 형태로 코딩해야 합니다. 따라서 위의 실시간으로 데이터를 수신할 때 활용한 Mapping의 방법을 백 그라운드에서도 실행할 수 있도록 해줍니다. 이후 알람이 필요한 상황에 팝업 알람을 울려줍니다. 팝업이 될 때의 소리나 진동 세기, 진동 길이 등은 설정이 가능합니다. 또한 알람의 제목과 내용 또한 설정이 가능합니다. 알람이 울리는 긴급한 상황은 wearable의 심박 수와 체온이 비정상적인 값일 때, 일산화가스 값을 받을 때(화재 경보), 또는 방문자를 인식할 때 4가지입니다.