OpenPose 모션 인식 - OpenPose mosyeon insig

• 검색어에 아래의 연산자를 사용하시면 더 정확한 검색결과를 얻을 수 있습니다.
• 검색연산자

학위논문 상세정보

초록
▼

의사소통은 인간이 사회생활을 하기 위해서 가장 필수적으로 가지고 있어야 하는 능력이라고 한다. 하지만 농인들은 말하지 못하고 듣지 못하는 점이 의사소통에 있어서 걸림돌이 되기 때문에 많은 시간과 노력을 들여가며 수화를 배워 타인과 소통하려고 노력한다. 장애인들과 비장애인들의 의사소통 문제를 해결하기 위하여 수화에 관한 연구가 진행되어 왔다. 하지만 기존의 연구는 동작이 아닌 수형만을 인식하거나 웨어러블 센서 및 깊이 카메라를 이용한 연구였다. 본 논문에서는 센서나 깊이 카메라가 필요 없는 수화 동작 인식 연구를 위해 OpenPose...

의사소통은 인간이 사회생활을 하기 위해서 가장 필수적으로 가지고 있어야 하는 능력이라고 한다. 하지만 농인들은 말하지 못하고 듣지 못하는 점이 의사소통에 있어서 걸림돌이 되기 때문에 많은 시간과 노력을 들여가며 수화를 배워 타인과 소통하려고 노력한다. 장애인들과 비장애인들의 의사소통 문제를 해결하기 위하여 수화에 관한 연구가 진행되어 왔다. 하지만 기존의 연구는 동작이 아닌 수형만을 인식하거나 웨어러블 센서 및 깊이 카메라를 이용한 연구였다. 본 논문에서는 센서나 깊이 카메라가 필요 없는 수화 동작 인식 연구를 위해 OpenPose를 이용하여 비수지 요소를 포함하여 딥 러닝 기반의 CNN 모델을 학습하고자 하였다.
한글 수화 10개의 단어의 비디오를 수집하여 RGB 비디오와 OpenPose 라이브러리를 통해 얻은 비디오를 12개의 프레임을 갖는 이미지로 변환하였다. 그리고 Majority Voting 방법을 이용하여 각 수화 단어의 Class Label을 예측하여 분류하였다.
학습 결과 CNN 모델을 이용하여 수화 동작의 인식이 가능함을 보였고 OpenPose를 통하여 얼굴, 손, 손의 위치 등 Landmark를 나타내어 딥 러닝 모델을 학습했을 때 큰 차이로 인식률이 높아지는 것을 확인 할 수 있었다. 정확도는 79%로 높은 정확도로 분류할 수 있음을 알 수 있었다.
본 연구는 비디오의 분류가 실시간으로 실행되지 않는 한계를 가지고 있다. 수화를 인식하는 것은 농인들의 삶의 질 향상에 중요하다고 생각 된다. 향 후 본 연구를 통하여 OpenPose를 활용하여 비수지 요소를 포함한 수화인식을 할 수 있음을 알고 나아가 스마트 폰 어플리케이션에서 실시간으로 사용할 수 있을 것으로 본다.

이 논문과 함께 이용한 콘텐츠

• [논문] 딥러닝을 이용한 한국수화언어 통역 시스템 설계 및 구현
• [논문] 인체 자세 인식 딥러닝을 이용한 운동 자세 훈련 시스템 개발
• [논문] 딥러닝 기반의 음성-수화 번역 시스템 설계 및 구현
• [논문] 딥러닝 기반 실시간 손 제스처 인식
• [보고서] 3차원 정보를 이용한 수화 인식

JLOG

[참고]

이 글은 이 블로그 내용을 참고해서 작성 되었습니다.

jin-t.tistory.com/4#comment5854351

OpenPose로 motion estimation, 모션인식

얼마 전 야구계에 있는 동생이 AI로 선수의 동작분석에 관심이 있다는 이야기를 했고, 나는 AI 모션인식에 관심이 있다고 했더니, 프로그램 만들어볼 수 있겠냐고 했다. ... 나도 완전 쌩 초보이지

jin-t.tistory.com

Human pose estimation 관련 프로젝트를 시작하기 위해 OpenPose를 먼저 실행시켜 보려 했다.

mac환경에서 OpenPose를 구동하려고 하니

8GB RAM 이상/ 8 cores CPU 이상의 사양이 요구 되었다.

내 소중한 맥북은 그 사양이 되지 않아 ildoonet으로 대체해서 실행시켰다.

(혹시 사양을 충족한다면 아래 블로그를 참조하자)

(Run OpenPose on Mac : maelfabien.github.io/tutorials/open-pose/#functionalities)

How to use OpenPose on macOS ?

Tutorials

maelfabien.github.io

ildoonet이란? (tf-pose-estimation)

ildoonet은 OpenPose를 tensorflow로 구현한 것이다.

비교적 낮은 사양에서도 human pose estimation 프로그램을 실행할 수 있다.

ildoonet github : 

github.com/ildoonet/tf-pose-estimation

ildoonet/tf-pose-estimation

Deep Pose Estimation implemented using Tensorflow with Custom Architectures for fast inference. - ildoonet/tf-pose-estimation

github.com

Mac에서의 ildoonet의 설치과정을 설명하자면,

1. 가상환경

먼저, 가상환경을 설정해주여야 한다.

이미 설치된 ananconda, pyenv, virtualenv 등 사용하는 환경이 있다면 사용하면 되고 없다면,

whatisthenext.tistory.com/136

[파이썬] pyenv, virtualenv 설치 및 가상환경 생성하기

pyenv, virtualenv Pyenv와 Virtualenv 설정하기 OS : Ubuntu 16.04 LTS Mac OS X : 10.11 왜 설치해야 하죠? pyenv는 로컬환경(즉, 나의 컴퓨터)에 다양한 파이썬 버전을 확인할 수 있습니다. 요약을 하면 "쉽게..

whatisthenext.tistory.com

을 참고해 가상환경을 구현해 보는 것을 추천한다.

참고로, 가상환경에서 개발 환경을 구성하면 파이썬 버전을 관리하기도 편하고, 후에 설치된 모듈들을 공유하기에도 편하다.

2. tensorflow 1.14, openCV3 설치

가상환경 안에서 

pip을 이용해 tensorflow와 openCV3를 설치하자

이때, 주의할 점은 tensorflow 1.14 버전으로 설치해야지 에러가 안난다고 한다.

$ pip install tensorflow==1.14
$ pip install opencv-python

만약, 이미 tensorflow 2.0 이상 버전이 설치되어있다면, 아래 주소를 참고해서 다시 깔아보자

www.tutorialfor.com/questions-287431.htm

python - about openpose execution

I want to run OpenPose on Mac I browsed various sites and built an environment, but I got an error and I can not execute it ModuleNotFoundError: No module named 'tensorflow.contrib' Tried I tried installing tensorflow with pip install, but I can't solve it

www.tutorialfor.com

3. C++ & Swig 설치

github.com/ildoonet/tf-pose-estimation/tree/master/tf_pose/pafprocess

ildoonet/tf-pose-estimation

Deep Pose Estimation implemented using Tensorflow with Custom Architectures for fast inference. - ildoonet/tf-pose-estimation

github.com

앞서 올린 ildoonet git에서 C++와 Swig를 설치할 수 있다.

나는 homebrew를 이용해서 Swig를 설치한 후

$ brew install swig

C++를 설치해주었다. (해당 git clone 후 - ./tf-pose-estimation/tf_pose/pafprocess/에서 해당 라인을 터미널에 입력하면 된다.)

$ swig -python -c++ pafprocess.i && python3 setup.py build_ext --inplace

4. 관련 module & Package 설치

clone 한 git파일의 tf-pose-estimation/requirement.txt 과 tf-pose-estimation/tf_pose/pafprocess를 이용하여 필요한 모듈들을 설치하면 된다.

$ git clone https://www.github.com/ildoonet/tf-pose-estimation
$ cd tf-pose-estimation
$ pip3 install -r requirements.txt

$ git clone https://www.github.com/ildoonet/tf-pose-estimation
$ cd tf-pose-estimation
$ python setup.py install  # Or, `pip install -e .`

5. 실행

-image 실행

$ python run.py --model=mobilenet_thin --resize=432x368 --image=./images/p1.jpg

human pose emtimation의 결과가 나오는 것을 알 수 있다.

-video(using webcam) 실행

$ python run_webcam.py --model=mobilenet_thin --resize=432x368 --camera=0

으로 웹캠 결과를 실행할 수도 있다.

실행결과

3FPS로 했더니 움직임을 바로바로 따라잡지 못하는 느낌이 있었다.

그래도 실시간으로 잘 따라잡는 것을 확인하였다.