Skip to content

ayuguchi/gazed_object_identification_robot

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

This program is regarding "Real-Time Gazed Object Identification with a Variable Point of View Using a Mobile Service Robot" presented at IEEE RO-MAN'19, India, 2019.

How to use (current version)

Installation

  1. install nvidia-docker2 and docker-compose

Run application

  1. enter docker environment

    $ docker-compose run gazed_object_estimation bash
    
  2. make catkin_ws

    $ catkin_make -DCMAKE_CXX_FLAGS="-DOPENCV_TRAITS_ENABLE_DEPRECATED"
    
  3. 以下のコマンドを実行

    $ roslaunch combi_darknet_openface combi_darknet_openface.launch
    

How to use (old version)

Set up

  • 機器の接続
  1. Pepperくんの電源を入れて,オートインタラクションモードをオフにして,通常の姿勢にします.
  2. PCとPepperをLANケーブルで接続します.
  3. LRFとXtionをPCに接続します.
  • 実験準備

本環境はdocker上で構築しています.

  1. terminatorを起動 //terminator -l ros1207
  2. Dockerを起動
sudo nvidia-docker-compose run gazed_object_estimation bash
terminatorの各タブで
sudo docker exec -it gazed_object_estimation_run_1 bash
終了するときはdockerを使ってないタブで
sudo nvidia-docker-compose down
  • プログラムの起動
  1. カメラのキャリブレーションファイルを移動
cd /calibration
cp rgb_PS1080_PrimeSense.yaml /root/.ros/camera_info
  1. 各タブで順番にプログラムを起動
roslaunch pepper_bringup pepper_full.launch nao_ip:=169.254.246.15 \\ペッパーのrosパッケージ
chmod 777 /dev/ttyACM0
roslaunch urg_node urg_node.launch \\LRFのノード
roslaunch openni2_launch openni2.launch \\Xtionのノード
rosrun openface_ros openface_ros _image_topic:=/camera/rgb/image_rect_color \\顔認識のノード
roslaunch darknet_ros darknet_ros.launch \\物体認識のノード
rosrun person_tracking_kalman person_tracking_kalman_node \\人物追跡のノード
cd ~/catkin_ws/src/pioneer_2dnav/launch/
roslaunch pepper_move_base.launch \\自己位置推定のノード \\起動したRviz上でロボットのマップとLRFの点群を位置合わせしてロボットの初期位置を決定してください.
rosrun simple_navigation_goals simple_navigation_goals \\ロボットの自己位置を出力するノード
rosrun teleop_twist_keyboard teleop_twist_keyboard.py \\キーボード操作ノード
cd catkin_ws/py_ws/timeuse_test/datatimeuse/
  1. 最終的なプログラムの実行
rosrun combi_darknet_openface combi_darknet_openface_node | tee -a log.txt \\最終的なプログラム

Tips

OpenFace requires OpenCV 3.2 & dlib 19.6

License

MIT

Authors

Tomoaki Inoue/ Akishige Yuguchi / Takumi Nakamura

About

Real-Time Gazed Object Identification

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published