カメラライントレースを修正 #49

YusukeKato · 2024-01-19T08:28:59Z

What does this implement/fix?

カメラライントレースサンプルを改善するために以下の修正を加えます。

READMEにRGBカメラによるライントレースの情報を追加
サンプルコースを走行できるように速度を調整
2値化のしきい値をパラメータで設定できるように変更
その他の細かい修正

Does this close any currently open issues?

しません。

How has this been tested?

実機で下記のコマンドを実行してサンプルコースを走行できることを確認しました。

ros2 launch raspimouse_ros2_examples camera_line_follower.launch.py

シミュレータでも動作確認しました。

ros2 launch raspimouse_gazebo raspimouse_with_line_follower_field.launch.py use_rgb_camera:=true camera_downward:=true

ros2 launch raspimouse_ros2_examples camera_line_follower.launch.py mouse:=false use_camera_node:=false

ros2 topic pub --once /switches raspimouse_msgs/msg/Switches "{switch0: false, switch1: false, switch2: true}"

Any other comments?

ありません。

Checklists

I have read the CONTRIBUTING guidelines.
- If there is no guideline in the repository, rt-net organization's guideline applies.
I have checked to ensure there aren't other open Pull Requests for the same change.

ShotaAk

文章について一部コメントしてます。

実装に課題があるので調査してほしいです。

画像処理そのものにどれくらい時間が掛かっているのかも調査お願いします。

README.md

YusukeKato · 2024-01-25T05:38:45Z

camera_line_follower実行時の時間計測

ライン検出処理：20ms
検出結果の画像トピックの配信処理（rqt_image_view実行中）：30ms
- rqt_image_viewを実行していない時は1ms以内
object_trackingもほぼ同じ処理時間

合計約50msの処理をカメラ画像トピック（30FPS）のコールバック関数内で行っているために、処理が間に合っていない可能性があります。

ShotaAk · 2024-01-25T11:30:07Z

@YusukeKato
調査ありがとうございます。まずは画像処理の実装を変えてみましょうか。

どのステップでどれぐらい処理時間が掛かっているか、処理時間を短縮できるか、検証お願いします。

下記が候補です。
恐らく画像サイズを小さくするだけで、効果が出ると思います。

グレースケール変換と二値化
- 対策：画像サイズを小さくする
ノイズ除去
- 対策：cv::morphologyExのカーネルサイズを小さくする
輪郭抽出
- 対策：cv::findContours のオプションをCHAIN_APPROX_SIMPLEにする
最大輪郭の抽出
- 対策：輪郭抽出でCAHIN_APPROX_SIMPLEを適用する

ShotaAk · 2024-01-25T11:40:42Z

画像のpublish処理については、画像サイズを小さくすれば改善すると思います。

また、image_transportを使うと改善する可能性あります。

https://github.com/ros-perception/image_transport_tutorials/blob/main/src/my_publisher.cpp#L26-L27

YusukeKato · 2024-01-26T05:45:45Z

画像処理にかかった時間の計測結果は以下のようになりました。

合計

inRange() 使用時 : 10ms
adaptiveThreshold()使用時 : 27ms

内訳

グレースケール変換 : 1ms
2値化
- inRange() : 1ms
- adaptiveThreshold() : 20ms
ノイズ除去
- inRange()使用時 : 4ms
- adaptiveThreshold() 使用時 : 2ms
輪郭抽出 : 2ms
最大輪郭の抽出 : 0.2msくらい
その他の処理 : 2ms

YusukeKato · 2024-01-26T06:08:08Z

画像サイズを小さくしたときの画像処理とpublish処理にかかった時間を計測しました。

デフォルトの画像サイズの場合（640x480、2値化はinRange()を使用、rqt_image_view起動時）

画像処理 : 10ms
publish : 60ms

画像サイズを320x240に変更した場合（2値化はinRange()を使用、rqt_image_view起動時）

画像処理 : 5ms
publish : 9ms

画像サイズ320x240でadaptiveThreshold() を使用（rqt_image_view起動時）

画像処理 : 10ms（そのうちadaptiveThreshold() が6ms）
publish : 9ms

画像サイズを小さくすることで画像処理とpublish処理に時間がかかりすぎる問題は解決しそうです。

YusukeKato · 2024-01-26T07:13:44Z

ヒストグラム平坦化について調査しました。

参考 : https://docs.opencv.org/4.x/d6/dc7/group__imgproc__hist.html#ga7e54091f0c937d49bf84152a16f76d6e

使用方法

cv::equalizeHist(input_gray_image, output_hist_equalized_image);

ヒストグラム平坦化の処理にかかる時間は1ms以内でした。

ヒストグラム平坦化前のグレイスケール画像↓

ヒストグラム平坦化を行ったグレイスケール画像↓

YusukeKato · 2024-01-26T07:27:05Z

adaptiveThreshold関数によるグレイスケール画像の2値化

cv::adaptiveThreshold(gray, extracted_bin, 255, CV_ADAPTIVE_THRESH_GAUSSIAN_C, CV_THRESH_BINARY_INV, 51, 0);

ラインが一番大きい輪郭として検出されています。

YusukeKato · 2024-02-02T09:46:21Z

usb_camをlaunchファイルから起動する際に、パラメータを設定してホワイトバランスと露光の自動調整機能をオフにしようとしましたが、うまくいきませんでした。そのため、以下のコマンドを実行して対処しています。

v4l2-ctl -c auto_exposure=1
v4l2-ctl -c white_balance_automatic=0

ShotaAk · 2024-02-05T01:28:00Z

V4L2のパラメータ名が違うというのはissueにありました。
他の投稿を見ると、どうやらデバイスによって名称が変わるようです。
ros-drivers/usb_cam#260

ShotaAk

シミュレータで動作確認しました。

ROS パラメータ変更が適用されてOKです。
コメントの確認お願いします。

ShotaAk · 2024-02-05T01:04:39Z

README.md

+[`./src/camera_line_follower_component.cpp`](./src/camera_line_follower_component.cpp)
+を編集します。
+
+物体検出精度が悪い時にはカメラの露光や関数内のパラメータを調整して下さい。


ROSパラメータが用意されたので、パラメータを変更して調整できることを説明してください。

raspimouse2 パッケージのREADMEのように、パラメータ一覧を記載するとわかりやすいです。

ShotaAk · 2024-02-05T01:06:05Z

src/camera_line_follower_component.cpp

-    cmd_vel.linear.x = LINEAR_VEL * (object_normalized_area_ - TARGET_AREA);
-    cmd_vel.angular.z = ANGULAR_VEL * object_normalized_point_.x;
+    cmd_vel.linear.x = LINEAR_VEL;
+    cmd_vel.angular.z = ANGULAR_VEL * object_normalized_point_.x * 2.0;


ここの2.0 がどういう意味なのかわかるように定数にしてください。

この2.0はデバッグ時に使用していた係数なので削除しました。

2.0を削除したことで回転方向の速度が変わりますが、ANGULAR_VELを調整することで対応できると思います。

constexpr double ANGULAR_VEL = -0.8; // unit: rad/s

ShotaAk · 2024-02-05T02:55:30Z

ついでに、ライン検出の関数名をdetecting_lineから、detect_lineに変更してもらえますか？

~ing という名称は、プロセスや状態に付けたいので。

YusukeKato · 2024-02-05T07:57:29Z

コメントありがとうございます。

auto_exposureとwhite_balance_automaticのパラメータに関して、いくつか名称を変更して試してみましたが、露光とホワイトバランスの自動調整はオフにできませんでした。

#49 (comment)

ShotaAk · 2024-02-05T09:06:31Z

カメラパラメータについて言葉足らずでした。

他の投稿を見ると、どうやらデバイスによって名称が変わるようです。
なので、usb_cam側に柔軟なパラメータが必要ですね。

サンプルのlaunchファイル側でv4l2-ctrlコマンドを実行することもできますが、
カメラ機種依存になるのでいい方法ではないですね。

ShotaAk

シミュレータで確認しました。

微修正お願いします。

ShotaAk · 2024-02-05T09:08:36Z

README.en.md

+#### Configure
+
+Edit [`./src/camera_line_follower_component.cpp`](./src/camera_line_follower_component.cpp)
+to change a color of tracking target.
+
+If the object detection accuracy is poor, adjust the camera exposure and parameters in the function
+
+```cpp
+cv::inRange(gray, 0, 100, extracted_bin);
+```


Parametersの説明が追加されたので、Configureの説明は削除してOKです

日本語READMEも同様にお願いします。

ShotaAk · 2024-02-05T09:12:44Z

src/camera_line_follower_component.cpp

@@ -197,6 +203,10 @@ CallbackReturn Camera_Follower::on_configure(const rclcpp_lifecycle::State &)
  switches_sub_ = create_subscription<raspimouse_msgs::msg::Switches>(
    "switches", 1, std::bind(&Camera_Follower::callback_switches, this, std::placeholders::_1));

+  // Set parameter defaults
+  declare_parameter(BRIGHTNESS_MIN_VAL_PARAM, 0);
+  declare_parameter(BRIGHTNESS_MAX_VAL_PARAM, 100);


私の環境だとライントレースに失敗します。

デフォルト値を90にしてもらえませんか？

READMEに記載している数値も変更お願いします。

私の環境でもライントレースに失敗していました。

しきい値のデフォルト値を90に変更しました。

ShotaAk

LGTMです！

READMEにカメラライントレースの情報を追記

f38c2e7

YusukeKato added the Type: Documentation Documentation only changes label Jan 19, 2024

YusukeKato requested a review from ShotaAk January 19, 2024 08:29

YusukeKato self-assigned this Jan 19, 2024

YusukeKato added 3 commits January 19, 2024 17:38

リサイズした画像に変更

9bb88a0

目次にカメラライントレースの項目を追加

e327463

rqt_image_viewのリンクが切れていたので更新

48a1765

ShotaAk suggested changes Jan 25, 2024

View reviewed changes

README.md Show resolved Hide resolved

README.md Show resolved Hide resolved

README.md Outdated Show resolved Hide resolved

YusukeKato added 2 commits January 25, 2024 05:56

usb_camの配信頻度を30FPSから10FPSに変更

72d8965

READMEにカメラライントレースのスイッチ操作の説明を追加

7d4f392

YusukeKato added 6 commits January 29, 2024 04:55

usb_camの画像サイズを320x240に設定

a136048

adaptiveThreshold関数で画像を2値化

7179643

速度調整&inRange関数使用&findContours関数の引数を変更

cd26368

2値化のしきい値をパラメータで設定

5787842

デバッグ用の出力を削除

a507be8

コードの体裁を整える

376a3fb

YusukeKato changed the title ~~READMEにカメラライントレースの情報を追記~~ カメラライントレースを修正 Feb 2, 2024

ShotaAk suggested changes Feb 5, 2024

View reviewed changes

YusukeKato added 2 commits February 5, 2024 16:24

READMEに2値化のしきい値のパラメータの設定方法を追加

e3d772d

デバッグ用に使用していた係数を削除

5c2a276

detecting_line()をdetect_line()に変更

5df6d4a

ShotaAk suggested changes Feb 5, 2024

View reviewed changes

YusukeKato added 2 commits February 5, 2024 18:23

READMEのConfigureの項目を削除

3d3198a

シミュレータ環境でライントレースが行えるように2値化のしきい値を調整

75634bf

ShotaAk approved these changes Feb 5, 2024

View reviewed changes

ShotaAk merged commit 85b3bf0 into master Feb 5, 2024
2 checks passed

ShotaAk deleted the update-readme branch February 5, 2024 09:52

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

カメラライントレースを修正 #49

カメラライントレースを修正 #49

YusukeKato commented Jan 19, 2024 •

edited

Loading

ShotaAk left a comment

YusukeKato commented Jan 25, 2024

ShotaAk commented Jan 25, 2024

ShotaAk commented Jan 25, 2024

YusukeKato commented Jan 26, 2024

YusukeKato commented Jan 26, 2024 •

edited

Loading

YusukeKato commented Jan 26, 2024

YusukeKato commented Jan 26, 2024 •

edited

Loading

YusukeKato commented Feb 2, 2024 •

edited

Loading

ShotaAk commented Feb 5, 2024

ShotaAk left a comment

ShotaAk Feb 5, 2024

ShotaAk Feb 5, 2024

YusukeKato Feb 5, 2024

ShotaAk commented Feb 5, 2024

YusukeKato commented Feb 5, 2024

ShotaAk commented Feb 5, 2024 •

edited

Loading

ShotaAk left a comment

ShotaAk Feb 5, 2024

ShotaAk Feb 5, 2024

ShotaAk Feb 5, 2024

ShotaAk Feb 5, 2024

YusukeKato Feb 5, 2024

ShotaAk left a comment

カメラライントレースを修正 #49

カメラライントレースを修正 #49

Conversation

YusukeKato commented Jan 19, 2024 • edited Loading

What does this implement/fix?

Does this close any currently open issues?

How has this been tested?

Any other comments?

Checklists

ShotaAk left a comment

Choose a reason for hiding this comment

YusukeKato commented Jan 25, 2024

ShotaAk commented Jan 25, 2024

ShotaAk commented Jan 25, 2024

YusukeKato commented Jan 26, 2024

YusukeKato commented Jan 26, 2024 • edited Loading

YusukeKato commented Jan 26, 2024

YusukeKato commented Jan 26, 2024 • edited Loading

YusukeKato commented Feb 2, 2024 • edited Loading

ShotaAk commented Feb 5, 2024

ShotaAk left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ShotaAk commented Feb 5, 2024

YusukeKato commented Feb 5, 2024

ShotaAk commented Feb 5, 2024 • edited Loading

ShotaAk left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ShotaAk left a comment

Choose a reason for hiding this comment

YusukeKato commented Jan 19, 2024 •

edited

Loading

YusukeKato commented Jan 26, 2024 •

edited

Loading

YusukeKato commented Jan 26, 2024 •

edited

Loading

YusukeKato commented Feb 2, 2024 •

edited

Loading

ShotaAk commented Feb 5, 2024 •

edited

Loading