RZ/A2M Eva-Liteによる移動体トラッキングデモ

プロジェクト実績

RZ/A2M Eva-Liteによる移動体トラッキングデモ

シマフジ電機製RZ/A2M Eva-Liteを用いた移動体トラッキングデモをご紹介します。

本内容は、2019 トロンシンポジウムにて、シマフジブースにて展示したデモに関する概要説明です。

デモ構成及び動作

デモ構成としては、Robotis社の6自由度ロボットハンド(OpenMANIPULATOR-X)にRZ/A2M Eva-Liteを搭載したものとなります。
RZ/A2M Eva-Liteに接続したカメラからの画像をもとに移動体を検出したあと、同移動体をトラッキングし、RZ/A2M Eva-Liteに接続した距離センサにもとづいて移動体のピックアップ&リリースを実行します。

(動作の様子)


処理フロー

移動体の検出、トラッキング、ピックアップを実行するために、RZ/A2M内部ではビジョン処理とモーション処理を実行しています。

ビジョン処理では、
・Image Conversion (RawデータをRGBに変換)
・Shading Correction (陰影色補正)
・Subtraction for Motion Detection (動き差分抽出)
・Binarization (画像2値化)
・Find Contour (輪郭抽出)
・Calculation Target (移動体検出)
を行っています。

ビジョン処理は演算負荷が高いため、上記のビジョン処理の一部はRZ/A2Mに搭載されている演算アクセラレータDRP(Dynamically Reconfigurable Processor)で実行されています。
DRPを用いることでビジョン処理は約2.5[ms]で完了します。また、DRPによる専用処理化により、平均2.3[W]の消費電力で動作することが出来ています。

モーション処理では、
・電流PID制御
・逆運動学計算
・サーボ制御
を行っています。
モーション処理は全てCPUで行っています。

ソフトウェア情報

上記デモのベースとなるソフトウェアライブラリは下記で公開されています。

RZ/A2M Eva-Lite(SEMB1451/11452)ソフトウェアライブラリ
RZ/A2M Eva-Lite(SEMB1451/1452) ROS2デモ

関連情報

2019 トロンシンポジウム ルネサス発表資料
DRPテクノロジの詳細
DRPの紹介動画