研究成果・技術シーズ

【ポイント】

ロボットとカメラを連動させることでロボットに高度な「目」の機能を与える技術を開発しました。

【内容】

この技術により、ロボットが作業対象物の位置や姿勢を適切に認識しながら作業を行うことができるようになります。

ロボットとRGBDカメラ（カラーカメラ＋深度センサ）の連動に関する技術開発内容は以下の通りです。

1. カラー画像から対象物の領域のみを検出するため、ディープラーニングをベースとしたAIを構築しました。（図1）
2. 点群データから対象物の位置姿勢を推定するため、深度センサで取得した点群データとモデル点群を自動で位置合わせする技術を開発しました。（図2）
3. 対象物の位置姿勢に応じたロボットの作業動作を生成するため、実環境をシミュレータ上に再現し、ロボットの動作計画を行う技術を開発しました。（図3）

図1　AIによる対象物の検出結果（緑の四角形が検出領域）

図2　センサで取得した点群（赤）とモデル点群（白）の位置合わせ結果

図3　シミュレータによる動作生成の様子

【展開例】

例として、以下の用途に用いることが可能です。

１．コンベアに置かれたランダムな対象物のピッキング

２．位置姿勢が定まらない落下物のピッキング