テレオペレーションに、力まで伝わる触覚を
対象:ロボット事業者・現場オペレーター
課題
現在、Meta Quest など市販 VR デバイスのコントローラーを用いたテレオペレーション(遠隔操作)が、ロボット操作において広く採用されています。しかし、これらの VR コントローラーが提供する触覚フィードバックは、振動(振動触覚)提示に限られているケースが大半です。近年のコントローラーは振幅や周波数を細かく制御できるようになっていますが、この提示方式には構造的な限界があります。
-
方向情報を原理的に持たない
振動は強弱(振幅・周波数)を表現できますが、力がどの方向にかかっているかを伝える手段を持ちません。ベクトル情報(方向+大きさ)としての力提示ができないという点が、振動という提示方式そのものの限界です。
-
持続的な力の変化を安定して伝えにくい
振動刺激を継続的に提示すると知覚順応(adaptation)が生じ、同じ強度でも徐々に感じにくくなることが知られています。そのため瞬間的な接触イベントの通知には適していますが、持続的にかかる力の大きさを正確に追従させる用途には不向きです。
-
絶対的な強度弁別の解像度が粗い
振幅だけで力加減を絶対評価させようとすると、人間が安定して区別できる段階数は限られており、微妙な力加減の判断には限界があります。
先行研究では 3〜4 段階程度という報告あり。要検証:デバイス・条件に依存。
その結果、操作者は視覚情報に大きく依存して力加減を推測せざるを得ず、過度な力を加えて対象物を破損させたり、逆に力が足りず把持や操作に失敗したりするケースが生じます。
アプローチ
commissure は、力触覚(Haptics)による多モーダルなフィードバックで、この課題に取り組みます。
-
指先振動
接触の発生(contact event)を明確に伝達し、対象物に触れた瞬間やテクスチャの変化を知覚できるようにします。振動が本来得意とする「瞬時のイベント通知」という役割に特化させています。
-
スキンストレッチ(回転せん断刺激)
方向性を持つ力の提示に用い、ロボット側で推定されるトルクまたは反力の方向・大きさを、皮膚への回転せん断刺激としてマッピングします。振動が苦手とする「方向」と「持続的な力の変化」を補完する役割です。
振動が「離散的な接触イベント」を、スキンストレッチが「連続的な力のベクトル」を担うことで、操作者は接触の瞬間と、その後にかかる力の変化・方向を分けて知覚できるようになります。
期待される効果
操作体験の向上
力の方向を直接知覚できることで、視覚情報のみに頼った推測が不要になり、操作時の認知負荷を軽減します。
操作精度の向上
挿入作業や壊れやすい対象物の把持など、力加減がシビアなタスクにおいて、より精密な操作が可能になると考えられます。
模倣学習データへの展開
触覚まで含めて記録された遠隔操作のログは、そのままロボットの模倣学習の教示データになります。現場で操作を重ねるほど、視覚だけでは得られない力のデータが蓄積され、学習に活かせます。
使用するプロダクト
-
FeelFuse®
人の手元に力の感覚をリアルタイムに返すウェアラブルハプティックデバイスです。触覚付きテレオペレーションにより、操作の精度と、模倣学習に使う実演データの質を高めたり、没入型コンテンツにおける体験を拡張します。
事例・実証
-
CrafTouch
一般社団法人日本工芸産地協会、有限会社育陶園、慶應義塾大学、名古屋工業大学、株式会社commissureは、日本の伝統工芸産業の未来を探求するため、2024年4月より、沖縄にて300年の伝統を有する壺屋焼の窯元 育陶園を舞台に、デジタル技術を用いて職人の技能を記録し、次世代に伝える「CrafTouch」プロジェクトに取り組んできました。
本プロジェクトでは、伝統工芸職人の技能をデジタル技術によって記録・伝送するために、人が手や指を通じて感じる「触覚」や腕に込めた「力覚」を手軽な手法で計測し記録するため、弊社が開発した装着型ハプティックセンサ「SenseFuse®」を用いて、職人が普段の陶芸の制作工程の中で行っている動作や感覚を記録しました。また、装着型ハプティックディスプレイ「FeelFuse®」を用いて、記録した力触覚のデジタル情報を人の手や腕に再現し、実際に身体で感じられるようにすることで、職人のもつ「コツ」や「感覚」を言葉を用いずに伝えられる技能伝送システムを開発しました。
さらに、弊社が開発した装着型ハプティックディスプレイ「FeelFuse®」を遠隔操作用ロボットアバターと組み合わせることで、力触覚フィードバック付きのテレオペレーションシステムを構築しました。ロボットアバターに搭載された力覚センサが検出した力の大きさを、FeelFuseの回転せん断刺激・振動刺激にリアルタイムでマッピングすることで、沖縄にいる陶芸職人が、名古屋に設置されたロボットアバターを遠隔操作しながら、対象物にかかる力の変化を身体で感じ取りながら操作することを実現しました。
- 動画