人の触覚データを記録し、ロボットの学習データに

対象:ロボット学習データを構築するチーム

課題

現在、模倣学習・強化学習向けの人間デモンストレーションデータ収集では、手袋型・外骨格型のデバイスが広く用いられています。これらは手の関節角度や指先の接触・圧力を高い精度で捉えられる一方、この形状には構造的な限界があります。

  • 手を覆う構造が、素手の動作を変えてしまう

    掌や指を覆うグローブ・外骨格は、把持や操作時の接触感覚・可動域に影響を与えます。閉じた掌構造のデータグローブが自然な手の動きを制限すること、また掌が把持の安定に大きな役割を果たすことは、いずれも研究で指摘されています。

  • 力を捉えようとすると、さらに手を覆うことになる

    力の情報を得るために指先や掌に触覚・圧力センサーを追加すると、装着範囲がさらに広がります。「素手に近い自然な動作の保持」と「力情報の取得」が、手の上でトレードオフの関係になっています。

その結果、デバイスを装着した状態で収集される動作データは、素手での自然な動作からずれたものになりやすく、そのずれがそのまま学習データに持ち込まれるケースが生じます。

アプローチ

commissure のデータウェアラブルは、接触と力を手の上に集約させず、それぞれ最小限の装着で捉えることで、このトレードオフに取り組みます。

  • 指先の振動センサー

    指先の皮膚表面に生じる振動から、接触の発生や接触面のテクスチャ変化を捉えます。装着は指先の一部に限られ、掌や指の可動域を塞ぎません。

  • 前腕の FMG(Force Myography)

    手には何も装着せず、前腕の筋の変形から力の大きさを捉えます。

振動センサーが捉える「接触のタイミング」と、FMG が捉える「力の大きさ」を時系列で統合することで、どの接触にどれだけの力がかかっていたかを紐づけたデータセットを構築します。掌を覆わない構成のため、素手に近い動作を保ったまま収集できます。

期待される効果

素手に近い自然な動作の保持

掌・指の可動域を塞がないため、素手に近い自然な把持・操作を保ったままデータを収集できると考えられます。

大規模・長時間収集への適性

FMG は発汗の影響を受けにくく長時間でも信号が安定しやすく、精密なセンサー位置合わせや皮膚処理も必要としないことが報告されており、多人数・長時間にわたる大規模なデータ収集に向いていると考えられます。

使用するプロダクト

  • SenseFuse®

    筋活動(FMG)と振動センシングを組み合わせ、人が「どこに・どれだけ力を入れているか」をハンズフリーで記録するウェアラブルセンサーです。熟練者の実演データをロボットの模倣学習や技能伝承につなげます。

事例・実証

近日公開