触覚で、没入感を拡張する
対象:XR・エンタメ・空間体験の制作者
課題
XR(VR/AR)における触覚フィードバックでは、力覚(kinesthetic feedback、指の動きに実際の抵抗を発生させる方式)を提示するデバイスが広く研究・製品化されています。しかし、この方式には構造的な限界があります。
-
抵抗力を生むための機構が、掌を覆うことになりやすい
指の動きに物理的な抵抗を発生させるには、機構をどこかに固定する必要があり、既存の力覚グローブの多くは掌や手の甲に機構を配置しています。
-
パームフリーとの両立が難しい
力覚デバイスの研究では、掌への刺激が把持の再現性を高める重要な要素として位置づけられており、掌を空けたまま十分な力覚を再現することは容易ではありません。
その結果、既存の力覚デバイスの多くは、パームフリーであることと、力を感じさせることの両方を同時に満たすことが難しくなります。
アプローチ
ウェアラブル型の触覚提示デバイス「FeelFuse」は、皮膚への回転せん断刺激と振動刺激を複合的に与えることで、これまでにない実在感を実現します。物理的な抵抗力そのものを再現するのではなく、皮膚感覚を通じて力を伝える方式で、パームフリーとの両立に取り組みます。
-
振動刺激
指先に与え、接触の発生を明確に伝達します。装着は指先の一部に限られ、掌を覆いません。
-
スキンストレッチ(回転せん断刺激)
掌以外の部位に与え、力の方向・大きさを提示します。皮膚の変形の繊細な感覚を活用しており、微細な力の変化まで再現できます。
XR 環境においては、動きを阻害せずに触覚提示を行うだけでなく、実際の道具を把持した状態で触覚を重畳するなど、触覚の拡張現実も実装できます。
期待される効果
パームフリーを保ったままの実在感
掌を覆わず動きを阻害しないまま、回転せん断刺激と振動刺激の複合により、これまでにない実在感を実現します。
微細な力の変化の再現
皮膚の変形に対する繊細な感覚を活用することで、微細な力の変化を再現できます。
触覚の拡張現実(現実の道具への重畳)
実際の道具を把持した状態でも触覚を重畳できるため、現実の物体操作に XR 由来の触覚情報を付加するという、仮想と現実をまたいだ応用が可能です。
使用するプロダクト
-
FeelFuse SDK
Unity・ROS 2向けの開発キットです。XRやロボティクスにおける触覚フィードバックの実装を加速します。
-
FeelFuse®
人の手元に力の感覚をリアルタイムに返すウェアラブルハプティックデバイスです。触覚付きテレオペレーションにより、操作の精度と、模倣学習に使う実演データの質を高めたり、没入型コンテンツにおける体験を拡張します。
事例・実証
-
FEEL TECH® プロジェクトへの貢献
株式会社NTTドコモ、株式会社commissure、慶應義塾大学大学院メディアデザイン研究科は、人間の感覚をネットワークで拡張する「人間拡張基盤®」構想のもと、他者の動作や感覚を受け手の身体や感じ方に合わせて変換・共有する「FEEL TECH」の一環として、FeelFuseを活用した複合現実(MR)環境における触覚インタラクションシステムを共同開発しました。
ハンドトラッキングやパススルー技術の進歩によりMR環境でのハンドインタラクションが身近になる一方、実物体とのインタラクションや視覚ベースのハンドトラッキングを妨げない触覚提示手法が求められており、FeelFuseはこの課題に対応するものです。
本技術を用いたコンテンツ「MR. Dog」では、Unityエンジン上でバーチャル犬を撫でる、おもちゃの紐を引っ張り合うといったバーチャルオブジェクトとの触覚インタラクションに加え、実物のボトルやリードを用いてバーチャル犬に餌をあげたり散歩をしたりする、実物体への触覚拡張も実現しました。触覚フィードバックは、バーチャルハンドと対象物の相対速度に基づきUnity上でリアルタイムに生成されています。