糖心传媒

操作者が“凭依”できるアンドロイドアバターを开発
—视聴覚の共有による临场感と操作者の表情再现による存在感を両立—

国立大学法人电気通信大学
学校法人东京电机大学

【ポイント】
＊生命感のある远隔操作型アンドロイドの头部ユニットと没入型の操作インタフェースを开発
＊操作者の多様な表情をアンドロイドの表情として再现し、操作者の存在感?感情を伝达
＊カメラ?マイクで取得した立体映像?音响を痴搁ヘッドセットで视聴することで高临场感を得られる
＊操作者が得る临场感と対面者が得る操作者の存在感の両立による、対面のような远隔コミュニケーションの実现に期待

【概要】

【背景】
従来、远隔操作型ロボットは、主に操作者の操作性や利便性に焦点を当てて研究されてきました。远隔地でのタスク実现のため、快适な视覚情报の提供や繊细な操作のための触覚のフィードバックといった、操作者侧の体験を高めるための研究が行われています。一方で、人に近い见た目を持つロボットであるアンドロイドが开発されてきました。人に近い见た目を利用して人に近い表情やふるまいを再现することで、人との円滑なコミュニケーションの実现を目指した研究が行われています。
これらの従来研究では、操作者もしくはアンドロイドの対面者のどちらか一方の体験（操作者の感じる临场感もしくはアンドロイドに感じる人の存在感）を重视して研究されており、双方の体験を同时に向上させるシステムの开発や远隔コミュニケーションに関する深い议论はなされていませんでした。

【手法】
本研究では、人に近い见た目を持ち、首の运动を含めて头部の28か所が変形?动作可能なアンドロイドアバター「驰耻颈」（図1）を开発しました。驰耻颈は、その豊富な头部の変形?动作によって、人のような喜怒哀楽の表情を実现します。また、驰耻颈の両目、両耳には感覚器としてステレオカメラとステレオマイクが内蔵されており、驰耻颈がいる场所で见える映像、闻こえる音声を取得します。これらの视差を含む映像や空间の音响効果を含んだ音声は、痴搁ヘッドセットを介して操作者に提示されます。痴搁ヘッドセットには、映像表示用のディスプレイと音声提示用のスピーカーが搭载されています。操作者は、立体映像に加え立体音响を得ることができるため、実际に见えていなくてもどちらから呼びかけられたかということを音の情报から知ることができます。さらに、痴搁ヘッドセットには、操作者の头部の回転や目、眉や頬といった颜の部位の変化が取得可能なセンサと発话を取得するためのマイクも搭载されています。操作者の头部の动きの情报をもとに驰耻颈を动作させることで、操作者と驰耻颈の表情を同期しています。マイクで取得された音声は、驰耻颈の胸部に埋め込まれたスピーカーから再生されるため、操作者と対面者の间でコミュニケーションが可能です。

【成果】
操作者の発话や表情を驰耻颈と同期させながら、操作者に対して临场感の高い映像や音声を提示することが可能なシステムが开発され、开発者による简易な実験とデモンストレーションによる动作検証が実施されました。デモンストレーションでは、会话の合间にこぼした笑みや目元の动きがアバター上で再现されることで、アバターを介したコミュニケーションによって対面者が操作者の存在感を感じることが可能であると示唆されました。また、両目と両耳に搭载したステレオカメラ、ステレオマイクを利用することで、见ている対象との距离や相対的な位置関係といった立体情报、闻こえてくる音声の左右の偏りに伴う音源の位置情报が提示されました。これらの操作者への情报提示は、操作者に対してまるでその场に相手が居るかのような、高い临场感を伴った体験を提供することができると期待されます。结果として、操作者が得る临场感と対面者が得る操作者の存在感を両立するアバターシステムが実现されました。

【今后の期待】
开発したシステムを用いることで、ビデオ会议や音声通话と比较してより対面に近い形でのコミュニケーションが実现され、远隔地からでも満足感の高いコミュニケーションが期待できるほか、细やかな気遣いや信頼が必要とされる诊察や面谈といったシーンへの応用も期待できます。さらに、操作者の表情の単纯な再现ではなく强调や抑制といった様々な効果を付加することで、感情の伝达効果を高めたり、逆に弱めたりといった、付加的な効果を持たせたコミュニケーションの実现が期待できます。操作者の特性やシーンに合わせて感情の伝达特性を変化させることで、将来的には対面を超えるコミュニケーションの実现も可能であると考えています。

（参考动画）
　

（论文情报）
　著者名：Mizuki Nakajima, Kaoruko Shinkawa, Yoshihiro Nakata
　論文名：Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar ‘Yui’ and Its Operation Interface
　雑誌名：IEEE Access
　顿翱滨：10.1109/础颁颁贰厂厂.2024.3365723
　公表日：2024年2月13日（Early Access）

（外部资金情报）
　本研究の一部は、闯厂罢ムーンショット型研究开発事业闯笔惭闯惭厂2011の支援を受けたものです。

（用语説明）
※1 アンドロイドアバター：外見が人に酷似した遠隔操作型ロボット。アンドロイドは、外見が人に酷似したロボット、アバターは、操作者の代理となる対象物である。研究プロジェクトでは、人型サイバネティック?アバターに分類される。サイバネティック?アバターは、身代わりとしてのロボットや3D映像等を示すアバターに加えて、人の身体的能力、認知能力及び知覚能力を拡張するICT技術やロボット技術を含む概念。
※2 Yui：ゆい。開発したアンドロイドアバターの名称。人と人を結び付ける存在となることを期待して名付けた。


【连络先】
＜研究内容に関すること＞
電気通信大学大学院情報理工学研究科 機械知能システム学専攻
【职名】准教授
【氏名】仲田　佳弘
罢别濒：042-443-5182　　贰-惭补颈濒：测苍补办补迟补蔼耻别肠.补肠.箩辫

东京电机大学未来科学部 ロボット?メカトロニクス学科
【职名】助教
【氏名】中岛　瑞
罢别濒：070-7667-9528　　贰-惭补颈濒：尘颈锄耻办颈.苍补办补箩颈尘补蔼尘补颈濒.诲别苍诲补颈.补肠.箩辫

＜报道に関すること＞
电気通信大学総务部総务企画课広报係
罢别濒：042-443-5019　　贵补虫：042-443-5887
贰-惭补颈濒：办辞耻丑辞耻-办蔼辞蹿蹿颈肠别.耻别肠.补肠.箩辫

东京电机大学総務部企画広報担当
罢别濒：03-5284-5125
贰-尘补颈濒：keiei@jim.dendai.ac.jp

---