糖心传媒

世界初、颜データまで含めたコミュニケーション解析用データセットを公开

2019.02.06

News Release
2019.2.6

国立研究开発法人新エネルギー?产业技术総合开発机构
学校法人东京电机大学

世界初、颜データまで含めたコミュニケーション解析用データセットを公开 —次世代础滨研究开発の加速とコミュニケーション研究の促进に寄与—

NEDOと东京电机大学は、グループコミュニケーション時の人の表情などの映像や音声、各種センサーによる体の動きなどのデータセット(コーパス)を作成し、大学や企業の研究機関向けに2月7日より提供を開始します。実験協力者の同意を得ることで、コミュニケーション行動の分析で重要な要素となる表情や視線などの顔データまで取り込めたほか、発話や行動のアノテーションを付与したことで、次世代人工知能(AI)システムの設計に利用可能な世界初のグループコミュニケーションコーパスとなります。
本コーパスの活用により、人のコミュニケーション行动をより総合的に解析することが可能となるため、人と人との円滑なコミュニケ—ションを支援する次世代础滨の研究开発の加速のほか、人のコミュニケーション能力向上のための研究促进が期待されます。
また东京电机大学は、より多くのコーパスの継続的な収集と、それによるコミュニケーション研究の推進を目的に、全国の研究機関から同一のデータ収集規格のもとで分散データを収集?公開するためのコンソーシアムを2月1日に設立しました。

図1 公开するコーパスのシーン例

1.概要

国立研究開発法人 新エネルギー?産業技術総合開発機構(NEDO)は、2015年度に「次世代人工知能?ロボット中核技術開発プロジェクト」を立ち上げ、場面に合わせて柔軟に対応する人工知能(AI)や、ロボットが円滑に作業するためのセンサーやアクチュエーションなどの要素技術開発を進めています。2017年度には「次世代人工知能技術の社会実装に関するグローバル研究開発」の先導研究テーマの一つとして、学校法人东京电机大学とともに、次世代AIの深層学習のための大量データを収集?整理し、時系列分析技術の確立とデータへの注釈付け(アノテーション)の半自動化を目指したプロジェクト※に取り組んでいます。
本プロジェクトにおいて、东京电机大学は、カメラやセンサーを用いて学生の行動を詳細に把握することで、行動とコミュニケーションスキルとの因果関係を科学的に抽出し、コミュニケーションスキル向上に役立てるための基本技術の確立を目指した研究を行っています。その成果の一つとして、学生の行動とコミュニケーションスキルをひも付け、双方の因果関係を体系化することに成功しています。(図2)

そして今回、NEDOと东京电机大学はグループコミュニケーション時の人の表情などの映像や音声、各種センサーによる体の動きなどのデータセット(コーパス)を作成し、大学や企業の研究機関向けに2月7日より提供を開始します。このコーパスには、グループディスカッションにおける発言や顔の表情、腕の上がり?下がり具合などのジェスチャー、視線など、豊富なデータを収録しています。実験協力者の同意を得ることで、コミュニケーション行動の分析で重要な要素となる表情や視線などの顔データまで取り込めたほか、発話や行動のアノテーションを付与したことで、次世代AIシステムの設計に利用可能な世界初のグループコミュニケーションコーパスとなります。
本コーパスの活用により、コミュニケーション行动をより総合的に解析することが可能となるため、人と人との円滑なコミュニケ—ションを支援する次世代础滨の研究开発の加速のほか、人のコミュニケーション能力向上のための研究促进が期待されます。
また东京电机大学は、より多くのコーパスの継続的な収集と、それによるコミュニケーション研究の推進を目的に、全国の研究機関から同一のデータ収集規格のもとで分散データを収集?公開するためのコンソーシアムを2月1日に設立しました。

図2 学生の行动とコミュニケーションスキルの间の科学的な因果関係

2.提供开始するコーパスの详细

今回、东京电机大学の学生(2年生)6人による議論2セッション、社会人6人による議論2セッションの合計100分のグループディスカッションに関するコーパスをDVDに収録し、提供します。従来のコーパスは、個人情報保護の観点から個人の顔データを含めることが不可能でしたが、今回、実験協力者の同意を得ることで、その課題を解決しました。
各ディスカッションには、个人の振る舞いを正面から観察するためのカメラを3台、ディスカッションの様子を俯瞰するカメラを1台、360度のパノラマ画像を撮影するカメラを1台、着座位置?颜の向きを见るためのカメラを天井に1台配置して撮影したほか、ヘッドセットマイクで音声も収録しています。复数のカメラで同时撮影したデータにより、多方向からのコミュニケーション観察が可能です。また、音声は个人ごとに収録しているため参加者个々の発言を选択して分析できます。さらに、加速度?角速度センサーを参加者の头部、胸部、両腕部の计4カ所に装着し、体の动きや姿势などのデータも収録しています。
コーパスには発言、ジェスチャー、视线などの行动に対してのラベル付けがされているため、会话分析にも利用可能です。加えて、机械学习を用いた行动认识システムの学习データとしても活用できます。

3.グループコミュニケーション研究コンソーシアム

コミュニケーション行动の研究を进めるには、本プロジェクトの取り组みを継承して、より多くのコーパスを継続的に収集し、比较検讨することが重要です。
そのため、东京电机大学は、全国の研究機関から同一のデータ収集規格のもとで分散データを収集?公開することを目的としたコンソーシアムを2月1日に設立しました。現在、东京电机大学のほか、国立大学法人東京農工大学、学校法人湘南工科大学、国立大学法人豊橋技術科学大学など全国10大学以上の研究者が賛同しており、今後もほかの研究教育機関からの参画を呼び掛ける方針です。

【注釈】
※ プロジェクト
事业名:次世代人工知能?ロボット中核技术开発/次世代人工知能技术の社会実装に関するグローバル研究开発/イノベーション?リビングラボの先导研究
実施期间:2017年度~2018年度

4.问い合わせ先

(本ニュースリリースの内容についての问い合わせ先)
狈贰顿翱 ロボット?础滨部 担当:铃木、渡边 罢贰尝:044-520-5242
东京电机大学 総務部企画広報担当:本田、秋山 TEL:03-5284-5125
贰-尘补颈濒:办别颈别颈蔼箩颈尘.诲别苍诲补颈.补肠.箩辫

(その他狈贰顿翱事业についての一般的な问い合わせ先)
狈贰顿翱 広报部 担当:藤本、坂本、佐藤 罢贰尝:044-520-5151 贰-尘补颈濒:苍别诲辞冲辫谤别蝉蝉蔼尘濒.苍别诲辞.驳辞.箩辫