言語音声メディア工学グループ

人間の感情を理解するコンピュータを作ろう！

人間の口調や表情などの情報からその人の感情や意欲を推定したり、また逆に感情を込めた声や表情を作成したりするための技術を中心に、幅広い研究に取り組んでいます。

教員

竹澤寿幸教授 [E-mail: takezawa'at'hiroshima-cu.ac.jp]
目良和也講師 [E-mail: mera'at'hiroshima-cu.ac.jp]
黒澤義明助教 [E-mail: kurosawa'at'hiroshima-cu.ac.jp]

卒業研究テーマ

日常的なゼミは、言語グループと音声グループに分かれて行っています。それに加え、中間発表や岡山大学との合同ゼミも実施しています。

人間の口調や表情からの感情推定

人は口調や表情の変化から相手が喜んだり怒ったりしていることを、本研究室ではその口調や表情変化の特徴を機械学習器に学習させることで、話し手の感情や本心をリアルタイムで推定するための手法について研究しています。

感情推定技術の社会的応用

声や表情から感情を推定する技術を応用することで、相手がやる気になっているか、強がりやお世辞を言っているかなどの判別にも使えます。さらに、そのような本心を考慮して対話できるシステムについても研究を行っています。

音源分離/声質変換

特定話者の音声だけを抽出したり、他人の声に変換したり、人間の声に関する研究を行っています。特に、振幅や位相と言った音声情報を2次元の特徴量として扱うことにより、畳み込み等の深層学習との親和性を高めています。独自のVTuber育成も目的のひとつです。

印象抽出

人間が持つ印象決定をコンピュータに行わせるため、商品紹介文等のテキスト情報だけでなく、コーディネート写真等の画像を処理する技術を研究しています。シルエットによるサイズ感を抽出（Figure 3）したり，フレア感を抽出（Figure 4）したりすることにより、コーディネート写真から得られる雰囲気を決定します。

観光情報学に関する研究

旅行ブログエントリ中のテキストや画像を用いて、様々な観点から分類し、旅行者のみならず観光地を活性化するために役立つ情報を見つける研究をしています。しまなみジャパンと協力して集めた観光サイクリストの行動情報を分析する研究に展開しています。

テキストマイニングに関する研究

新型コロナウイルス感染症に関する英語で書かれた学術論文が大量に生産されています。大量の文書集合から役立つ知識を見つけるテキストマイニング技術は今後ますます重要となります。ベンチャー企業を題材に、機械学習を用いてWebにある文書から企業情報を抽出・分析する研究を進めています。