講座・教員 黒澤義明 助教 KUROSAWA Yoshiaki

研究テーマ

マルチモーダルな情報利用による感性情報の抽出

画像や言語といった各種情報から,人間の感性に関わる情報の抽出や制御を行う研究を行っています.

アパレルコーディネート画像に対するレイヤードスタイルの分析

衣服を着ることは,体を守るという目的のほか,相手に与える自分の印象を変えるという効果があります.レイヤード(重ね着)に着目すると,「差し色を入れる」「抜け感を出す」等の様々なコーディネートテクニックがあり,様々な印象付けをすることができます.

「こうしたレイヤードスタイルから受ける印象」を機械が感じ取ることのできるように,各種AIの出力や画像処理を利用して分析することが研究対象となっています.

上の図は,コーディネート画像(一番左)を入力し,途中の処理を経て,最終的にレイヤードスタイルを解析した結果(一番右)を出力する様子を示しています.ピンク色がアウター,黄色がインナーを示しています.
※ このような領域分けのことを『セグメンテーション』と言います.

画像生成AIを利用したアパレルアイテムの着せ替え

上のレイヤードスタイルに述べたように,アイテムの部分のみセグメンテーションができるようになれば,画像生成AIを利用して,その領域だけを新たなアイテムで置き換えることが可能になります.ただ,そこで生成されるアイテムを思い通りにすることは難しく,ガチャ要素が大きいと言えます.

そこで,思った通りに書き換えるために,様々な条件付けを行います.ここでは深度(奥行情報)を利用した例を挙げます.

上の図は,2枚の白黒で表現された奥行画像(女性)から作られた画像の例です.ちょっとわかりにくいですが,2枚の奥行画像のスカートのプリーツのところを加工した点が少しだけ違っています.その結果,生成されたスカート(紺色)のプリーツ形状が変わったことがわかるかと思います.

プリーツの本数やフレアスカートの畝感を変えるとガーリーさを増減させることができます.このような変更を加えることで,思った通りの印象を付加することを目的とした研究を行っています.