NEC、登場人物の顔を検出・表示して映像一覧を自動生成する技術
NECは1月10日、映像の主要な登場人物の顔を検出することで、ドラマや映画などの見たい映像を一目で探せるソフトウェア技術を開発した。
映像から抽出した「登場人物の顔」を人物ごとにグループ化、正面向きの代表的な顔を選出して、映像ごとに登場頻度順に並べて表示することで、映像一覧を自動生成する。利用者は登場人物の顔から誰が出演しているのかすぐにわかり、登場人物の名前を知らなくても、どんな顔の人物が登場しているのか認知できる。また、映像の中の顔を利用するため、登場人物の表情や雰囲気が分かる。映像一覧は、登場人物の顔を表示回数の多い順・少ない順で表示可能で、登場頻度も類推できる。こうした特徴を利用して、見たい映像を容易に選択できる。
顔のグループ化には、NECが開発した2段階のクラスタリング手法を適用し、照明条件や顔の向き、表情が違っても、重複や漏れを抑えて検出する。映像一覧で5人の顔表示を行った場合、登場人物の検出率約80％を実現した。
グループ化の方法は、まず時間的に連続して登場する同一人物の顔が類似することを利用して、人物ごとにグループ化。その後、各グループに含まれる正面向きの顔をすべて選択し、複数の顔をグループ間で比較する。類似する顔が含まれている場合には同一人物としてグループを統合。各グループに蓄積されたバリエーションで条件の類似する顔が1組でも存在すれば、同一人物として統合できるため、同一人物の顔を高精度にグループ化できる。
この技術は、家庭用HDDレコーダ、携帯映像端末、映像共有サイト、企業用の映像アーカイブなどで、テレビ番組やホームビデオなどの映像選択に活用でき、ユーザーの使い勝手を向上できる。今後は、早期の商品化を目指した研究開発を進める。
