文脈を考慮した物体検出の高精度化

物体検出とは,画像を入力として与えられた時に,何が写っているかをその位置と合わせて推定するタスクである.近年主流となっている深層学習を用いた物体検出アルゴリズムでは,物体同士の大きさや位置関係,画像のシーン情報との整合性といった画像の文脈情報は考慮されておらず,また実際には正しくない検出も多い.そこで当研究室では,物体検出手法に後処理の形で適用できる,画像の文脈情報を考慮した検出の再評価方法を研究している.これにより,少ない検出数でより高精度な物体検出が可能となっている.

年齢ごとの顕著性マップ (左: 4歳, 右: 青年)

文脈を考慮した物体検出の流れ

クロスモーダルな弱教師あり学習

我々が普段目にする画像は自然画像 (写真) だけではなく,スケッチ,油絵,ベクターグラフィクスなど,様々なドメインの画像が存在する.これらの画像ドメインで一般物体検出をする際,検出器を学習させるための教師データとして,「どこに」「なにが」写っているかという,インスタンスレベルのアノテーションと画像の組が必要である.しかし,充分な量のアノテーションと画像の組を収集するには莫大な時間・コストを要する.そこで当研究室では,「なにが」写っているかという画像レベルのアノテーションと画像の組,および自然画像ドメインからの知識転移だけによって,十分な精度の物体検出器を学習する研究を行っている.

年齢ごとの顕著性マップ (左: 4歳, 右: 青年)

クロスモーダルな弱教師付き物体検出

深層強化学習や深層学習を用いた画像処理

強化学習を画像処理に用いる試み,旧来技術と最新の深層学習を協調的に扱うためのAI技術を研究している.例えば強化学習を用いて画像のノイズ除去や画像修復といった基礎的な画像処理に取り組んでいるほか,アテンションを用いた超解像画像生成などに取り組んでいる.

年齢ごとの顕著性マップ (左: 4歳, 右: 青年)

深層学習による画像処理

アテンションによる高解像度化

アテンションによる高解像度化

高速かつ直感的な画像検索

マウスで描画するだけで高速かつ直感的に画像検索行える技術を研究している.画像認識や検索技術など複数の最新技術を駆使して実現している.

年齢ごとの顕著性マップ (左: 4歳, 右: 青年)

直感的な高速画像検索