computer scienceの論文の軽いまとめ(2)
タイトル:Comprehension-guided referring expressions
著者:R. Luo, G. Shakhnarovich
発表:CVPR2017
内容:
- 画像中の物体に対する参照表現(referring expression)の生成と理解について
- 画像のキャプショニングにはふつうRNNを用いられるが,評価基準が難しい
- 参照表現を用いるのは,キャプショニングにおいては珍しい
- しかし,参照表現を用いることで画像中に描かれているものを正しく推定することによって尤もらしい評価・推定ができる
- 上記から2つのアプローチを用いた解釈モジュールを提案する
- 参照表現生成のcriticとして人間の表現を学習させる
- 解釈モジュールをタスクへの振る舞いに従ってモデルによって生成された表現たちの中からランクづけを行う「generate-and-rerank pipeline」を設置
- これら2つはGANに例えることができる.参照表現生成はgeneratorであり,解釈モジュールはdiscriminatorであり,なお,参照表現生成のactionに対応するcriticでもある 図1:生成モジュールが青いボックス内の説明文を生成する方法