computer scienceの論文の軽いまとめ(2)
タイトル：Comprehension-guided referring expressions
著者：R. Luo, G. Shakhnarovich
発表：CVPR2017
内容：
- 画像中の物体に対する参照表現(referring expression)の生成と理解について
- 画像のキャプショニングにはふつうRNNを用いられるが，評価基準が難しい
- 参照表現を用いるのは，キャプショニングにおいては珍しい
- しかし，参照表現を用いることで画像中に描かれているものを正しく推定することによって尤もらしい評価・推定ができる
- 上記から2つのアプローチを用いた解釈モジュールを提案する
- 参照表現生成のcriticとして人間の表現を学習させる
- 解釈モジュールをタスクへの振る舞いに従ってモデルによって生成された表現たちの中からランクづけを行う「generate-and-rerank pipeline」を設置
- これら2つはGANに例えることができる．参照表現生成はgeneratorであり，解釈モジュールはdiscriminatorであり，なお，参照表現生成のactionに対応するcriticでもある
図1：生成モジュールが青いボックス内の説明文を生成する方法
図2：解釈モジュール．青がターゲットで赤は偽．CNNの重みは共有されている
図3: 生成結果
computer scienceの論文の軽いまとめ(1)
著者：H. Zao, M. Lu, A. Yao, Y. Guo, Y. Chen, L. Zhang
発表：CVPR2017
内容：
散らかった室内のレイアウトを推定する．
以下２つを提案
セマンティック転移(ST)…データ分布が不均質な訓練セットに対し，CNNが散らかったものと部屋のレイアウトの関係性を統合してend-to-endに学習できる．特徴がロバストで様々な状況に対応できる．
physics inspired optimization(PIO)...効率化された推定機構．ST特徴を力学的定式化する．
精度は投稿時点でのsota.
