概要

Elaborative Rehearsalと呼ばれる人間の記憶に近い方法でZero-shotの行動認識を学習するという枠組み。 各Action Classに対してElaborative Description(ED)と呼ばれる説明文章を辞書等を用いて作成する。その文章と動画から抽出した特徴量を同じ空間に埋め込み、類似度を用いて最適なクラスを予測する。

Action Classに対するElaborative Descriptionの例

モデル全体像

実験

新規性

Elaborative Descriptionを用いたzero-shotの行動認識学習を提案