7

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
言語の事前学習によって，自然言語分野の複数のタスクにおいてSoTAを達成。
PDF Code
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Representation Learning with Contrastive Predictive Coding
画像や音声における新しい表現学習の方法を提案。エンコーダーとGRUを組み合わせてGRUが次のエンコーダの出力を予測して,その相互情報量の最大化によって良い特徴表現を獲得する。
PDF Code Slides
Representation Learning with Contrastive Predictive Coding
Time-Contrastive Networks: Self-Supervised Learning from Video
Action recognitionにおけるSelf-supervisedな事前学習方法の提案。
PDF
Time-Contrastive Networks: Self-Supervised Learning from Video
Visual Genome : Connecting Language and Vision Using Crowdsourced Dense Image Annotations
画像をもとにしたシーングラフやそれに関連したVQA等のラベルがついたVisual Genome データセットを作成。
PDF Dataset
Visual Genome : Connecting Language and Vision Using Crowdsourced Dense Image Annotations