用於動作識別之非監督式視覺表示學習架構

近年來動作識別(action recognition)越來越受到重視，因為具有動作辨識能力的居家照護系統可以減緩高齡化社會家庭的壓力，智能監控(smart surveillance)能從監視器影像進行異常動作之偵測，其他像是人機互動(human-computer interaction)、自動駕駛(autonomous driving)、運動分析(sport analysis)，或是網路視頻搜尋和檢索等許多商業應用也都迫切需要動作識別系統的輔助。 目前的動作識別技術主要採用監督式學習，主流的模型架構有3D-CNN或是two-stream CNN，這些深度模型使用大量人工標註的影片進行學習，被證明在動作識別上表現優異。然而，監督式學習存在一個主要問題在於過度依賴大規模數據集，且影片的收集和標註需要耗費大量人力成本，如此繁複的訓練過程難以scale up，且學習到的視覺表徵也有很大的侷限性。 這個問題在於深度學習模型能否從大量未標記的影片中進行學習變得非常重要，因此自我監督學習模型(self-supervised learning)被提出用來解決以上的問題，自我監督學習挖掘訓練資料之間的相互關係，自動生成語意標註，同時通過輔助型任務來學習可辨識性高的視覺特徵，這樣的訓練方式因為不依賴人工標註，可以輕易擴展至其他豐富多元的資料集上，學習到的視覺表徵更可以遷移到複雜的視覺任務上。 本計畫基於自我監督學習模型，提出一個非監督式特徵學習的動作辨識框架，不需要大量人工標註的訓練資料，能夠直接從影片中學習到動作特徵，在此框架之中，融合了對比式學習 (Contrastive Learning)、實例學習(Instance Learning)來修正以三維卷積神經網路為基底(backbone)的框架，並且實現進行端到端(End-to-End)的訓練，經過這樣的學習方式找出的特徵會變很容易擴充(Scale-up)，而且容易遷移式學習(Transfer-learning)到各種任務之上。