新穎語音摘要方法與應用之研究

在此兩年期計畫執行期間中，我們致力在設計與發展適用於語音摘要的新穎模型化架構。其動機來自於大量含有語音資訊的多媒體迅速增長，亟需有效的自動摘要方法來協助處理與應用。同時，基於深層類神經網路的監督式方法近年來成為摘錄式摘要研究的主流；特別的是，所謂的Bidirectional Encoder Representations from Transformers (BERT)深層類神經網路模型被提出並在許多像是智慧問答和語言理解等自然語言處理的任務上締造相當優異的效果。有鑒於此，本計畫除了在第一年發展出多種基於遞迴式類神經網路的摘要方法外，並在第二年成功地設計與實作基於BERT的語音摘要方法，其主要貢獻有三方面。首先，我們探索將語音辨識的信賴分數融入語句向量表示，觀察是否能藉此降低語音辨識錯誤所造成的負面影響。其次，本研究考慮語句位置和反文件頻率等結構與詞彙使用資訊，以擴增BERT所產生語句向量表示。最後，我們在標竿實驗語料上，透過一系列的實驗，廣泛地將我們所提出的摘錄式摘要方法和當今最好的方法做比較，以證實摘要效能表現。而本計畫的一些相關研究成果也已發表ICASSP 2019、ASRU 2019、APSIPA 2019、ICASSP 2020、Interspeech 2020、APSIPA 2020和EUSIPCO 2020等重要國際會議，以ACM Transactions on Asian and Low-Resource Language Information Processing等知名期刊。為了更深入地說明本計畫在基於BERT新穎摘要方法的研究成果，本報告內容將是基於發表在ICASSP 2019、ICASSP 2020以及EUSIPCO 2020的技術內容與成果為主。