電腦生成的新聞有多真？－文字自動生成技術運用於經濟新聞的評估

本研究以經濟新聞為範圍，探討GPT-2模型，在經過約30萬篇新聞訓練後產生15篇電腦生成之新聞（CGN），混合15篇人類撰寫之新聞（HCN），由12位受試者進行1到5分的可信度評價。結果在15篇HCN中，有1篇其平均可信度為2.92，不及3，原因為沒有邏輯、主觀性強等；在15篇CGN中，有2篇其平均可信度皆為3.33，大於3，原因為內容合理、細節符合邏輯。此2篇的部分內容與語料庫比對後，發現電腦移花接木再加潤飾的能力，已可欺騙專業人士。本研究也訓練BERT模型，以瞭解自動偵測電腦生成新聞之可能性。結果上述30篇新聞中，BERT只有2篇CGN預測錯誤，其餘皆正確，比受試者們集體的預測，有5篇錯誤，成效還要高。較大規模的實驗，顯示BERT的成效，可達0.96的F1分數。