數據集訓練，百度發布全新 NLG 訓練模型 ERNIE-GEN，獲 5 項 SOTA！

頭圖 | CSDN下載自視覺中國

5月20日，百度ERNIE重磅發布全新的語言生成預訓練模型ERNIE-GEN，解決自然語言處理領域“生成”方向的難題，讓機器不但能“理解”人類的意思，還能完成更高階的“表達”。這項工作在4類語言生成任務，5項國際權威英文數據集上均取得SOTA，被國際頂級AI學術會議IJCAI 2020收錄。數據集訓練、

?

論文鏈接：https://arxiv.org/abs/2001.11314

項目地址:?https://github.com/PaddlePaddle/ERNIE

在自然語言處理領域中，語言理解（NLU）和語言生成（NLG）是兩大核心任務。百度發布的ERNIE-GEN預訓練模型指向語言生成（NLG），這聽起來很晦澀，實際上并不陌生。P一M模型，回顧一些經典科幻電影，比如《終結者》、《黑客帝國》中描述的未來機器人，他們能夠流暢地實現和人類對話，這就是一個自然語言生成系統。日常生活中，手機輸入法的聯想詞、對答如流的智能音箱、問答機器人等，都是常見自然語言生成領域問題。

可見自然語言生成技術非常重要，針對性地進行預訓練模型的研發，也成為這個領域重要玩家的共識。從 2019 年以來，Google、Facebook、微軟等先后發布了多個針對自然語言生成的預訓練模型，取得了一定進展。百度2019年3月推出預訓練模型ERNIE，7月升級到ERNIE2.0，并迅速在12月登頂國際權威數據集GLUE，這意味著百度ERNIE已成為國際上首屈一指的預訓練模型。今年3月，ERNIE又在全球規模最大的語義評測比賽 SemEval 2020斬獲5項世界冠軍。

之前，領域內的預訓練模型主要關注于語言理解類任務，在生成任務上還處于探索階段。如以BERT、ERNIE為代表的語言理解預訓練模型在理解方面取得了許多重大突破，然而，對于序列到序列的自然語言生成任務，這些主流方法并未帶來明顯改進。早期如微軟MASS和UniLM等工作在下游生成任務上取得了顯著提升，但仍有問題亟待解決。

本次在ERNIE基礎上推出的語言生成預訓練模型ERNIE-GEN，正是針對之前工作中語言生成任務的核心難題，提出了多項創新方法，基于multi-flow機制，模型可以生成完整語義片段，顯著提升了自然語言生成的任務效果。

ERNIE-GEN 首次將短語、實體的預測引入生成預訓練中。這種機制借鑒了人類寫作的構思過程，使模型具備了語義完備短語生成的能力，如直接生成“New York”(而非“New”和“York”）。此外，傳統的自回歸生成模型當前詞的生成強依賴于上一個詞，這種有偏的學習方式會在上文生成質量不佳時，導致后續的錯誤累積。ERNIE-GEN 提出Infilling生成機制并和噪聲增強策略相結合有效緩解了這種生成過程中的錯誤累積。為了實現上述機制，ERNIE-GEN基于transformer設計了multi-flow attention結構。

最終據實驗結果顯示，ERNIE-GEN 在文本摘要生成、問題生成、多輪問答和對話4類生成任務的5個公開數據中，均取得了SOTA效果。

?

目前，ERNIE-GEN的英文預訓練模型已開源，而基于更大規模預訓練數據集的ERNIE-GEN也正式發布于https://github.com/PaddlePaddle/ERNIE/。ERNIE-GEN已應用于百度內部新聞標題生成等業務，未來還將支持機器翻譯等更多類型的生成任務。

賦予機器「認知」能力，是人工智能中最具挑戰的問題。深入理解語言，進而讓機器具備人類的表達能力無疑意義重大。

【End】

更多精彩推薦
?登 GitHub 趨勢榜首德國疫情追蹤 App 號稱可保疫情隱私數據無憂，你信嗎？
?安卓機+數據線，帶你開發部署人臉識別應用?踢翻這碗狗糧：程序員花 7 個月敲出 eBay，只因女票喜歡糖果盒
?我佛了！用KNN實現驗證碼識別，又 Get 到一招
?如何使用 SQL Server FILESTREAM 存儲非結構化數據？這篇文章告訴你
?加密價格更新周期：看似雜亂無章，實際內藏玄機
你點的每個“在看”，我都認真當成了喜歡