左圖為PLATO-2中文對(duì)話演示，右圖為《隱秘的角落》劇照

如今，智能對(duì)話正以肉眼可見的速度成為人們熱愛談?wù)摰脑掝}，不管是《向往的生活》里的國民機(jī)靈鬼小度，或者是手機(jī)里隨叫隨到的“hi，siri！”，我們?cè)絹碓搅?xí)慣以語言來和機(jī)器進(jìn)行溝通。但不論是家庭、或是手機(jī)端，當(dāng)下有明確功能性的智能助手對(duì)比真正能與人類在開放話題中自由對(duì)話仍然有差距。

針對(duì)這一問題，近年來，基于大量語料和超大規(guī)模預(yù)訓(xùn)練模型的對(duì)話生成技術(shù)取得了非常多喜人進(jìn)展，如谷歌Meena、Facebook Blender等模型依托數(shù)十億級(jí)的參數(shù)和語料，已能模擬生成與人類非常相近的對(duì)話。

但是，龐大的對(duì)話語料下隱藏著豐富的信息，同樣的對(duì)話語境可以有多種不同的回復(fù)，這樣“一對(duì)多”問題是當(dāng)前對(duì)話系統(tǒng)面臨的一個(gè)重要難點(diǎn)。我們知道，人與人的對(duì)話不僅與上下文相關(guān)，也和背景知識(shí)相關(guān)，不論是個(gè)人屬性、知識(shí)背景、或是價(jià)值觀、情緒狀態(tài)等。但每段對(duì)話背后，對(duì)話者的背景知識(shí)是模型訓(xùn)練中難以獲取的，這就給訓(xùn)練帶來了很大噪音。如谷歌Meena、臉書Blender等一般的編碼-解碼神經(jīng)網(wǎng)絡(luò)不論結(jié)構(gòu)多復(fù)雜，仍然是一個(gè)“一對(duì)一”的函數(shù)，直接應(yīng)用很容易產(chǎn)生大量“哈哈，不知道”這類的安全回復(fù)。

針對(duì)這一問題，百度去年發(fā)布的PLATO模型和微軟近期發(fā)布的OPTIMUS模型中都提到了運(yùn)用隱變量來建模這種不可見多樣性的方法。百度PLATO更獨(dú)特地采用了離散隱變量建模，運(yùn)用多樣化生成+合適度判斷的方式，在三個(gè)不同各類型的公開數(shù)據(jù)集上均取得了SOTA效果。

此次公布的PLATO-2,是百度在PLATO工作基礎(chǔ)上的進(jìn)一步擴(kuò)展，通過擴(kuò)展網(wǎng)絡(luò)增加訓(xùn)練數(shù)據(jù)集，模型的參數(shù)規(guī)模擴(kuò)展到了16億。同時(shí)，PLATO采取了課程學(xué)習(xí)的方法，解決大規(guī)模參數(shù)隱變量網(wǎng)絡(luò)訓(xùn)練的計(jì)算消耗問題，逐步優(yōu)化參數(shù)、加快訓(xùn)練效率。

PLATO-2模型結(jié)構(gòu)簡圖

這樣大體量的模型訓(xùn)練，離不開百度深度學(xué)習(xí)平臺(tái)飛槳強(qiáng)大的并行能力支持。PLATO-2包含中英文兩部分模型。其中，中文模型在12億中文開放域多輪對(duì)話數(shù)據(jù)集上進(jìn)行訓(xùn)練，而英文模型則在7億英文開放域多輪數(shù)據(jù)集上訓(xùn)練。PLATO-2訓(xùn)練耗費(fèi)了64張V100卡共3周的時(shí)間，依托了飛槳強(qiáng)大并行能力，包括Fleet并行庫和Recompute等擴(kuò)展顯存的方式。單個(gè)Batch包含52萬Token，訓(xùn)練過程中約進(jìn)行了30萬次梯度回傳。

為了驗(yàn)證模型效果，百度對(duì)PLATO-2進(jìn)行了全面的靜態(tài)和動(dòng)態(tài)評(píng)估。靜態(tài)評(píng)估為利用現(xiàn)有對(duì)話從上文預(yù)測(cè)下文，以及人機(jī)對(duì)話、兩個(gè)模型相互對(duì)話形式的中英文動(dòng)態(tài)評(píng)估。評(píng)測(cè)結(jié)果顯示，百度PLATO在動(dòng)態(tài)和靜態(tài)評(píng)估中均明顯超越了微軟DialoGPT,谷歌Meena和Facebook Blender模型。更在中文上，與微軟小冰在連貫性、信息量、吸引力、人性化

等維度拉開了極大的差距。

在對(duì)話演示中，也可以明顯看出PLATO不僅在對(duì)話內(nèi)容豐富度上提升明顯，還能夠就一個(gè)話題深入聊天并擴(kuò)展到相關(guān)話題。而此前的最佳模型Blender，則會(huì)頻繁地轉(zhuǎn)換話題。

PLATO-2英文對(duì)話演示和Blender使用相同對(duì)話種子對(duì)比

基于PLATO-2在對(duì)話內(nèi)容的豐富度和連貫性上展現(xiàn)出了來的高度，有望為智能對(duì)話開辟出全新的領(lǐng)域。此外，百度POLATO-2相關(guān)英文模型和代碼將在Github中陸續(xù)開放，中文模型未來也將開放接口服務(wù)。也期待在全球領(lǐng)軍AI企業(yè)的共同努力下，我們將離人機(jī)自由對(duì)話的終極夢(mèng)想更近一步。

zhangnn

<abbr id="nouxq"></abbr>