京東言犀獲離散推理型閱讀理解DROP冠軍
林月
2022-03-14 14:08
3月14日消息,據京東科技News消息,近日,在由Allen AI研究院發(fā)起的離散推理型閱讀理解榜單DROP上,京東智能客服言犀團隊(JDAI research)提出的NR-Rino模型以90.26%的準確率登頂DROP Leaderboard冠軍。
據了解,DROP榜單是一個國際著名的評測任務,主要用于測試計算機在語言理解中的數學推理能力。不同于許多單輪問答,離散推理型閱讀理解數據集DROP要求模型在語義理解的基礎上,具備數值推理能力。本次DROP數據集任務吸引了國際眾多參賽隊伍,包括Google Research、中國平安、騰訊等。
DROP數據集的難點在于問題的答案無法通過直接與文章匹配得到,需要結合不同位置的數字及其上下文表示,來進行推理得出。此外,加法、排序、統(tǒng)計等符號運算對模型的綜合推理能力也是極大的挑戰(zhàn)。
京東言犀團隊提出了NR-Rino模型,主要是對基于多頭預測器方法進行創(chuàng)新和改進,NR-Rino采用了編碼層、數字推理層、預測層的三級結構。
除了模型結構的優(yōu)化外,NR-Rino還進行了訓練優(yōu)化,以充分利用預訓練語言模型中蘊含的知識,包括對模型參數的正則化約束和Dropout正則化。
京東科技表示,未來言犀將進一步推動離散推理型閱讀理解的發(fā)展,包括涉及背景知識的數字推理、復雜數字推理等問題。包括NR-Rino模型在內的AI能力也將廣泛應用于京東零售、京東物流、京東健康,以及外部金融、政務、泛互的行業(yè),涉及數字分析、金融報告分析、體育數據分析,智能交互RPA等環(huán)節(jié)。
聲明
1、該內容為作者獨立觀點,不代表電商報觀點或立場,文章為作者本人上傳,版權歸原作者所有,未經允許不得轉載。
2、電商號平臺僅提供信息存儲服務,如發(fā)現文章、圖片等侵權行為,侵權責任由作者本人承擔。
3、如對本稿件有異議或投訴,請聯(lián)系:info@dsb.cn
2、電商號平臺僅提供信息存儲服務,如發(fā)現文章、圖片等侵權行為,侵權責任由作者本人承擔。
3、如對本稿件有異議或投訴,請聯(lián)系:info@dsb.cn