3月21日消息，近日，京東探索研究院聯(lián)合悉尼大學(xué)推出了更大規(guī)模、更優(yōu)效果、對(duì)各類視覺(jué)任務(wù)具有更好適應(yīng)性的超級(jí)深度學(xué)習(xí)模型ViTAEv2。

據(jù)介紹，具有6億參數(shù)的ViTAEv2模型在不依賴任何外源數(shù)據(jù)的情況下，獲得了ImageNet Real數(shù)據(jù)集分類準(zhǔn)確度“世界排名第一”的成績(jī)，精準(zhǔn)高達(dá)91.2%，成功刷新圖片分類技術(shù)領(lǐng)域的世界級(jí)紀(jì)錄。

一直以來(lái)，ImageNet數(shù)據(jù)集作為目前最大的"圖像分類"公開數(shù)據(jù)集，其識(shí)別準(zhǔn)確率榜單吸引了包括谷歌、微軟、Facebook等國(guó)際頂尖科技公司以及斯坦福大學(xué)、麻省理工大學(xué)、新加坡國(guó)立大學(xué)等知名高校在內(nèi)的關(guān)注并參與，其數(shù)據(jù)指標(biāo)一度被廣泛應(yīng)用于衡量計(jì)算機(jī)視覺(jué)技術(shù)水平高下的重要標(biāo)準(zhǔn)，影響深遠(yuǎn)。

計(jì)算機(jī)視覺(jué)技術(shù)作為人工智能核心科技之一，目的是賦予機(jī)器以觀察、感知和理解的能力，而圖像分類作為計(jì)算機(jī)視覺(jué)的基礎(chǔ)任務(wù)更是被廣泛認(rèn)知。本次“榜上有名”的ViTAEv2模型采用了“預(yù)訓(xùn)練-微調(diào)”范式，從模型架構(gòu)和訓(xùn)練范式進(jìn)行突破，充分利用了歸納偏置在大規(guī)模模型的有效性，以及與模型結(jié)構(gòu)相適應(yīng)的預(yù)訓(xùn)練算法與遷移學(xué)習(xí)算法來(lái)達(dá)成目標(biāo)效果。

“另外我們還探索了大規(guī)模ViTAEv2模型的少樣本學(xué)習(xí)能力，也就是分別使用1%、10%以及100%的數(shù)據(jù)對(duì)大規(guī)模ViTAEv2模型進(jìn)行微調(diào)，結(jié)果表明僅使用少量數(shù)據(jù)，即10%的數(shù)據(jù)進(jìn)行微調(diào)時(shí)，大規(guī)模模型性能已顯著優(yōu)于使用全部數(shù)據(jù)的規(guī)模較小的模型，進(jìn)一步證實(shí)了大規(guī)模模型具有很強(qiáng)的少樣本學(xué)習(xí)能力，這說(shuō)明超級(jí)深度模型具有強(qiáng)大的表征能力、學(xué)習(xí)能力和樣本效率?！本〇|探索研究院方面表示。

此舉充分驗(yàn)證了ViTAEv2模型有能力幫助解決低資源甚至是零資源下的挑戰(zhàn)性任務(wù)，以及降低數(shù)據(jù)標(biāo)注成本、加速算法開發(fā)周期、簡(jiǎn)化模型部署、賦能和促進(jìn)新一代自動(dòng)化學(xué)習(xí)技術(shù)的研發(fā)和落地的杰出能力。

值得肯定的是，ViTAEv2模型的優(yōu)異表現(xiàn)助力京東探索研究院計(jì)算機(jī)視覺(jué)模型水平再上新臺(tái)階，后續(xù)有望繼續(xù)推動(dòng)一系列視覺(jué)任務(wù)的發(fā)展，例如語(yǔ)義分割、物體檢測(cè)、姿態(tài)估計(jì)、視頻物體分割等。未來(lái)，如何從訓(xùn)練方法、模型架構(gòu)設(shè)計(jì)等方向進(jìn)一步提升ViTAEv2模型的性能并同時(shí)降低訓(xùn)練和推理的成本，是值得進(jìn)一步探索的研究方向。

值得一提的是，2021年11月30日，在量子位MEET2022智能未來(lái)大會(huì)上，2021人工智能年度評(píng)選結(jié)果出爐。京東云榮膺2021年度人工智能領(lǐng)航企業(yè)TOP50榜單；京東智能客服言犀也同步上榜2021年度人工智能最佳解決方案TOP10。

近年來(lái)，京東云深耕全棧式AI前沿技術(shù)?；谟?jì)算機(jī)視覺(jué)以圖搜圖的搜索應(yīng)用，其輔助以語(yǔ)音對(duì)話交互技術(shù)的“拍照購(gòu)”和“搭配購(gòu)”功能，能夠通過(guò)拍照或截圖方式，直接匹配搭配好的時(shí)尚單品，為消費(fèi)者奉上了“一站加購(gòu)”、“一鍵買齊”的購(gòu)物新體驗(yàn)。而在商品營(yíng)銷方面，5分鐘創(chuàng)作出1000篇文案、覆蓋近3000個(gè)商品品類、累計(jì)生成3000萬(wàn)AI內(nèi)容的“達(dá)人寫作”產(chǎn)品，刷新了智能寫作的新高度。

此外，京東探索研究院與各大實(shí)驗(yàn)室在可信人工智能、超級(jí)深度學(xué)習(xí)、量子機(jī)器學(xué)習(xí)等基礎(chǔ)科學(xué)領(lǐng)域，持續(xù)推進(jìn)創(chuàng)新研究以及與供應(yīng)鏈和各行業(yè)的大規(guī)模融合應(yīng)用。京東探索研究院聯(lián)合中國(guó)信息通信研究院發(fā)布國(guó)內(nèi)首部《可信人工智能白皮書》，打造全國(guó)首個(gè)基于SuperPOD架構(gòu)的超大規(guī)模計(jì)算集群天琴α，并聯(lián)合海內(nèi)外高校提出大規(guī)模視覺(jué)模型ViTAE。