8月25日消息，小米CEO雷軍今日在個(gè)人公眾號(hào)分享和透露了小米大模型研發(fā)的相關(guān)信息。雷軍表示，AI是未來的生產(chǎn)力，也是小米長(zhǎng)期持續(xù)投入的底層賽道之一，目前，相關(guān)團(tuán)隊(duì)成員已經(jīng)超過3000人。

在大模型的研發(fā)方向上，小米選擇突破的是輕量化和本都部署，雷軍認(rèn)為，“軟硬結(jié)合，生態(tài)連結(jié)”是大模型技術(shù)與小米生態(tài)結(jié)合的最優(yōu)方案。

（圖源雷軍個(gè)人公眾號(hào)，下同）

雷軍指出，大模型是未來科技的發(fā)展趨勢(shì)，更是下一個(gè)人工智能的高地。在閑聊對(duì)話場(chǎng)景下，依托于月活超過1.15億的智能語(yǔ)音助理小愛同學(xué)，小米研發(fā)了參數(shù)規(guī)模為28億的對(duì)話模型。截至2023年8月10日，小米自研的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型MiLM-6B，參數(shù)規(guī)模為64億，在權(quán)威中文評(píng)測(cè)榜單C-EVAL和CMMLU中位列同等參數(shù)規(guī)模大模型第一。

他透露，2023年，小米研發(fā)投入預(yù)計(jì)會(huì)超過200億。并且小米將擴(kuò)大模型規(guī)模，不斷探索端云結(jié)合、多模態(tài)融合的大模型解決方案，與小愛同學(xué)、MIUI、IoT、機(jī)器人、汽車等業(yè)務(wù)結(jié)合，提升小愛同學(xué)的理解能力與智能家居指令的識(shí)別能力等，

以下為雷軍發(fā)表的全文：

在上周的年度演講上，我宣布了小米科技戰(zhàn)略升級(jí)：深耕底層技術(shù)、長(zhǎng)期持續(xù)投入、軟硬深度融合，AI全面賦能，即（軟件×硬件）??。同時(shí)，也給大家介紹了小米的科技理念：選擇對(duì)人類文明有長(zhǎng)期價(jià)值的技術(shù)領(lǐng)域，堅(jiān)持長(zhǎng)期持續(xù)投入。

AI是未來的生產(chǎn)力，也是小米決定長(zhǎng)期持續(xù)投入的底層賽道之一。我們?cè)诤茉缇烷_始組建AI團(tuán)隊(duì)，相關(guān)團(tuán)隊(duì)成員已經(jīng)超過3000人。這些年的持續(xù)投入，為我們的自動(dòng)駕駛、機(jī)器人等業(yè)務(wù)都取得了非常優(yōu)秀的成果。

今年，我們迎來了一次重大的技術(shù)革命——AI大模型技術(shù)，在4月份，我們組建了AI大模型團(tuán)隊(duì)，并快速在小愛同學(xué)上落地應(yīng)用。

我們做大模型的思路可能和很多公司不太一樣，我們選擇主力突破的是輕量化和本地部署。

為什么呢？

首先，大模型需要海量數(shù)據(jù)，所以很容易涉及到隱私問題，還需要巨大算力，用起來成本也很高。接著，我們是一家手機(jī)公司，怎么把自己的優(yōu)勢(shì)利用起來？我們想的是，它能不能輕量化？能不能本地部署，在手機(jī)端就能用上大模型？

沿著這個(gè)思路，我們團(tuán)隊(duì)進(jìn)展非常順利，小米自研大模型在近日的權(quán)威中文評(píng)測(cè)榜單C-EVAL和CMMLU中，取得同參數(shù)量級(jí)第一的好成績(jī)；小米自研手機(jī)端側(cè)大模型初步跑通，部分場(chǎng)景效果媲美云端。真的特別特別厲害。

很多人還想了解小米大模型研發(fā)的更多信息，今天，就和大家好好聊聊。

ChatGPT出現(xiàn)以來，大模型優(yōu)異的理解能力和生成能力令人驚艷，關(guān)于其用途的探索也越來越多。目前看來，很多傳統(tǒng)的自然語(yǔ)言處理任務(wù)都可以用它來完成，比如搜索、翻譯、問答、摘要、信息抽取和分類以及寫作等。在日常生活中，所有基于對(duì)話的服務(wù)，如客服、教育、咨詢、導(dǎo)游等，以ChatGPT為代表的大模型都有一定的用武之地。

大模型指參數(shù)數(shù)量巨大、層次結(jié)構(gòu)復(fù)雜的機(jī)器學(xué)習(xí)模型。這些模型通常具有十億到千億甚至萬(wàn)億個(gè)參數(shù)，通過大量的數(shù)據(jù)進(jìn)行訓(xùn)練，提供更高的理解和生成能力。

在我們看來，大模型不僅是指模型參數(shù)多、尺寸大，更重要的是代表了一種新的訓(xùn)練范式。我們將其總結(jié)為：大數(shù)據(jù)、大任務(wù)、大參數(shù)。

大數(shù)據(jù)：指需要用海量的數(shù)據(jù)去訓(xùn)練，讓模型從中自動(dòng)挖掘出所需的信息。通常采用自監(jiān)督或者無(wú)監(jiān)督學(xué)習(xí)方式，無(wú)需人工標(biāo)注就可以提煉規(guī)律、學(xué)習(xí)知識(shí)，從而提升模型的眼界。

大任務(wù)：指學(xué)習(xí)的目標(biāo)足夠復(fù)雜、覆蓋面廣。這樣才能“強(qiáng)迫”模型按照模塊化、高類聚、低耦合的方式組織知識(shí)點(diǎn)，實(shí)現(xiàn)舉一反三的泛化能力。

大參數(shù)：指模型的知識(shí)容量。大模型的參數(shù)規(guī)模越大，模型的表達(dá)能力和學(xué)習(xí)能力也就越強(qiáng)。

在這個(gè)范式中，我們認(rèn)為大數(shù)據(jù)和大任務(wù)是不可或缺的。如果沒有大數(shù)據(jù)，模型不可能學(xué)到豐富的常識(shí)；如果沒有大任務(wù)，知識(shí)點(diǎn)和技能點(diǎn)不可能在模型中有機(jī)高效地組織起來。

我們基于未來的思考與理解，選擇對(duì)人類文明有長(zhǎng)期價(jià)值的戰(zhàn)略方向，并堅(jiān)持長(zhǎng)期持續(xù)的投入。我們已經(jīng)布局了12個(gè)技術(shù)領(lǐng)域，99個(gè)細(xì)分賽道，未來五年（2022-2026）至少投入1000億以上的研發(fā)經(jīng)費(fèi)！

AI是未來的生產(chǎn)力，也是小米長(zhǎng)期持續(xù)投入的底層賽道。小米很早就對(duì)人工智能進(jìn)行布局，2016年小米AI實(shí)驗(yàn)室成立，并組建了第一支視覺AI團(tuán)隊(duì)，今年4月成立專職大模型團(tuán)隊(duì)，歷經(jīng)7年6次擴(kuò)展，小米人工智能團(tuán)隊(duì)已經(jīng)有3000多人，逐步建立了視覺、語(yǔ)音、聲學(xué)、知識(shí)圖譜、NLP、機(jī)器學(xué)習(xí)、多模態(tài)等AI技術(shù)能力。

成為浪潮之上的角逐者，必須有對(duì)技術(shù)的沉淀和積累。作為小米AI技術(shù)的“試驗(yàn)田”和“彈藥庫(kù)”，小米AI實(shí)驗(yàn)室會(huì)研發(fā)中長(zhǎng)期的前沿技術(shù)，圍繞小米業(yè)務(wù)做儲(chǔ)備，在集團(tuán)需要的時(shí)候輸出“彈藥”。小米對(duì)AI的深刻認(rèn)識(shí)與掌握的技術(shù)能力，也有效地賦能了手機(jī)、機(jī)器人等各個(gè)業(yè)務(wù)板塊。

大模型是未來科技的發(fā)展趨勢(shì)，更是下一個(gè)人工智能的高地。2021年開始，小米就對(duì)大模型的方向特別關(guān)注，并開展了對(duì)話大模型的預(yù)研工作。在閑聊對(duì)話場(chǎng)景下，依托于月活超過1.15億的智能語(yǔ)音助理小愛同學(xué)，小米研發(fā)了參數(shù)規(guī)模為28億的對(duì)話模型，達(dá)到了當(dāng)時(shí)同等參數(shù)規(guī)模下業(yè)界的較高水平。這為小米積累了多卡分布式訓(xùn)練的經(jīng)驗(yàn)，為后續(xù)開展大規(guī)模語(yǔ)言模型訓(xùn)練奠定了基礎(chǔ)。

小米擁有品類眾多的設(shè)備，是全球規(guī)模領(lǐng)先的消費(fèi)級(jí)物聯(lián)網(wǎng)平臺(tái)。設(shè)備多樣，使用場(chǎng)景也各不相同，一個(gè)大模型難以兼顧。如果把一部分大模型能力下放到端側(cè)，不僅能更好地保護(hù)用戶隱私、而且有機(jī)會(huì)在本地實(shí)現(xiàn)千人千面的個(gè)性化定制。

軟硬結(jié)合，生態(tài)連結(jié)，這是大模型技術(shù)與小米生態(tài)結(jié)合的最優(yōu)方案，讓用戶既可以擁有數(shù)據(jù)安全，又可以擁有大模型的先進(jìn)生產(chǎn)力。因此，“輕量化、本地部署”是小米大模型技術(shù)的主力突破方向。

目前，我們自研的13億參數(shù)的端側(cè)模型已經(jīng)在手機(jī)端跑通，部分場(chǎng)景效果媲美60億模型在云端的運(yùn)算結(jié)果。與早些時(shí)候市場(chǎng)上放出的手機(jī)端大模型的方案相比，小米會(huì)調(diào)整模型結(jié)構(gòu)和參數(shù)大小，適配各種芯片在內(nèi)存和算力上的特點(diǎn)，致力于達(dá)到功耗、推理速度和生成效果的最佳平衡。

數(shù)據(jù)上，我們自己挖掘整理的訓(xùn)練數(shù)據(jù)占比達(dá)到了80%，其中小米自有的產(chǎn)品和業(yè)務(wù)數(shù)據(jù)量達(dá)到3TB。因此我們的大模型最懂小米的產(chǎn)品，最懂小米的業(yè)務(wù)。

結(jié)構(gòu)上，我們根據(jù)對(duì)Transformer結(jié)構(gòu)的理解，融合了自身的實(shí)踐經(jīng)驗(yàn)進(jìn)行改良；并且充分考慮設(shè)備端芯片的特色要求，合理設(shè)置模型的寬度和深度，致力于達(dá)到效率和效果的最佳均衡。

訓(xùn)練策略上，采用小米提出的ScaledAdam優(yōu)化器和Eden學(xué)習(xí)率調(diào)度器，顯著提升收斂速度的同時(shí)減少了優(yōu)化器中顯存的浪費(fèi)。由于模型的知識(shí)容量有限，需要更精巧地安排訓(xùn)練數(shù)據(jù)的順序，使得模型盡可能多地掌握知識(shí)點(diǎn)和技能，減少參數(shù)的浪費(fèi)，以此實(shí)現(xiàn)“輕量化”。

模型部署到端側(cè)后，信息不用上傳到云端，所有計(jì)算都在本地進(jìn)行，可以從根本上保證用戶隱私不被泄露。即使在端云結(jié)合的服務(wù)框架下，隱私信息會(huì)存儲(chǔ)在端側(cè)，涉及它們的計(jì)算也盡可能在端側(cè)完成。即使偶爾需要使用云端的能力，信息也會(huì)經(jīng)過處理和加密。

截至2023年8月10日，小米自研的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型MiLM-6B，參數(shù)規(guī)模為64億，在權(quán)威中文評(píng)測(cè)榜單C-EVAL和CMMLU中位列同等參數(shù)規(guī)模大模型第一。

在C-Eval評(píng)估中，MiLM-6B 的平均分為60.2，總榜單排名第10、同參數(shù)量級(jí)排名第1。

“C-Eval”是由上海交通大學(xué)、清華大學(xué)、愛丁堡大學(xué)共同構(gòu)建的一個(gè)針對(duì)基礎(chǔ)模型的綜合中文評(píng)估套件。它由 13948 道多項(xiàng)選擇題組成，涵蓋 52 個(gè)不同學(xué)科和四個(gè)難度級(jí)別，覆蓋人文、社科、理工，及其他專業(yè)四個(gè)大方向，用以幫助中文社區(qū)研發(fā)大模型。

在CMMLU評(píng)估中，MiLM-6B在Five-shot和Zero-shot 測(cè)試中的平均分分別為57.17和60.37，均位列中文向模型第1。

“CMMLU”是一個(gè)綜合性的中文大模型評(píng)估基準(zhǔn)，涵蓋了從基礎(chǔ)學(xué)科到高級(jí)專業(yè)水平的67個(gè)主題，涉及自然科學(xué)、社會(huì)科學(xué)、人文、以及常識(shí)等，專門用于評(píng)估語(yǔ)言模型在中文語(yǔ)境下的知識(shí)和推理能力。

通過打榜，驗(yàn)證了我們對(duì)特定垂域進(jìn)行定向增強(qiáng)的技術(shù)能夠達(dá)到怎樣的效果，這也是用輕量化模型進(jìn)行業(yè)務(wù)定制的必備能力。雖然小米大模型取得了優(yōu)異的成績(jī)，但我們不會(huì)把榜單排名與用戶體驗(yàn)畫上等號(hào)。好成績(jī)的背后，更重要的還是打磨技術(shù)、沉淀方法論，將它們運(yùn)用到產(chǎn)品，提升用戶體驗(yàn)才是我們的終極目標(biāo)。

科技應(yīng)著眼于解決問題，以需求與應(yīng)用為落點(diǎn)。小米大模型采用“輕量化、本地部署”的方案，能夠更好地解決多場(chǎng)景、個(gè)性化的用戶需求。一方面，大模型本地運(yùn)行無(wú)需擔(dān)心“弱網(wǎng)、無(wú)網(wǎng)”情況，且響應(yīng)速度快，使用穩(wěn)定；另一方面，在提供更加個(gè)性化服務(wù)的同時(shí)，也能夠更好地保護(hù)用戶隱私，讓技術(shù)真正改善用戶體驗(yàn)，讓成績(jī)真正落地有效。

小米作為一家科技公司，將始終堅(jiān)持我們的愿景、價(jià)值觀：讓所有人都能享受科技帶來的美好生活，同時(shí)始終堅(jiān)持技術(shù)為本的鐵律，持續(xù)加大研發(fā)投入。2023年，小米研發(fā)投入預(yù)計(jì)會(huì)超過200億。

此外，截至目前，我們的全球?qū)＠麛?shù)已超過32000+件。質(zhì)量也非常高，在《全球5G標(biāo)準(zhǔn)必要專利及標(biāo)準(zhǔn)提案研究報(bào)告（2023）》中，首次進(jìn)入全球前十，可以說，在榜的企業(yè)，小米是最年輕的，速度最快的！

小米還很年輕，但是在技術(shù)投入與技術(shù)積累上，已經(jīng)走在前列，取得了巨大的進(jìn)展。時(shí)代在不斷變化，小米也在不斷成長(zhǎng)，這一次小米科技戰(zhàn)略升級(jí)，代表著我們不僅要對(duì)現(xiàn)在的生活有貢獻(xiàn)，也要對(duì)人類未來的生活進(jìn)步發(fā)展有貢獻(xiàn)，構(gòu)建我們的核心競(jìng)爭(zhēng)力，成為一家真正偉大的科技公司。

未來，小米將擴(kuò)大模型規(guī)模，不斷探索端云結(jié)合、多模態(tài)融合的大模型解決方案，與小愛同學(xué)、MIUI、IoT、機(jī)器人、汽車等業(yè)務(wù)結(jié)合，提升小愛同學(xué)的理解能力與智能家居指令的識(shí)別能力等，給予用戶更加個(gè)性化的智能體驗(yàn)，按照我們的思路，走出不一樣的道路。

謝謝所有用戶的支持！