加速大模型應(yīng)用落地最后一公里，AI基礎(chǔ)設(shè)施如何再升級？
AI 大模型熱潮來襲，當(dāng)下，越來越多的大模型在千行百業(yè)中落地應(yīng)用。作為 AI 大模型的“底座”，AI 基礎(chǔ)設(shè)施承載著頂層大模型的建設(shè)，也是大模型應(yīng)用落地的關(guān)鍵。在算力、數(shù)據(jù)和基礎(chǔ)軟件三大 AI 基礎(chǔ)設(shè)施中，算力是驅(qū)動大模型發(fā)展的底層動力，數(shù)據(jù)是訓(xùn)練大模型的信息基礎(chǔ)，基礎(chǔ)軟件則是大模型應(yīng)用落地的主要效率支撐。
6 月 30 日，九章云極DataCanvas 舉辦“New AI · New Data · New Software”主題發(fā)布會，發(fā)布了“AIFS（AI Foundation Software）”、“DataPilot”兩款新系列產(chǎn)品。
在發(fā)布會上，九章云極DataCanvas 董事長方磊提到，“大模型時代需要完整基礎(chǔ)設(shè)施升級，而不是依靠單個大模型解決所有的問題；大模型的落地將解決更困難的問題，引起更深遠(yuǎn)的影響，而它并不比小模型更容易?！?/p>
大模型時代的 AI 技術(shù)依然需要“最后一公里”的結(jié)合。方磊指出，軟件、模型和硬件的統(tǒng)一優(yōu)化空間巨大，是創(chuàng)新最活躍的地方。強(qiáng)大靈活的基礎(chǔ)軟件，開放彈性的白盒模型，精通業(yè)務(wù)的專業(yè)人才，將加速實現(xiàn)最后一公里的跨越。
大模型時代，AI 基礎(chǔ)軟件扮演什么角色？
ChatGPT 的爆火加速 AI 大模型應(yīng)用落地。今年以來，越來越多的企業(yè)涌入 AI 大模型賽道，行業(yè)進(jìn)入“白熱化”競爭狀態(tài)。有不少專家表示，大模型背后的技術(shù)理念早已存在多年，因此 AI 大模型并不存在技術(shù)壁壘。
“現(xiàn)在訓(xùn)練 AI 大模型最大的挑戰(zhàn)主要集中在算力和數(shù)據(jù)層面”，九章云極DataCanvas 副總裁于建崗在接受 InfoQ 采訪時表示，大模型的構(gòu)建本身并沒有不可逾越的基礎(chǔ)鴻溝，主要是基于 Transformer 進(jìn)行構(gòu)建，對企業(yè)而言，如何更好且更有效率地運(yùn)用算力和數(shù)據(jù)才是核心痛點?！按竽Ｐ蛯λ懔Φ男枨缶薮螅瑢τ谥行∑髽I(yè)而言，本身沒有足夠的 GPU 支撐其去搭建大模型。此外，大模型對數(shù)據(jù)的需求量也有一定的要求，中小企業(yè)很難獲得足夠的數(shù)據(jù)訓(xùn)練大模型?！?/p>
在這一背景下，AI 基礎(chǔ)軟件的重要性凸顯。未來隨著算力性能逐漸同質(zhì)化和標(biāo)準(zhǔn)化，數(shù)據(jù)的差異性和企業(yè)需求的個性化逐漸加大，“AI 基礎(chǔ)軟件”將成為模型訓(xùn)練效率和算力使用效率的決定性因素。作為模型生態(tài)系統(tǒng)的中堅力量，AI 基礎(chǔ)軟件將會成為大模型應(yīng)用落地的最主要的效率支撐，并通過大模型+小模型的方式，形成模型訓(xùn)練新范式。
與構(gòu)建傳統(tǒng)應(yīng)用相比，構(gòu)建大模型應(yīng)用的基礎(chǔ)軟件主要解決系統(tǒng)和架構(gòu)層優(yōu)化，通過一系列工具和服務(wù)，幫助企業(yè)快速、高效構(gòu)建上層 AI 應(yīng)用。于建崗表示，“訓(xùn)練大模型需要龐大的計算集群，如何更好的處理集群之間的通信？如何更好的進(jìn)行模型切分？如何更好的利用內(nèi)存和顯存？這些都需要 AI 基礎(chǔ)軟件來解決。AI 大模型時代對基礎(chǔ)軟件最大的訴求就是如何實現(xiàn)模型訓(xùn)練優(yōu)化，包括運(yùn)行時推理效率的優(yōu)化等等。”
模型訓(xùn)練新范式：大模型+小模型
AI 基礎(chǔ)軟件使得 AI 技術(shù)的應(yīng)用更加廣泛和高效，并為各個行業(yè)和領(lǐng)域的發(fā)展提供了強(qiáng)有力的支持。當(dāng)前，企業(yè)對 AI 技術(shù)的關(guān)注度高漲，也為 AI 基礎(chǔ)軟件市場帶來新的增長機(jī)遇。Gartner 預(yù)測，中國的 AI 軟件市場將保持快速增長。預(yù)計未來五年，該市場的營收將從 47.67 億美元增長至 138.58 億美元，年復(fù)合增長率(CAGR)達(dá)到 28%。
“現(xiàn)在，越來越多的企業(yè)意識到 AI 基礎(chǔ)軟件的重要性。九章云極DataCanvas在基礎(chǔ)軟件領(lǐng)域耕耘多年，我們認(rèn)為只要針對企業(yè)在訓(xùn)練和應(yīng)用大模型的過程中的痛點提供切實有效的解決方案，企業(yè)完全可以做出自己的 AI 大模型并且落地本企業(yè)的應(yīng)用?！庇诮◢徴f道。
基于這種認(rèn)知，九章云極DataCanvas 正式發(fā)布了人工智能應(yīng)用構(gòu)建基礎(chǔ)設(shè)施平臺 AIFS（AI Foundation Software），其覆蓋了大模型的訓(xùn)練、精調(diào)、壓縮、部署、推理和監(jiān)控以及小模型的全生命周期過程，為數(shù)據(jù)科學(xué)家、應(yīng)用程序開發(fā)人員和業(yè)務(wù)專家提供了一套工具，使不同角色的人員可以相互協(xié)作，輕松地處理數(shù)據(jù)并使用這些數(shù)據(jù)來開發(fā)、訓(xùn)練和部署任何規(guī)模的模型。
作為人工智能基礎(chǔ)軟件體系，AIFS 主要包括 DataCanvas Alaya 九章元識大模型、DataCanvas APS 機(jī)器學(xué)習(xí)平臺、DataCanvas BAP 面向業(yè)務(wù)自動建模平臺、開源 DAT 自動機(jī)器學(xué)習(xí)軟件、開源 YLearn 因果學(xué)習(xí)軟件等一系列全開放、高自動、高協(xié)同的軟件工具，為用戶自主構(gòu)建全生命周期的“大+小”模型提供一站式支持。
“我們認(rèn)為一個足夠智能的、能夠覆蓋所有小模型的大模型時代還沒有到來，比如在精準(zhǔn)科學(xué)計算和符號推理方面大模型并不比小模型可靠，所以當(dāng)前還是大小模型并存的時代?！痹谟诮◢徔磥恚竽Ｐ涂梢曰趯νㄓ弥R的理解變得更廣泛，也可以通過壓縮或者知識蒸餾，部署到小模型環(huán)境中去替代一部分能力。但整體而言大小模型并存的時代還會延續(xù)一段時間。
九章云極 DataCanvas 董事長方磊也曾在一場演講中表示，盡管大模型當(dāng)前表現(xiàn)優(yōu)異，但對于各行業(yè)使用者來說，實際應(yīng)用于業(yè)務(wù)場景仍然存在較高的技術(shù)和成本門檻。方磊指出，當(dāng)前迎來“大+小”的新紀(jì)元，不僅僅是大模型和小模型的融合使用，大模型的小型化，或者說以大模型為底座的小型化微調(diào)，也是一種趨勢，這種方式能夠以低廉的成本解決大量的問題。
“大和小是一個相對的變化?！碑?dāng)前大模型的參數(shù)標(biāo)準(zhǔn)并不統(tǒng)一，相對于參數(shù)級，模型的效果且是否能夠支持快速迭代對于用戶實際應(yīng)用來說更為重要。用戶能夠在一個白盒大模型基礎(chǔ)上快速地、低成本地微調(diào)和迭代出客制化的小模型，才能高效地實現(xiàn)豐富場景的大模型應(yīng)用。這就再次點明了 AI 基礎(chǔ)軟件工具鏈的重要性。
值得一提的是，本次發(fā)布的 DataCanvas Alaya九章元識大模型，具有“通識+產(chǎn)業(yè)”系列模型矩陣、多模態(tài)大模型、優(yōu)化的訓(xùn)練機(jī)制和友好的開源協(xié)議管理等特點。在開源支持方面，九章元識不僅支持 Apache2.0 協(xié)議，還為用戶提供白盒模型。于建崗強(qiáng)調(diào)，這是公司對產(chǎn)品“開放性”的堅守，旨在為用戶賦予更大自由度的 AI 創(chuàng)新能力，以求加速實現(xiàn)大模型在多元業(yè)務(wù)場景中的應(yīng)用。
數(shù)據(jù)處理新范式：DataPilot
在過去的十幾年，數(shù)據(jù)通常被認(rèn)為是 AI 的原料、基礎(chǔ)要素。而大模型的出現(xiàn)，讓數(shù)據(jù)得到了AI的反向賦能。
利用 DataCanvas Alaya 九章元識大模型的通用文本的理解和生成能力以及在數(shù)據(jù)領(lǐng)域的微調(diào)優(yōu)化，九章云極DataCanvas 發(fā)布了數(shù)據(jù)處理新范式——DataPilot 數(shù)據(jù)領(lǐng)航員，可以幫助用戶實現(xiàn)數(shù)據(jù)在建模全生命周期的智能化與自動化。
九章云極 DataCanvas 公司副總裁周曉凌介紹，DataPilot 的特性包括多?！跋蛄亢！睌?shù)據(jù)架構(gòu)，按需自動化數(shù)據(jù)集成、代碼生成、流程編排和分析計算，以及基于自然語言的數(shù)據(jù)獲取、分析和機(jī)器學(xué)習(xí)建模能力。DataPilot 能夠大幅降低數(shù)據(jù)集成、治理、建模、計算、查詢、分析、機(jī)器學(xué)習(xí)建模全鏈路的技術(shù)門檻，降低數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展的成本，加快數(shù)字化創(chuàng)新的進(jìn)程。
基于“向量?！崩砟?，DataPilot 所包含的 DataCanvas RT 實時決策中心平臺、開源 DingoDB 多模向量數(shù)據(jù)庫等各類數(shù)據(jù)軟件，讓用戶具備 AI 技術(shù)突破情況下亟需的實時、多模態(tài)的數(shù)據(jù)能力。
其中，DingoDB 作為一款開源的多模態(tài)向量數(shù)據(jù)庫，將是向量海時代的強(qiáng)大引擎。它結(jié)合了數(shù)據(jù)湖和向量數(shù)據(jù)庫的特性，支持存儲任何類型（鍵值、PDF、音頻、視頻等）和任何大小的數(shù)據(jù)。通過 DingoDB，用戶可以構(gòu)建專屬的數(shù)據(jù)“向量?！?，不論是結(jié)構(gòu)化還是非結(jié)構(gòu)化數(shù)據(jù)，僅通過 1 套 SQL 即可完成多模態(tài)數(shù)據(jù)的分析與科學(xué)計算。
“未來，AI 基礎(chǔ)軟件的發(fā)展會更加多樣化，模型之間的數(shù)據(jù)交換也會更加頻繁，也許會產(chǎn)生新的連接方式與生態(tài)。此外，在國家戰(zhàn)略與政策推動下，未來可能會出現(xiàn)一些相對統(tǒng)一化的模型，這些都會驅(qū)動 AI 基礎(chǔ)設(shè)施進(jìn)一步升級?！敝軙粤枵f道。
