9月4日，“天翼云息壤——大模型訓(xùn)推一體化服務(wù)能力升級”線上發(fā)布會成功舉辦。會上，息壤平臺訓(xùn)推服務(wù)能力重磅升級，新增閉源、多模態(tài)基座大模型以及數(shù)據(jù)集，支持萬卡規(guī)模訓(xùn)練，訓(xùn)練穩(wěn)定性再次提升，新增體驗(yàn)空間，為基礎(chǔ)大模型訓(xùn)練、行業(yè)大模型訓(xùn)推提供一站式解決方案。天翼云多位專家與合作伙伴代表發(fā)表精彩演講，共探人工智能大模型的發(fā)展趨勢與挑戰(zhàn)，并對平臺升級后的能力與優(yōu)勢，以及在醫(yī)療領(lǐng)域的賦能實(shí)踐進(jìn)行了深度解讀。

平臺全新升級，提供穩(wěn)定高效的大模型訓(xùn)推一體化服務(wù)

我國大模型已進(jìn)入快速發(fā)展階段，但大模型的研發(fā)與推廣仍然面臨一定的壓力和挑戰(zhàn)，呈現(xiàn)出“基礎(chǔ)豐富，應(yīng)用不足”的特點(diǎn)。一方面，大模型的訓(xùn)練和應(yīng)用需要大量的高質(zhì)量數(shù)據(jù)，當(dāng)前我國數(shù)據(jù)資源有限且分散，導(dǎo)致模型訓(xùn)練效果并不理想；另一方面，模型的參數(shù)量和計(jì)算復(fù)雜度持續(xù)增加，對算力的需求以幾何級數(shù)增長。行業(yè)亟需更加高效、集約化的智算平臺的支撐，以驅(qū)動國產(chǎn)大模型高質(zhì)量發(fā)展與產(chǎn)業(yè)化應(yīng)用。

天翼云智算產(chǎn)品線總監(jiān)張安發(fā)表示，升級后的平臺專為應(yīng)對大參數(shù)大模型、行業(yè)模型應(yīng)用所帶來的挑戰(zhàn)而設(shè)計(jì)，它提供了一個(gè)全棧式的服務(wù)，旨在簡化大模型從訓(xùn)練到部署的整個(gè)流程。平臺新增了開閉源大模型、多模態(tài)大模型，供用戶靈活選擇，模型數(shù)量處于國內(nèi)領(lǐng)先水平；新增上線專業(yè)的大模型數(shù)據(jù)集，用戶可直接將數(shù)據(jù)用于大模型訓(xùn)練、推理任務(wù)中，實(shí)現(xiàn)了算法、算力、數(shù)據(jù)三要素的融合；新增體驗(yàn)中心，用戶可直接在線互動體驗(yàn)；打造了全鏈路故障感知和恢復(fù)、全鏈路日志監(jiān)控工具，突破斷點(diǎn)續(xù)訓(xùn)等核心技術(shù)，使全鏈路監(jiān)控訓(xùn)練更穩(wěn)定。

隨著模型參數(shù)量從千億邁向萬億，大模型對底層算力的訴求進(jìn)一步升級，萬卡甚至超萬卡集群已經(jīng)成為大模型產(chǎn)業(yè)發(fā)展的剛需，同時(shí)對訓(xùn)練穩(wěn)定性要求極高。根據(jù)公開報(bào)道，Llama3.1-405B原生訓(xùn)練耗時(shí)持續(xù)54天，累計(jì)發(fā)生419次故障，平均每3小時(shí)產(chǎn)生一次。天翼云智算產(chǎn)品線專家范順國介紹，天翼云訓(xùn)推服務(wù)平臺是國內(nèi)首個(gè)實(shí)現(xiàn)公有云國產(chǎn)化萬卡訓(xùn)練的平臺，能夠?yàn)槿f億參數(shù)級別大模型訓(xùn)練提供一體化方案。天翼云在北京萬卡池完成了Llama3-405B（4000億參數(shù)）大模型的訓(xùn)練，700億參數(shù)模型Llama2-70B在萬卡規(guī)模下順利拉起并完成訓(xùn)練，MFU達(dá)到43%，在業(yè)界達(dá)到了領(lǐng)先水平。天翼云優(yōu)化斷點(diǎn)續(xù)訓(xùn)技術(shù)，在Llama2-70B模型訓(xùn)練中，實(shí)現(xiàn)秒級故障檢測，分鐘級定位并處理故障，分鐘級訓(xùn)練恢復(fù)，這一性能已達(dá)到行業(yè)前沿水平。

此外，基于平臺能力，天翼云聯(lián)合伙伴上線了魔樂（Modelers）開發(fā)者社區(qū)，通過整合優(yōu)質(zhì)中文AI資源、提供極致易用的工具鏈，以及國產(chǎn)化算力使能，端到端支持AI應(yīng)用開發(fā)全流程，助力孵化國產(chǎn)原生模型。

三種交付形態(tài)+兩大應(yīng)用場景，助力企業(yè)加速AI應(yīng)用落地

AI技術(shù)加速融入各行各業(yè)，大模型的應(yīng)用前景也愈加廣闊。天翼云息壤一體化智算服務(wù)平臺從行業(yè)及客戶需求出發(fā)，在技術(shù)與能力的不斷迭代升級中使能企業(yè)制勝AI時(shí)代。

天翼云智算產(chǎn)品線專家夏曼雪對平臺功能進(jìn)行了詳細(xì)演示。平臺支持公有云、混合云和輕量化三種交付形態(tài)。其中，公有云版本即開即用、計(jì)費(fèi)靈活，支持按卡時(shí)計(jì)費(fèi)、包周期計(jì)費(fèi)；混合云版本支持千卡規(guī)模的私有化項(xiàng)目交付；輕量化版本支持天翼云A100云主機(jī)、H800/A100/A800/A10裸金屬服務(wù)器、物理機(jī)等硬件形態(tài)交付部署，靈活便捷。

場景應(yīng)用方面，平臺主要面向兩類客戶場景。一是具備深厚行業(yè)知識、擁有自主數(shù)據(jù)的行業(yè)客戶，如政務(wù)、金融機(jī)構(gòu)、汽車、媒體、旅游等行業(yè)。依托零代碼平臺和豐富的開閉源大模型，客戶無需掌握算法編程即可完成模型的調(diào)優(yōu)和API調(diào)用，從而加速大模型從概念到落地的進(jìn)程。二是擁有很強(qiáng)的算法能力，但在智算集群的管理運(yùn)維方面經(jīng)驗(yàn)不足的大模型廠商。平臺為這類用戶提供專業(yè)的開發(fā)和運(yùn)維工具，實(shí)現(xiàn)大規(guī)模分布式訓(xùn)練和斷點(diǎn)續(xù)訓(xùn)能力，在保障穩(wěn)定性的同時(shí)，通過構(gòu)建AI加速引擎助力用戶提升算力利用率。

目前，天翼云已服務(wù)多個(gè)客戶的訓(xùn)推場景，助力行業(yè)大模型訓(xùn)推更便捷、更高效、更穩(wěn)定安全。中國中醫(yī)科學(xué)院中醫(yī)藥信息研究所（簡稱“中醫(yī)藥信息研究所”）所長特聘助理朱彥分享了與天翼云合作開展中醫(yī)藥大模型的探究與實(shí)踐，通過與天翼云合作，中醫(yī)藥信息研究所獲得了更加穩(wěn)定和高效的計(jì)算支持。借助天翼云大模型學(xué)習(xí)機(jī)，搭建低代碼服務(wù)平臺，中醫(yī)藥信息研究所高效完成了文獻(xiàn)和臨床數(shù)據(jù)的治理工作，包括自動抽取、標(biāo)準(zhǔn)化等任務(wù)。此外，在中醫(yī)垂類大模型的微調(diào)、應(yīng)用發(fā)布方面，平臺將提供算法支持和模型優(yōu)化工具，幫助客戶充分挖掘中醫(yī)藥數(shù)據(jù)的內(nèi)在價(jià)值。雙方合作與探索，不僅進(jìn)一步加速了中醫(yī)大模型的研究和應(yīng)用，以及中醫(yī)藥的現(xiàn)代化進(jìn)程，也將為全球健康事業(yè)的發(fā)展作出重要貢獻(xiàn)。

伴隨以大模型為核心的人工智能技術(shù)的快速發(fā)展，各行各業(yè)正經(jīng)歷著一場前所未有的智能化轉(zhuǎn)型浪潮。作為云服務(wù)國家隊(duì)，天翼云將持續(xù)聚焦人工智能場景進(jìn)行技術(shù)創(chuàng)新，積極加碼布局智算基礎(chǔ)設(shè)施，賦能企業(yè)跑出“AI加速度”，攜手合作伙伴共同推動經(jīng)濟(jì)社會智能化水平邁向新高度。