北京2023年2月24日 /美通社/ -- 日前,網易伏羲中文預訓練大模型"玉言"登頂中文語言理解權威測評基準CLUE分類任務榜單,在多項任務上超過人類水平。其具備的自然語言處理能力,可應用于語言助手文本創(chuàng)作、新聞傳媒、智能客服等領域。在"玉言"大模型研發(fā)過程中,浪潮信息以高性能、高品質的AI算力服務高效助力網易伏羲團隊相關工作開展。
網易伏羲大模型參數規(guī)模達到百億,開發(fā)過程中對訓練算力的需求非常大,并且需要高效管理模型和算力資源,并按需彈性地使用算力。為了應對這些挑戰(zhàn),網易伏羲與浪潮信息緊密合作,通過采用AI算力服務模式,解決了超大規(guī)模參數大模型所需訓練算力需求,同時還獲得了高質量中文語言數據集的有力支持,開發(fā)效率顯著提升。
本次登頂CLUE分類任務榜單的"玉言"大模型參數達到110億,結構由深層Encoder和淺層Decoder組成。這種結構使得大模型具有優(yōu)秀的理解能力和生成能力,同時方便訓練任務的設計,不需要復雜的掩碼策略。同時,"玉言"具有良好的泛化性,在各類任務上都有著出色的性能。目前,大模型相關技術和成果已應用在網易集團內的文字游戲、智能NPC、文本輔助創(chuàng)作、音樂輔助創(chuàng)作、美術設計、互聯網搜索推薦等業(yè)務場景,取得了顯著的業(yè)務效果。
浪潮信息推出的AI算力服務產品,涵蓋國際和國內領先的4種AI算力產品、經"源"清洗驗證過的語言或多模態(tài)的大模型數據集的2種數據產品、由浪潮"源"專家團隊提供的語言或多模態(tài)的大模型訓練支持的2種算法產品以及AI訓練推理資源管理調度的1種平臺產品。目前,AI算力服務相關信息已在元腦生態(tài)AIStore平臺上線,并提供進一步購買和試用咨詢。