橫跨化學(xué)、材料等核心學(xué)科

中化新網(wǎng)訊 2月4日，上海人工智能實(shí)驗(yàn)室宣布，開源全球首個(gè)基于“通專融合”架構(gòu)的萬億參數(shù)科學(xué)多模態(tài)大模型——Intern（書生）-S1-Pro。

據(jù)介紹，書生萬億科學(xué)大模型構(gòu)建橫跨化學(xué)、材料、生命、地球、物理等五大核心學(xué)科的全譜系能力矩陣，涵蓋100多個(gè)專業(yè)子任務(wù)。例如，在基礎(chǔ)理解維度，該大模型能夠精準(zhǔn)解析復(fù)雜的分子結(jié)構(gòu)圖和各類實(shí)驗(yàn)圖表；在邏輯推理層面，該大模型能夠開展理化性質(zhì)預(yù)測(cè)，捕捉數(shù)據(jù)背后的因果規(guī)律等。

同時(shí)，書生萬億科學(xué)大模型采用了創(chuàng)新的混合專家架構(gòu)（MoE）。這種“按需點(diǎn)將”機(jī)制，使這個(gè)萬億模型只需要激活大約2%的參數(shù)（220億），就可以從容應(yīng)對(duì)復(fù)雜數(shù)理邏輯推理。目前，包括大語言模型、多模態(tài)模型、強(qiáng)推理模型在內(nèi)的書生系列大模型及全鏈路開發(fā)工具在內(nèi)的開源體系，已吸引全球數(shù)十萬開發(fā)者參與。

據(jù)上海人工智能實(shí)驗(yàn)室介紹，在基礎(chǔ)研究層面，他們借助“路由稠密估計(jì)”“分組路由”等策略，能像智能交通系統(tǒng)一樣對(duì)海量的計(jì)算芯片負(fù)載進(jìn)行均衡，再加上算法與系統(tǒng)的協(xié)同創(chuàng)新，從而攻克超大規(guī)模模型訓(xùn)練在“學(xué)習(xí)效率”和“資源調(diào)度”上的瓶頸。上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家周伯文指出，“通專結(jié)合”是實(shí)現(xiàn)通用人工智能（AGI）的可行方案。此次開源的書生萬億科學(xué)大模型，就通過一系列底層創(chuàng)新為這一構(gòu)想的落地提供了現(xiàn)實(shí)路徑。

未來，隨著理解與推理能力的增強(qiáng)，該模型的“能力邊界”還將進(jìn)一步向真實(shí)的科研場(chǎng)景延伸。據(jù)上海人工智能實(shí)驗(yàn)室介紹，其應(yīng)用范圍將從微觀的化學(xué)逆合成、蛋白質(zhì)序列生成，拓展到宏觀尺度的遙感圖像分析等復(fù)雜任務(wù)。