報(bào)告題目:預(yù)訓(xùn)練大模型及其在垂直領(lǐng)域的微調(diào)應(yīng)用——以XiHeFusion大模型為例
報(bào)告時(shí)間:2月19日(周三)下午13:50-15:30
報(bào)告地點(diǎn):控制大廳3樓會(huì)議室
報(bào)告人:王逍(安徽大學(xué))、楊清泉
報(bào)告內(nèi)容簡(jiǎn)介:
預(yù)訓(xùn)練大模型在自然語言處理(NLP)領(lǐng)域取得了顯著進(jìn)展,通過在大規(guī)模文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練,這些模型能夠捕捉到豐富的語義信息,并在各種下游任務(wù)中展現(xiàn)出強(qiáng)大的泛化能力。近期,在國(guó)家自然科學(xué)基金區(qū)域創(chuàng)新發(fā)展聯(lián)合基金的支持下,來自中國(guó)科學(xué)院等離子體物理研究所、安徽大學(xué)、清華大學(xué)三方的研究團(tuán)隊(duì)通力合作,發(fā)展出XiHeFusion/曦核啟明——可用于核聚變科普及基礎(chǔ)知識(shí)學(xué)習(xí)的對(duì)話大模型。它不僅是核聚變領(lǐng)域的AI助手,也可用作科學(xué)傳播的橋梁。本報(bào)告旨在探討預(yù)訓(xùn)練大模型的發(fā)展現(xiàn)狀、技術(shù)特點(diǎn)以及它們?nèi)绾瓮ㄟ^特定領(lǐng)域的微調(diào)來滿足不同行業(yè)的需求,并重點(diǎn)介紹XiHeFusion大模型的開發(fā)背景、技術(shù)架構(gòu)及其在核聚變領(lǐng)域中的潛在應(yīng)用。