3月11日,由中國人工智能學會(CAAI)主辦,CAAI自然語言理解專委會、達觀數據、真格基金承辦,中國信通院云計算與大數據研究所支持的“ChatGPT及大模型專題研討會”在北京圓滿落幕。大會圍繞ChatGPT和大規模語言模型的發展應用,聚集眾多人工智能專家學者,共同探討前沿技術及產業未來,呈現了一場精彩的思想交流盛宴。研討會通過五大平臺實時線上直播,共吸引線下線上十余萬觀眾收看。
CAAI副監事長、清華大學教授馬少平在致辭中表示,中國人工智能學會希望同業界專家和產業界伙伴深入研討,把握時代脈搏,通過持續創新投入,共同促進中國大規模語言模型產業可持續發展。
中國信通院云計算與大數據研究所所長何寶宏致辭認為,ChatGPT帶來了人工智能技術和應用的新一輪發展熱潮,雖然它離通用人工智能的距離還非常遙遠,但我們應充分認識到借助人工智能技術進行分析、理解、生成的道路是正確的。這對于中國乃至全球人工智能企業而言,既是機遇也是挑戰,希望各方一起攜手并進、共同助力人工智能產業的發展。
演講環節,復旦大學計算機學院教授、MOSS系統負責人邱錫鵬,中國科學院自動化研究所研究員張家俊,CCF自然語言處理專委會秘書長、北大教授萬小軍,達觀數據董事長兼CEO、復旦大學計算機博士陳運文,新浪新技術研發負責人、CIPS理事張俊林等多位人工智能領域專家,從ChatGPT及大規模語言模型的學術發展、應用落地與前景展望三大維度進行了分享。
復旦大學計算機學院教授、MOSS系統負責人邱錫鵬認為,在未來幾年內,ChatGPT不光是以目前Chat的形式,它背后的大型語言模型可能以其他更廣泛的形式融入到我們的生活中。邱錫鵬教授在演講中介紹了ChatGPT的三個關鍵技術:情景學習,思維鏈和指令學習。他認為雖然ChatGPT本身還有很多不足,比如當前形式是語言模型、并不可控、和現實世界沒有關聯等,但是它為通用人工智能給出了清晰的研究發展方向,在此過程中非常重要的是保持模型的可信、有助、無害、誠實。
中國科學院自動化研究所研究員張家俊以ChatGPT中的提示與指令學習為題,從ChatGPT簡要技術回顧、邁向通用性的提示學習、從提示學習到指令學習、相關探索與學習等角度和在場聽眾展開技術分享。大模型主要有兩個方向,一個是“預訓練+參數微調”,就是大模型有了之后針對下游任務進行微調,然后得到一個面向下游任務的大的模型,二是“預訓練+提示學習”,預訓練之后不變,用提示學習激發大模型來完成特定的任務。相關實踐證明,學習提示對于模型性能提升非常有效,怎樣學到或者找到提示語非常關鍵。
CCF自然語言處理專委會秘書長、北大教授萬小軍就自然語言生成評價的若干問題展開分享。他認為評價是指引技術發展的燈塔,也可以作為模型優化目標。當前業界NLG生成人工評價與自動評價在公平性、可重復性、低成本這些指標上都面臨一些問題。利用ChatGPT做NLG的自動評價,在實驗中很多指標上都高于以前模型的結果,也為自動評價帶來了好的可能性。
達觀數據董事長兼CEO、復旦大學計算機博士陳運文以探索大語言模型的垂直化訓練技術和應用為主題,細致分享了達觀數據在垂直領域的語言模型方面的工程化探索,包括:參數規模和數據規模的探索、垂直領域適應預訓練、微調技術探索、提示工程和垂直優化、模型訓練加速思路、模型功能的垂直效能增強等。他認為深化大模型在垂直領域的應用,真正把大模型融入到企業的實際業務中,對于商業化和大語言模型研究都具有重要意義。達觀數據正在研發的垂直領域模型名叫“曹植”,引自曹植七步成詩的典故,希望它作為垂直、專用、國產的GPT模型,未來在各行各業里落地應用,為每個行業賦能。
新浪新技術研發負責人、CIPS理事張俊林針對圍繞大語言模型“涌現能力”的部分質疑展開解析。一個復雜系統是由很多微小個體構成的,這些微小個體湊到一起,如果數量足夠多的時候,在宏觀層面上出現微觀個體無法解釋的特殊現象,這就是所謂的“涌現現象”。張俊林認為,基于當前研究進展,大規模語言模型的涌現能力確實存在,這也賦予我們對大模型的未來發展一個樂觀的預期。涌現能力的存在意味著只要不斷的推高大模型規模,到達某個階段后很多任務效果會得到突然提升。
在圓桌對話環節,CAAI副監事長、清華大學教授馬少平,瀾舟科技創始人兼CEO、中國計算機學會CCF副理事長周明,中國科學院自動化研究所研究員宗成慶,真格基金管理合伙人戴雨森,華為人工智能科學家、北京郵電大學博士楊浩,中國信通院云計算與大數據研究所人工智能部副主任曹峰圍繞“國產‘ChatGPT’和大模型研究現狀與未來發展”的主題展開了深度探討和交流,現場氛圍熱烈。
專家們在討論中對于“國產‘ChatGPT’和大模型的發展方向”達成共識:自然語言處理這一方向比起其他領域,跟海外先進企業的差距要小很多。要平視OpenAI而非神話它,我們面臨的是一個代溝,但不是跨越不了的鴻溝,在追趕到超越的過程中需要給國產模型一些時間。在技術與落地層面,與會專家們認為,ChatGPT帶動了自然語言處理整體上下游以及芯片的思考和發展,某種程度上大模型可能將成為下一代的基礎設施,中國需要有自己的基礎模型體系,來保證安全性、并發性、穩定性等問題。投資界、學術界、產業界要沉住氣,遠離概念炒作,扎扎實實做出成績。