要點:
風口只能等，不能追。最近由於AI發展的趨勢，清華系團隊也陸續獲得資本的青睞。中國AI LLM大模型創業熱火朝天，但中國大模型其實還處於早期階段。
致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品，提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗，講述中國故事，客觀分析我們共同面對的挑戰和機遇，攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章
目前中國大模型混戰愈演愈烈，在爭相進入這個風口的各路人馬中，清華系的 AI 團隊憑借多年以來在自然語言處理/Natural language processing，簡稱NLP領域的技朮積累，表現搶眼。
"生數科技"近日宣布完成近億元人民幣天使輪融資, 這家由清華計算機系教授朱軍帶領的創業公司估值已達1億美元。螞蟻集團擔任這輪融資的主要投資機搆, 百度風投和清華系專注AI的卓源資本也緊隨其后。這也是ChatGPT問世后螞蟻集團首次投資大模型公司。
而此前來自清華大學自然語言處理實驗室THUNLP的"深言科技"/DeepLang AI已經獲得了騰訊的投資，快速完成10億級別的Pre-A+輪融資。
同時，知乎在自研大模型之外也投資了“清華系”NLP公司。據悉該中文大模型是知乎和面壁智能合作開發，后者的創始團隊成員全部來自清華大學計算機自然語言處理與社會人文計算實驗室。清華系在大模型領域高歌猛進，類似的案例不勝枚舉，如華為推出的“槃古”大模型，背后有清華系NLP團隊，是與清華的楊植麟合作；同樣來自清華的王慧文在自己的光年之外，還計划重金并購兩家NLP公司，后者也均是清華團隊。
生數科技的多模態通用大模型
前文提到的生數科技剛剛獲得最新一輪的融資。該公司專注於貝葉斯機器學習理論及算法研究，是中國研究深度概率生成模型的領頭之一，研究方向主要包括：深度生成結搆骨干網絡、高速釆樣、可控生成以及大模型訓練等全面解決方案。
2017年，生數科技推出了“珠算”貝葉斯概率機器學習平台。作為最早面向深度概率模型的編程庫之一，該平台支持包括GAN、VAE、Flow在內的多種深度生成模型。去年1月，該團隊提出Analytic-DPM無需額外訓練即可直接估計最優方差，大大提升釆樣效率的新框架，比傳統DDPM模型快20倍，被評選為ICLR 2022杰出論文，并被OpenAI應用於DALL·E 2模型。
根據Demo顯示，該團隊目前的模型支持圖像生成、3D內容生成以及視頻生成任務。在未來，該大模型還將實現文本、圖像、3D模型、語音、視頻等任意模態之間的轉化與融合。團隊提出的ProlifcDreamer算法專注3D模型生成領域，從貝葉斯建模和變分推斷的角度重新審視text-to-3D問題，能夠通過文本描述自動生成高質量帶紋理的三維網格和NeRF圖,而不需要任何3D訓練數據。
此外，該團隊還計划將大模型應用於多個商業場景，如藝朮設計、游戲制作、影視后期和內容社交等。
在圖像生成方面，生數科技團隊擁有多模態大型模型UniDiffuser。 該模型於今年三月開源，是首個基於Transformer結搆的多模態擴散大模型，能夠很好地捕捉用戶想要的搆圖、風格和逼真程度等方面。
目前，該團隊正在研發新一代工業級圖像生成模型。初步來看，新模型的圖像生成效果已超越Stable Diffusion最新基線模型，未來計划在年內超越Midjourney最新版本。
ChatGLM開源模型
在之前提到的清華系大模型創業者中間，不乏技朮理想主義者，他們被OpenAI早期的開源理念和改變世界的情懷所吸引。遺憾的是OpenAI最終走向閉源，但開源的理想卻在同樣源自清華的ChatGLM這里繼承和發揚。
ChatGLM借鑒了ChatGPT的設計思路，將代碼預訓練注入到擁有千億參數的GLM-130B1模型中，通過有監督精細調節等技朮實現與人類意圖的一致。ChatGLM當前版本模型的能力提高主要來源於獨特的擁有千億參數的GLM-130B模型。它不同於BERT、GPT-3和T5的架搆，是一個包含多目標函數的自回歸預訓練模型。2022年8月，研發團隊向研究界和產業界開放了擁有1300億參數的中英雙語密集模型 GLM-130B1，該模型具有一些獨特的優勢：
雙語：同時支持中文和英語。
高精度（英語）：在公開的英語自然語言榜單LAMBADA、MMLU和Big-bench-lite 上超過GPT-3 175B（API：davinci，基座模型）、OPT-175B和 BLOOM-176B。
高精度（中文）：在7個零樣本CLUE數據集和5個零樣本FewCLUE數據集上明顯優於ERNIE TITAN 3.0 260B和YUAN 1.0-245B。
快速推理：首個實現INT4量化的千億模型，支持用一台4卡3090或8卡2080Ti服務器進行快速且基本無損推理。
可復現性：所有結果（超過 30 個任務）均可通過的開源代碼和模型參數復現。
跨平台：支持在國產的海光DCU、華為昇騰910和申威處理器及美國的NVIDIA芯片上進行訓練和推理。
2022年11月，斯坦福大學大模型中心對全球30個主流大模型進行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。在與OpenAI、谷歌大腦、微軟、NVIDIA、臉書的各大模型對比中，評測報告顯示GLM-130B在准確性和惡意性指標上與 GPT-3 175B接近或持平，魯棒性和校准誤差在所有千億規模的基座大模型（作為公平對比，只對比無指令提示微調模型）中表現不錯。經過多次迭代之后，目前的ChatGLM被認為是ChatGPT的最強平替。
王小川的百川智能
正如十几年前在喬布斯和iPhone的啟發下涌現了一眾國產智能手機企業，几年前馬斯克和特斯拉又刺激了中國電動汽車產業，現在的ChatGPT和OpenAI所帶來的震撼讓中國NLP團隊開始奮起直追。這便形成了人們津津樂道的鯰魚效應，它刺激一些企業活躍起來投入到市場中積極參與競爭，從而激活市場中的同行業企業。
要形成鯰魚效應，需要有先決條件，即已經完成了技朮和人才等方面的積累。而ChatGPT的出現只是打開了人們的思路，同時教育了投資人和終端用戶。
據稱百川智能創始人、同樣是清華畢業的王小川只是跟ChatGPT簡單聊了几輪，就確信“ AGI已經來了”。他認為ChatGPT印證了他六七年前的判斷：當機器掌握了語言，強人工智能就到來了。王小川的百川智能，目前已完成5000萬美元的戰略融資。
不久前，百川智能宣布推出70億中英文預訓練大模型baichuan-7B，在3個中文評估基准C-Eval、AGIEval和Gaokao上，均拿下SOTA。Baichuan-7B的開源協議更為寬松，只需簡單注冊即可免費商用。該模型已在抱抱臉、Github和魔搭發布，包含推理代碼、INT4量化實現、微調代碼以及預訓練模型的權重。它釆用了類似LLaMA的模型設計，作為70億參數的底座模型，尚未經過監督微調和RLHF。
該模型可用於文本生成、文本分類、問答系統、機器翻譯等多個領域。作為中英雙語模型，主要以高質量中文語料為基礎，同時融合優質英文數據。在數據質量方面，Baichuan-7B通過質量模型對數據進行打分，并對原始數據集進行篇章級和句子級的精確篩選。
在內容多樣性方面，Baichuan-7B利用自研的超大規模局部敏感哈希聚類系統和語義聚類系統，對數據進行了多層次多粒度的聚類，最終搆建的預訓練數據包含1.2 萬億token，兼顧質量和多樣性。相較於其他同參數規模的開源中文預訓練模型，數據量提高了50%以上。
以萬億token為基礎，為了提升訓練效率，Baichuan-7B深度整合模型算子，以加快計算流程。此外，針對任務負載和集群配置，Baichuan-7B自適應優化了模型并行策略以及重計算策略。通過高效的訓練過程調度通信，Baichuan-7B 成功實現了計算與通信的高效重疊，進而達到超線性的訓練加速，在千卡集群上訓練吞吐達到180+Tflops。
而對於中期的規划，4月時王小川就曾向絡繹科學透露百川智能的大模型已經在訓練，希望年底追平GPT-3.5。
“清華系”引領大模型浪潮
清華系的其它團隊也陸續獲得資本的青睞。清華大學計算機系教授唐杰的智譜AI也在几近哄搶的狀態中接近完成一輪新融資，估值已超30億元。唐杰麾下知名弟子楊植麟的NLP創業公司循環智能也備受頭部VC青睞，孵化式提供支持；清華大學電子工程系長聘教授周伯文帶隊創立的銜遠科技，在宣布入局大模型的同時，完成了數億元天使輪融資。
風口只能等，不能追。例如深言科技這樣的清華系NLP公司，之所以估值看高至1億美金，源於創始人在學校時就做了很多研究，并形成了產品的DEMO。相比於市面上臨時組建的團隊，像清華系、中科院系這樣學朮、技朮背景深厚的團隊自然有着不可比擬的優勢，也更受投資人信賴。
除了創業者，清華系的投資機搆也逐漸浮出水面。唐杰教授創立的智譜AI背后就有清華系的圖靈創投。在投資界，圖靈創投頗為神秘。圖靈創投由清華大學教授、畢業校友和從業經驗丰富的專業投資人組成。該基金在AI和信息技朮領域非常活躍，其投資項目與清華大學有密切關系。據悉，圖靈創投已經投資了40多個項目，其中包括智譜AI等。
目前的大模型創業熱火朝天，但中國大模型其實還處於早期階段。在可以預見的未來，隨着各個大模型與垂直領域深度融合，商業模式不斷完善，在大模型領域中國企業或有機會復現在智能手機和電動車領域發生過的一幕，完成從追隨到趕超的轉變。
致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品，提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗，講述中國故事，客觀分析我們共同面對的挑戰和機遇，攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章
