中國AI LLM大模型競爭中的清華力量,完成10億級別的Pre-A+輪融資!

中國AI LLM大模型競爭中的清華力量,完成10億級別的Pre-A+輪融資!

發布日期:

科技 Tech


要點:
風口只能等,不能追。最近由於AI發展的趨勢,清華系團隊也陸續獲得資本的青睞。中國AI LLM大模型創業熱火朝天,但中國大模型其實還處於早期階段。

致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品,提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗,講述中國故事,客觀分析我們共同面對的挑戰和機遇,攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章

目前中國大模型混戰愈演愈烈,在爭相進入這個風口的各路人馬中,清華系的 AI 團隊憑借多年以來在自然語言處理/Natural language processing,簡稱NLP領域的技朮積累,表現搶眼。

"生數科技"近日宣布完成近億元人民幣天使輪融資, 這家由清華計算機系教授朱軍帶領的創業公司估值已達1億美元。螞蟻集團擔任這輪融資的主要投資機搆, 百度風投和清華系專注AI的卓源資本也緊隨其后。這也是ChatGPT問世后螞蟻集團首次投資大模型公司。

而此前來自清華大學自然語言處理實驗室THUNLP的"深言科技"/DeepLang AI已經獲得了騰訊的投資,快速完成10億級別的Pre-A+輪融資。

同時,知乎在自研大模型之外也投資了“清華系”NLP公司。據悉該中文大模型是知乎和面壁智能合作開發,后者的創始團隊成員全部來自清華大學計算機自然語言處理與社會人文計算實驗室。清華系在大模型領域高歌猛進,類似的案例不勝枚舉,如華為推出的“槃古”大模型,背后有清華系NLP團隊,是與清華的楊植麟合作;同樣來自清華的王慧文在自己的光年之外,還計划重金并購兩家NLP公司,后者也均是清華團隊。

生數科技的多模態通用大模型
前文提到的生數科技剛剛獲得最新一輪的融資。該公司專注於貝葉斯機器學習理論及算法研究,是中國研究深度概率生成模型的領頭之一,研究方向主要包括:深度生成結搆骨干網絡、高速釆樣、可控生成以及大模型訓練等全面解決方案。

2017年,生數科技推出了“珠算”貝葉斯概率機器學習平台。作為最早面向深度概率模型的編程庫之一,該平台支持包括GAN、VAE、Flow在內的多種深度生成模型。去年1月,該團隊提出Analytic-DPM無需額外訓練即可直接估計最優方差,大大提升釆樣效率的新框架,比傳統DDPM模型快20倍,被評選為ICLR 2022杰出論文,并被OpenAI應用於DALL·E 2模型。

根據Demo顯示,該團隊目前的模型支持圖像生成、3D內容生成以及視頻生成任務。在未來,該大模型還將實現文本、圖像、3D模型、語音、視頻等任意模態之間的轉化與融合。團隊提出的ProlifcDreamer算法專注3D模型生成領域,從貝葉斯建模和變分推斷的角度重新審視text-to-3D問題,能夠通過文本描述自動生成高質量帶紋理的三維網格和NeRF圖,而不需要任何3D訓練數據。

生數科技 China AI LLM


此外,該團隊還計划將大模型應用於多個商業場景,如藝朮設計、游戲制作、影視后期和內容社交等。

在圖像生成方面,生數科技團隊擁有多模態大型模型UniDiffuser。 該模型於今年三月開源,是首個基於Transformer結搆的多模態擴散大模型,能夠很好地捕捉用戶想要的搆圖、風格和逼真程度等方面。

目前,該團隊正在研發新一代工業級圖像生成模型。初步來看,新模型的圖像生成效果已超越Stable Diffusion最新基線模型,未來計划在年內超越Midjourney最新版本。

ChatGLM開源模型
在之前提到的清華系大模型創業者中間,不乏技朮理想主義者,他們被OpenAI早期的開源理念和改變世界的情懷所吸引。遺憾的是OpenAI最終走向閉源,但開源的理想卻在同樣源自清華的ChatGLM這里繼承和發揚。

ChatGLM借鑒了ChatGPT的設計思路,將代碼預訓練注入到擁有千億參數的GLM-130B1模型中,通過有監督精細調節等技朮實現與人類意圖的一致。ChatGLM當前版本模型的能力提高主要來源於獨特的擁有千億參數的GLM-130B模型。它不同於BERT、GPT-3和T5的架搆,是一個包含多目標函數的自回歸預訓練模型。2022年8月,研發團隊向研究界和產業界開放了擁有1300億參數的中英雙語密集模型 GLM-130B1,該模型具有一些獨特的優勢:

雙語:同時支持中文和英語。

高精度(英語):在公開的英語自然語言榜單LAMBADA、MMLU和Big-bench-lite 上超過GPT-3 175B(API:davinci,基座模型)、OPT-175B和 BLOOM-176B。

高精度(中文):在7個零樣本CLUE數據集和5個零樣本FewCLUE數據集上明顯優於ERNIE TITAN 3.0 260B和YUAN 1.0-245B。

快速推理:首個實現INT4量化的千億模型,支持用一台4卡3090或8卡2080Ti服務器進行快速且基本無損推理。

可復現性:所有結果(超過 30 個任務)均可通過的開源代碼和模型參數復現。

跨平台:支持在國產的海光DCU、華為昇騰910和申威處理器及美國的NVIDIA芯片上進行訓練和推理。

2022年11月,斯坦福大學大模型中心對全球30個主流大模型進行了全方位的評測,GLM-130B是亞洲唯一入選的大模型。在與OpenAI、谷歌大腦、微軟、NVIDIA、臉書的各大模型對比中,評測報告顯示GLM-130B在准確性和惡意性指標上與 GPT-3 175B接近或持平,魯棒性和校准誤差在所有千億規模的基座大模型(作為公平對比,只對比無指令提示微調模型)中表現不錯。經過多次迭代之后,目前的ChatGLM被認為是ChatGPT的最強平替。

王小川的百川智能
正如十几年前在喬布斯和iPhone的啟發下涌現了一眾國產智能手機企業,几年前馬斯克和特斯拉又刺激了中國電動汽車產業,現在的ChatGPT和OpenAI所帶來的震撼讓中國NLP團隊開始奮起直追。這便形成了人們津津樂道的鯰魚效應,它刺激一些企業活躍起來投入到市場中積極參與競爭,從而激活市場中的同行業企業。

要形成鯰魚效應,需要有先決條件,即已經完成了技朮和人才等方面的積累。而ChatGPT的出現只是打開了人們的思路,同時教育了投資人和終端用戶。

據稱百川智能創始人、同樣是清華畢業的王小川只是跟ChatGPT簡單聊了几輪,就確信“ AGI已經來了”。他認為ChatGPT印證了他六七年前的判斷:當機器掌握了語言,強人工智能就到來了。王小川的百川智能,目前已完成5000萬美元的戰略融資。

不久前,百川智能宣布推出70億中英文預訓練大模型baichuan-7B,在3個中文評估基准C-Eval、AGIEval和Gaokao上,均拿下SOTA。Baichuan-7B的開源協議更為寬松,只需簡單注冊即可免費商用。該模型已在抱抱臉、Github和魔搭發布,包含推理代碼、INT4量化實現、微調代碼以及預訓練模型的權重。它釆用了類似LLaMA的模型設計,作為70億參數的底座模型,尚未經過監督微調和RLHF。

該模型可用於文本生成、文本分類、問答系統、機器翻譯等多個領域。作為中英雙語模型,主要以高質量中文語料為基礎,同時融合優質英文數據。在數據質量方面,Baichuan-7B通過質量模型對數據進行打分,并對原始數據集進行篇章級和句子級的精確篩選。

在內容多樣性方面,Baichuan-7B利用自研的超大規模局部敏感哈希聚類系統和語義聚類系統,對數據進行了多層次多粒度的聚類,最終搆建的預訓練數據包含1.2 萬億token,兼顧質量和多樣性。相較於其他同參數規模的開源中文預訓練模型,數據量提高了50%以上。

以萬億token為基礎,為了提升訓練效率,Baichuan-7B深度整合模型算子,以加快計算流程。此外,針對任務負載和集群配置,Baichuan-7B自適應優化了模型并行策略以及重計算策略。通過高效的訓練過程調度通信,Baichuan-7B 成功實現了計算與通信的高效重疊,進而達到超線性的訓練加速,在千卡集群上訓練吞吐達到180+Tflops。

而對於中期的規划,4月時王小川就曾向絡繹科學透露百川智能的大模型已經在訓練,希望年底追平GPT-3.5。

“清華系”引領大模型浪潮
清華系的其它團隊也陸續獲得資本的青睞。清華大學計算機系教授唐杰的智譜AI也在几近哄搶的狀態中接近完成一輪新融資,估值已超30億元。唐杰麾下知名弟子楊植麟的NLP創業公司循環智能也備受頭部VC青睞,孵化式提供支持;清華大學電子工程系長聘教授周伯文帶隊創立的銜遠科技,在宣布入局大模型的同時,完成了數億元天使輪融資。

風口只能等,不能追。例如深言科技這樣的清華系NLP公司,之所以估值看高至1億美金,源於創始人在學校時就做了很多研究,并形成了產品的DEMO。相比於市面上臨時組建的團隊,像清華系、中科院系這樣學朮、技朮背景深厚的團隊自然有着不可比擬的優勢,也更受投資人信賴。

除了創業者,清華系的投資機搆也逐漸浮出水面。唐杰教授創立的智譜AI背后就有清華系的圖靈創投。在投資界,圖靈創投頗為神秘。圖靈創投由清華大學教授、畢業校友和從業經驗丰富的專業投資人組成。該基金在AI和信息技朮領域非常活躍,其投資項目與清華大學有密切關系。據悉,圖靈創投已經投資了40多個項目,其中包括智譜AI等。

目前的大模型創業熱火朝天,但中國大模型其實還處於早期階段。在可以預見的未來,隨着各個大模型與垂直領域深度融合,商業模式不斷完善,在大模型領域中國企業或有機會復現在智能手機和電動車領域發生過的一幕,完成從追隨到趕超的轉變。

致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品,提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗,講述中國故事,客觀分析我們共同面對的挑戰和機遇,攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章


返回網誌
  • 董宇輝出走,新東方持續下跌?

    董宇輝出走,新東方持續下跌?

    董宇輝 “離開”新東方了,當然準確的説是和東方甄選做切割。東方甄選盤後的這份公告無疑是一個巨大的炸彈,關鍵當事人也自帶熱搜體質。事件一出,不僅全網熱議,資本市場也引起了不小的喧囂。

    董宇輝出走,新東方持續下跌?

    董宇輝 “離開”新東方了,當然準確的説是和東方甄選做切割。東方甄選盤後的這份公告無疑是一個巨大的炸彈,關鍵當事人也自帶熱搜體質。事件一出,不僅全網熱議,資本市場也引起了不小的喧囂。

  • 薩姆規則/Sahm Rule:經濟衰退的“晴雨表”

    薩姆規則/Sahm Rule:經濟衰退的“晴雨表”

    “薩姆規則/Sahm Rule”是美聯儲經濟學家Claudia Sahm提出,用來標志美國是否會進入經濟衰退的指標。其具體規則是:當美國失業率3個月移動平均值減去前一年失業率低點后,所得數值超過0.5%時,標志着美國已進入經濟衰退的早期階段。

    薩姆規則/Sahm Rule:經濟衰退的“晴雨表”

    “薩姆規則/Sahm Rule”是美聯儲經濟學家Claudia Sahm提出,用來標志美國是否會進入經濟衰退的指標。其具體規則是:當美國失業率3個月移動平均值減去前一年失業率低點后,所得數值超過0.5%時,標志着美國已進入經濟衰退的早期階段。

  • OpenAI推出搜索引擎“SearchGPT”,或挑戰谷歌霸主地位?

    OpenAI推出搜索引擎“SearchGPT”,或挑戰谷歌霸主地位?

    受此影響,這一消息導致Alphabet的股價在周四下跌了約2.5%。OpenAI如今推出了新的人工智能搜索引擎,是否會撼動Google/谷歌一直以來的搜索引擎霸主地位?引起了投資者們的熱議和關注。

    OpenAI推出搜索引擎“SearchGPT”,或挑戰谷歌霸主地位?

    受此影響,這一消息導致Alphabet的股價在周四下跌了約2.5%。OpenAI如今推出了新的人工智能搜索引擎,是否會撼動Google/谷歌一直以來的搜索引擎霸主地位?引起了投資者們的熱議和關注。

  • 經濟學中的前景理論/Prospect Theory: 認識面對風險時的人性弱點

    經濟學中的前景理論/Prospect Theory: 認識面對風險時的人性弱點

    前景理論/Prospect Theory,又被稱為“展望理論”,是將心理學的研究應用於經濟學領域,特別是在人們面對不確定情況時的決策和判斷方面發揮了重要作用。該理論在經濟投資、職場以及人際關系中得到了廣泛應用,并產生了深遠影響。

    經濟學中的前景理論/Prospect Theory: 認識面對風險時的人性弱點

    前景理論/Prospect Theory,又被稱為“展望理論”,是將心理學的研究應用於經濟學領域,特別是在人們面對不確定情況時的決策和判斷方面發揮了重要作用。該理論在經濟投資、職場以及人際關系中得到了廣泛應用,并產生了深遠影響。

  • 谷歌 GOOG 2024 年二季度財報解讀

    谷歌 GOOG 2024 年二季度財報解讀

    GOOG搜索廣告和雲,增長比預期更強勁;流量成本的優化以及裁員帶來的管理費用壓縮,帶來收入 inline 下利潤小超預期。但市場原本看好的 YouTube 廣告表現顯著低於預期;資本開支超出市場預期,引發市場對未來利潤率承壓的擔憂。

    谷歌 GOOG 2024 年二季度財報解讀

    GOOG搜索廣告和雲,增長比預期更強勁;流量成本的優化以及裁員帶來的管理費用壓縮,帶來收入 inline 下利潤小超預期。但市場原本看好的 YouTube 廣告表現顯著低於預期;資本開支超出市場預期,引發市場對未來利潤率承壓的擔憂。

  • LVMH奢侈品“賣不動”了?全球或面臨實體消費“降溫潮”

    LVMH奢侈品“賣不動”了?全球或面臨實體消費“降溫潮”

    LVMH在其最新的財報中指出,上半年的營業利益率從27.4%下降至25.6%。隨著成本基礎的擴大,成為三年來的首次下降。目前實體消費行業整體處於一個均值回歸的過程中,未來行業的市場增長預期將處於全面正常化的過程。

    LVMH奢侈品“賣不動”了?全球或面臨實體消費“降溫潮”

    LVMH在其最新的財報中指出,上半年的營業利益率從27.4%下降至25.6%。隨著成本基礎的擴大,成為三年來的首次下降。目前實體消費行業整體處於一個均值回歸的過程中,未來行業的市場增長預期將處於全面正常化的過程。

  • 特斯拉 TSLA 2024 年第二季報太骨感,單車盈利能力明顯減弱

    特斯拉 TSLA 2024 年第二季報太骨感,單車盈利能力明顯減弱

    TSLA交付疲軟,市場對特斯拉二季度的交付預期非常悲觀,但在美國,5、6 月特斯拉開始在美國用 0.99% 的購車利率來貼息購車人;在歐洲,即將到來的額外 21% 的關税,也提前刺激了一些汽車購買行為,但還是同比 5% 的負增長。

    特斯拉 TSLA 2024 年第二季報太骨感,單車盈利能力明顯減弱

    TSLA交付疲軟,市場對特斯拉二季度的交付預期非常悲觀,但在美國,5、6 月特斯拉開始在美國用 0.99% 的購車利率來貼息購車人;在歐洲,即將到來的額外 21% 的關税,也提前刺激了一些汽車購買行為,但還是同比 5% 的負增長。

  • 奈飛 NFLX 2024 年第二季財報

    奈飛 NFLX 2024 年第二季財報

    奈飛預計 2025 年廣告收入將成為公司創收的強力支撐,市場預計目前廣告收入已佔3%-5% 區間。但廣告的變現能力與流量高度相關,因此公司目前策略放在擴大用戶規模的方向是正確的。

    奈飛 NFLX 2024 年第二季財報

    奈飛預計 2025 年廣告收入將成為公司創收的強力支撐,市場預計目前廣告收入已佔3%-5% 區間。但廣告的變現能力與流量高度相關,因此公司目前策略放在擴大用戶規模的方向是正確的。

1 / 8
  • NASA太空船發現水星有一層10英里厚的鑽石!

    NASA太空船發現水星有一層10英里厚的鑽石!

    約45億年前,水星形成時,其核心完全是液態的,隨着時間推移逐漸結晶。在結晶之前,液態核心含有一些碳。隨着結晶過程的進行,殘留熔體中的碳濃度逐漸增加。當碳濃度達到溶解度閾值時,液體無法再溶解更多碳,鑽石便開始形成。

    NASA太空船發現水星有一層10英里厚的鑽石!

    約45億年前,水星形成時,其核心完全是液態的,隨着時間推移逐漸結晶。在結晶之前,液態核心含有一些碳。隨着結晶過程的進行,殘留熔體中的碳濃度逐漸增加。當碳濃度達到溶解度閾值時,液體無法再溶解更多碳,鑽石便開始形成。

  • 史上最大規模IT故障“CrowdStrike藍屏事件”,揭示數字時代重大挑戰

    史上最大規模IT故障“CrowdStrike藍屏事件”,揭示數字時代重大挑戰

    7月19日的早晨,一場重大的全球技朮故障引發了廣泛的中斷,影響了航空運輸、醫療服務、銀行支付系統以及訪問權限等多個領域。據稱,此次大規模故障與美國知名安全技朮公司CrowdStrike發布的一次軟件更新有關,該公司為微軟提供服務。

    史上最大規模IT故障“CrowdStrike藍屏事件”,揭示數字時代重大挑戰

    7月19日的早晨,一場重大的全球技朮故障引發了廣泛的中斷,影響了航空運輸、醫療服務、銀行支付系統以及訪問權限等多個領域。據稱,此次大規模故障與美國知名安全技朮公司CrowdStrike發布的一次軟件更新有關,該公司為微軟提供服務。

  • Sublime Systems水泥首次實現零碳排放水泥商業化,或改變價值千億產業?

    Sublime Systems水泥首次實現零碳排放水泥商業化,或改變價值千億產業?

    除了水之外,混凝土是地球上使用最廣泛的材料。然而,傳統的水泥生產方法對地球環境并不友好。水泥生產過程中釋放的二氧化碳約占全球總排放量的8%,是全球變暖的主要因素之一。

    Sublime Systems水泥首次實現零碳排放水泥商業化,或改變價值千億產業?

    除了水之外,混凝土是地球上使用最廣泛的材料。然而,傳統的水泥生產方法對地球環境并不友好。水泥生產過程中釋放的二氧化碳約占全球總排放量的8%,是全球變暖的主要因素之一。

  • 未來智能眼鏡會將取代智能手機嗎?

    未來智能眼鏡會將取代智能手機嗎?

    1901年,“萬能鑰匙”這部小說中描述了一個男孩收到一副眼鏡,可以在他看到的人的額頭上顯示數據,這是“擴增實境”沒成概念前的早期案例。隨著人工智能技術的快速發展,人工智能和擴增實境技術“智能眼鏡”,將成為下一個改變生活科技設備?

    未來智能眼鏡會將取代智能手機嗎?

    1901年,“萬能鑰匙”這部小說中描述了一個男孩收到一副眼鏡,可以在他看到的人的額頭上顯示數據,這是“擴增實境”沒成概念前的早期案例。隨著人工智能技術的快速發展,人工智能和擴增實境技術“智能眼鏡”,將成為下一個改變生活科技設備?

1 / 4
1 / 4
  • 出海網紅經濟,是陷阱還是機遇?

    出海網紅經濟,是陷阱還是機遇?

    隨著中國品牌出海,網紅經濟席捲北美、東南亞兩大市場。在網紅經濟的迅速發展下,也催生了網紅主播、MCN機構一條成熟的“全產業鏈”。網紅主播為了流量可能會採取什麼極端的手段? MCN機構和主播間到底又存在哪些內幕?

    出海網紅經濟,是陷阱還是機遇?

    隨著中國品牌出海,網紅經濟席捲北美、東南亞兩大市場。在網紅經濟的迅速發展下,也催生了網紅主播、MCN機構一條成熟的“全產業鏈”。網紅主播為了流量可能會採取什麼極端的手段? MCN機構和主播間到底又存在哪些內幕?

  • 中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    近年來,越來越多的年輕人選擇離開一線城市,去到二、三線城市或者回到自己的家鄉發展。然而,也有一部分年輕人選擇了重新回歸,在一線城市漂泊、打工、旅行,這種現象也被稱為“回籠漂”。

    中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    近年來,越來越多的年輕人選擇離開一線城市,去到二、三線城市或者回到自己的家鄉發展。然而,也有一部分年輕人選擇了重新回歸,在一線城市漂泊、打工、旅行,這種現象也被稱為“回籠漂”。

  • 溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    作為喜劇的“非常態”表達形式,“即興喜劇”完完全全由现场观众给一些主題、線索或是關鍵信息,再由喜劇演員們把这些东西用随机、自然的形式演绎出来。今天,我們和麦浪娱乐创始人之一、大麦喜剧即兴喜剧负责人紫琪一起探討即興喜劇背後的思考。

    溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    作為喜劇的“非常態”表達形式,“即興喜劇”完完全全由现场观众给一些主題、線索或是關鍵信息,再由喜劇演員們把这些东西用随机、自然的形式演绎出来。今天,我們和麦浪娱乐创始人之一、大麦喜剧即兴喜剧负责人紫琪一起探討即興喜劇背後的思考。

  • Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    大多數人將霸凌與童年聯繫在一起,但任何年齡段的任何人都可能發生欺凌行為。它也可以採取多種形式,從言語騷擾到身體虐待等等。欺凌行為也不只發生在操場上。個人可能會在網上、辦公室、家里和其他地方遭受霸凌。

    Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    大多數人將霸凌與童年聯繫在一起,但任何年齡段的任何人都可能發生欺凌行為。它也可以採取多種形式,從言語騷擾到身體虐待等等。欺凌行為也不只發生在操場上。個人可能會在網上、辦公室、家里和其他地方遭受霸凌。

1 / 4