要点:
风口只能等，不能追。最近由于AI发展的趋势，清华系团队也陆续获得资本的青睐。中国AI LLM大模型创业热火朝天，但中国大模型其实还处于早期阶段。
致力于传播优质的中国知识内容、构建全球新共识。我们将通过一系列时事资讯、精品课程、论坛、节目、咨询报告等内容产品，提供关于当代中国的最新的舆论思潮、深入的社会观察、亮眼的科技成就等优质信息。我们已与五大洲十多个国家、百余个研究机构、媒体机构、政治团体、民间组织建立合作关系。希望通过我们的工作在海外分享中国经验，讲述中国故事，客观分析我们共同面对的挑战和机遇，携手全球青年寻找全球化发展的新共识。
联系我们// Substack // Twitter // YouTube // 相关文章
目前中国大模型混战愈演愈烈，在争相进入这个风口的各路人马中，清华系的AI 团队凭借多年以来在自然语言处理/Natural language processing，简称NLP领域的技术积累，表现抢眼。
"生数科技"近日宣布完成近亿元人民币天使轮融资, 这家由清华计算机系教授朱军带领的创业公司估值已达1亿美元。蚂蚁集团担任这轮融资的主要投资机构, 百度风投和清华系专注AI的卓源资本也紧随其后。这也是ChatGPT问世后蚂蚁集团首次投资大模型公司。
而此前来自清华大学自然语言处理实验室THUNLP的"深言科技"/DeepLang AI已经获得了腾讯的投资，快速完成10亿级别的Pre-A+轮融资。
同时，知乎在自研大模型之外也投资了“清华系”NLP公司。据悉该中文大模型是知乎和面壁智能合作开发，后者的创始团队成员全部来自清华大学计算机自然语言处理与社会人文计算实验室。清华系在大模型领域高歌猛进，类似的案例不胜枚举，如华为推出的“槃古”大模型，背后有清华系NLP团队，是与清华的杨植麟合作；同样来自清华的王慧文在自己的光年之外，还计划重金并购两家NLP公司，后者也均是清华团队。
生数科技的多模态通用大模型<br>前文提到的生数科技刚刚获得最新一轮的融资。该公司专注于贝叶斯机器学习理论及算法研究，是中国研究深度概率生成模型的领头之一，研究方向主要包括：深度生成结构骨干网络、高速釆样、可控生成以及大模型训练等全面解决方案。
2017年，生数科技推出了“珠算”贝叶斯概率机器学习平台。作为最早面向深度概率模型的编程库之一，该平台支持包括GAN、VAE、Flow在内的多种深度生成模型。去年1月，该团队提出Analytic-DPM无需额外训练即可直接估计最优方差，大大提升釆样效率的新框架，比传统DDPM模型快20倍，被评选为ICLR 2022杰出论文，并被OpenAI应用于DALL·E 2模型。
根据Demo显示，该团队目前的模型支持图像生成、3D内容生成以及视频生成任务。在未来，该大模型还将实现文本、图像、3D模型、语音、视频等任意模态之间的转化与融合。团队提出的ProlifcDreamer算法专注3D模型生成领域，从贝叶斯建模和变分推断的角度重新审视text-to-3D问题，能够通过文本描述自动生成高质量带纹理的三维网格和NeRF图,而不需要任何3D训练数据。
此外，该团队还计划将大模型应用于多个商业场景，如艺术设计、游戏制作、影视后期和内容社交等。
在图像生成方面，生数科技团队拥有多模态大型模型UniDiffuser。 该模型于今年三月开源，是首个基于Transformer结构的多模态扩散大模型，能够很好地捕捉用户想要的构图、风格和逼真程度等方面。
目前，该团队正在研发新一代工业级图像生成模型。初步来看，新模型的图像生成效果已超越Stable Diffusion最新基线模型，未来计划在年内超越Midjourney最新版本。
ChatGLM开源模型<br>在之前提到的清华系大模型创业者中间，不乏技术理想主义者，他们被OpenAI早期的开源理念和改变世界的情怀所吸引。遗憾的是OpenAI最终走向闭源，但开源的理想却在同样源自清华的ChatGLM这里继承和发扬。
ChatGLM借鉴了ChatGPT的设计思路，将代码预训练注入到拥有千亿参数的GLM-130B1模型中，通过有监督精细调节等技术实现与人类意图的一致。 ChatGLM当前版本模型的能力提高主要来源于独特的拥有千亿参数的GLM-130B模型。它不同于BERT、GPT-3和T5的架构，是一个包含多目标函数的自回归预训练模型。 2022年8月，研发团队向研究界和产业界开放了拥有1300亿参数的中英双语密集模型GLM-130B1，该模型具有一些独特的优势：
双语：同时支持中文和英语。
高精度（英语）：在公开的英语自然语言榜单LAMBADA、MMLU和Big-bench-lite 上超过GPT-3 175B（API：davinci，基座模型）、OPT-175B和BLOOM-176B。
高精度（中文）：在7个零样本CLUE数据集和5个零样本FewCLUE数据集上明显优于ERNIE TITAN 3.0 260B和YUAN 1.0-245B。
快速推理：首个实现INT4量化的千亿模型，支持用一台4卡3090或8卡2080Ti服务器进行快速且基本无损推理。
可复现性：所有结果（超过30 个任务）均可通过的开源代码和模型参数复现。
跨平台：支持在国产的海光DCU、华为升腾910和申威处理器及美国的NVIDIA芯片上进行训练和推理。
2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测，GLM-130B是亚洲唯一入选的大模型。在与OpenAI、谷歌大脑、微软、NVIDIA、脸书的各大模型对比中，评测报告显示GLM-130B在准确性和恶意性指标上与GPT-3 175B接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中表现不错。经过多次迭代之后，目前的ChatGLM被认为是ChatGPT的最强平替。
王小川的百川智能<br>正如十几年前在乔布斯和iPhone的启发下涌现了一众国产智能手机企业，几年前马斯克和特斯拉又刺激了中国电动汽车产业，现在的ChatGPT和OpenAI所带来的震撼让中国NLP团队开始奋起直追。这便形成了人们津津乐道的鲶鱼效应，它刺激一些企业活跃起来投入到市场中积极参与竞争，从而激活市场中的同行业企业。
要形成鲶鱼效应，需要有先决条件，即已经完成了技术和人才等方面的积累。而ChatGPT的出现只是打开了人们的思路，同时教育了投资人和终端用户。
据称百川智能创始人、同样是清华毕业的王小川只是跟ChatGPT简单聊了几轮，就确信“ AGI已经来了”。他认为ChatGPT印证了他六七年前的判断：当机器掌握了语言，强人工智能就到来了。王小川的百川智能，目前已完成5000万美元的战略融资。
不久前，百川智能宣布推出70亿中英文预训练大模型baichuan-7B，在3个中文评估基准C-Eval、AGIEval和Gaokao上，均拿下SOTA。 Baichuan-7B的开源协议更为宽松，只需简单注册即可免费商用。该模型已在抱抱脸、Github和魔搭发布，包含推理代码、INT4量化实现、微调代码以及预训练模型的权重。它釆用了类似LLaMA的模型设计，作为70亿参数的底座模型，尚未经过监督微调和RLHF。
该模型可用于文本生成、文本分类、问答系统、机器翻译等多个领域。作为中英双语模型，主要以高质量中文语料为基础，同时融合优质英文数据。在数据质量方面，Baichuan-7B通过质量模型对数据进行打分，并对原始数据集进行篇章级和句子级的精确筛选。
在内容多样性方面，Baichuan-7B利用自研的超大规模局部敏感哈希聚类系统和语义聚类系统，对数据进行了多层次多粒度的聚类，最终构建的预训练数据包含1.2 万亿token，兼顾质量和多样性。相较于其他同参数规模的开源中文预训练模型，数据量提高了50%以上。
以万亿token为基础，为了提升训练效率，Baichuan-7B深度整合模型算子，以加快计算流程。此外，针对任务负载和集群配置，Baichuan-7B自适应优化了模型并行策略以及重计算策略。通过高效的训练过程调度通信，Baichuan-7B 成功实现了计算与通信的高效重叠，进而达到超线性的训练加速，在千卡集群上训练吞吐达到180+Tflops。
而对于中期的规划，4月时王小川就曾向络绎科学透露百川智能的大模型已经在训练，希望年底追平GPT-3.5。
“清华系”引领大模型浪潮<br>清华系的其它团队也陆续获得资本的青睐。清华大学计算机系教授唐杰的智谱AI也在几近哄抢的状态中接近完成一轮新融资，估值已超30亿元。唐杰麾下知名弟子杨植麟的NLP创业公司循环智能也备受头部VC青睐，孵化式提供支持；清华大学电子工程系长聘教授周伯文带队创立的衔远科技，在宣布入局大模型的同时，完成了数亿元天使轮融资。
风口只能等，不能追。例如深言科技这样的清华系NLP公司，之所以估值看高至1亿美金，源于创始人在学校时就做了很多研究，并形成了产品的DEMO。相比于市面上临时组建的团队，像清华系、中科院系这样学术、技术背景深厚的团队自然有着不可比拟的优势，也更受投资人信赖。
除了创业者，清华系的投资机构也逐渐浮出水面。唐杰教授创立的智谱AI背后就有清华系的图灵创投。在投资界，图灵创投颇为神秘。图灵创投由清华大学教授、毕业校友和从业经验丰富的专业投资人组成。该基金在AI和信息技术领域非常活跃，其投资项目与清华大学有密切关系。据悉，图灵创投已经投资了40多个项目，其中包括智谱AI等。
目前的大模型创业热火朝天，但中国大模型其实还处于早期阶段。在可以预见的未来，随着各个大模型与垂直领域深度融合，商业模式不断完善，在大模型领域中国企业或有机会复现在智能手机和电动车领域发生过的一幕，完成从追随到赶超的转变。
致力于传播优质的中国知识内容、构建全球新共识。我们将通过一系列时事资讯、精品课程、论坛、节目、咨询报告等内容产品，提供关于当代中国的最新的舆论思潮、深入的社会观察、亮眼的科技成就等优质信息。我们已与五大洲十多个国家、百余个研究机构、媒体机构、政治团体、民间组织建立合作关系。希望通过我们的工作在海外分享中国经验，讲述中国故事，客观分析我们共同面对的挑战和机遇，携手全球青年寻找全球化发展的新共识。
联系我们// Substack // Twitter // YouTube // 相关文章
