·大模型开源基金包括三个“1000”,智谱AI将为大模型开源社区提供1000张卡助力开源开发,提供1000万元现金支持与大模型相关的开源项目,为优秀开源开发者提供1000亿免费API tokens。
?
GLM-4文生图和多模态理解得到增强。
1月16日,在智谱AI(即北京智谱华章科技有限公司)首届技术开放日上,智谱AI发布新一代基座大模型GLM-4,支持128K的上下文窗口长度,单次提示词能处理的文本可达300页,文生图和多模态理解得到增强,支持处理Excel、PDF、PPT等格式的文件,可自动调用代码解释器进行复杂的方程或微积分求解。
智谱AI于2020年底开始研发GLM预训练架构,2021年训练完成百亿参数模型GLM-10B,2022年合作研发了中英双语千亿级超大规模预训练模型GLM-130B。2023年推出基于千亿基座的对话模型ChatGLM,并开源单卡版模型ChatGLM-6B,使得研究者和个人开发者进行本地微调和部署成为可能。
此次发布的GLM-4支持128K的上下文窗口长度,单次提示词能处理的文本可达300页。在大海捞针压力测试(needle test)中,128K文本长度内,GLM-4模型均可做到几乎100%的精度召回,并未出现长上下文全局信息因为失焦而导致的精度下降。在多模态能力方面,文生图和多模态理解得到增强。
此外,GLM-4的All Tools能力(即Agent智能体能力)全新发布,GLM-4可自主根据用户意图,自动理解、规划复杂指令,自由调用网页浏览器、Code Interpreter代码解释器和多模态文生图大模型CogView3以完成复杂任务,可完成文件处理、数据分析、图表绘制等复杂任务,支持处理Excel、PDF、PPT等格式的文件,可自动调用代码解释器进行复杂的方程或微积分求解。
GLMs个性化智能体定制功能亦同时上线,用户用简单的提示词指令就能创建属于自己的GLM智能体,并可通过全新上线的智能体中心分享自己创建的各种智能体。智谱AI降低大模型使用门槛,GLMs个性化智能体定制功能的推出标志着任何人都能自由运用GLM-4模型并挖掘它的潜力,没有任何编程基础也能够实现大模型的便捷开发。
此前,智谱AI分别联合CCF中国计算机学会、中国中文信息学会社会媒体处理专委会发起了CCF-智谱大模型基金、SMP-智谱大模型交叉学科基金,用于支持大模型理论、算法、模型、应用等相关研究和跨领域交叉创新。去年两只基金为来自全国30余所高校参与的41个研究项目累计提供了超1000万元现金和算力资源的科研支持。
2024年,智谱AI将发起开源开放的大模型开源基金,该计划包括三个“1000”。智谱AI将为大模型开源社区提供1000张卡助力开源开发;提供1000万元现金,支持与大模型相关的开源项目;为优秀开源开发者提供1000亿免费API(应用程序编程接口) tokens。智谱AI首席执行官张鹏表示,大模型开源基金的目的在于推动大模型研发的大进展,促进大模型开源生态的大繁荣。面对全球大模型创业者,智谱AI也将升级“Z计划”,该计划将联合生态伙伴发起总额10亿元人民币的大模型创业基金,用于支持大模型原始创新,覆盖大模型算法、底层算子、芯片优化、行业大模型和超级应用等方向。
(原标题:智谱AI发布基座大模型GLM-4,发起大模型开源基金)
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。