作者|吴狄
编辑|张文
运营|陈佳慧
出品|零态LT(ID:LingTai_LT)
最近,猎户星空突然连着出了两件“大”事。
首先是在国内,曾经势不两立的傅盛和周鸿祎,居然在1月21日猎户星空大模型发布会上共坐一堂,甚至聊的欢声笑语。
要知道,自从2008年彻底闹掰后,两人十几年势同水火,矛盾逐渐升级到了对簿公堂的地步。而这次,被称为“红衣教主”“红衣大炮”的周鸿祎,却表示“不是来怼的…而是抱着学习的态度”,场面和谐到让不少人纷纷表示“品出了世纪大和解的味道”。
随着1月21日猎户星空大模型Orion-14B系列正式发布,双方更是针对大模型再次“唇枪舌剑”,我们了解到,该模型具备140亿参数规模,涵盖了中文、英语、日语、韩语等多种语言,效果炸裂。凭借在多语言环境下一系列任务中所展现出的卓越性能,模型一经发布便在海外迅速引发了热议。
▲图:日本网友热议Orion-14B
▲图:HuggingFace员工介绍Orion-14B
有日本网友表示,看演示感觉日语似乎相当流利。
▲图:日本网友评论Orion-14B
有开发者表示“这是我见过的最全面的基准模型之一!为猎户星空团队的全面工作点赞”。
▲图:海外网友评论Orion-14B
有网友表示“模型看起来非常强大。我喜欢他们列出的所有基准分数,真的能给人很好的整体感觉”。
▲图:海外网友评论Orion-14B
还有网友表示“希望他们能用RAG(检索增强生成)测试更多数据提取任务模型”。
▲图:海外网友评论Orion-14B
YouTube上网友表示,猎户星空团队的研究工作很philosophical
▲图:海外更多网友热议
海外网友更多热议:
A new base model! Orion 14B, trained on 2.5T tokens, including Chinese, English, Japanese, and Korean. Includes a chat tune supporting 200k context length
byu/Covid-Plannedemic_ inLocalLLaMA
同样都是大模型,猎户星空Orion-14B有啥不一样?
猎户星空大模型“Think Different”
本次发布的Orion-14B,实际上是由7个版本组成的系列,分别是基座模型、对话模型、长上下文模型、 RAG 模型、插件模型,以及两个量化模型。
其中基座模型是在一个庞大且多样化的数据集上进行训练的,数据集规模达到了2.5万亿token,为了确保模型能够理解和生成多种语境下的文本,该数据集不仅覆盖了常见的语言,还涵盖了专业术语和特定领域知识。
Orion-14B基座版在20B参数级别大模型综合评测效果表现优异,并且在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第3方测试集上都达到了SOTA(State-of-the-Art,指在该项研究任务中,目前情况最好/最先进的模型)水平。
▲图:基座版综合评估结果
长上下文模型可支持320k的超长文本,并在200k token长度上效果优异,在长文本评估集上,性能甚至能比肩专有模型。也就是说,我们一次性录入一本三十万字的小说后,将其中任意位置的关键信息隐藏掉,再对模型进行提问,大模型给出的结果依然能够做到100%正确。
而量化版更是在性能上实现了大幅优化。模型大小缩小70%,推理速度提升30%,性能损失小于1%,极大降低了硬件运行的门槛。即便是千元级别的显卡,运行量化版模型也能做到流畅运行。在NVIDIA RTX 3060显卡实测,推理速度可达31 token/s (约每秒50汉字),但性能差不多无损。
在多语言能力方面Orion-14B也表现优异,尤其是在日语、韩语测试集上,评测结果全球第1。
▲图:基座版日韩语评估结果
但最让人印象深刻的,是Orion-14B极度反差的小体量和大成就。
百亿参数做出千亿效果
大模型,顾名思义,重点在一个“大”字。
随着硬件性能和算法的提升,大模型的门槛也在不断提高。以前,10亿参数即可称为大模型,现在都是百亿起步。但随着模型越来越大,两个隐患也逐渐显露出来。
一方面,大模型的发展受制于芯片产能。近年来,缺芯问题一直都没有得到过很好的缓解,就连OpenAI都要开始自研芯片,以备未来的不时之需。
另一方面,模型越大越烧钱,这对企业发展的可持续性提出了严峻的挑战。同样是OpenAI,一天70万美元的烧钱速度,即便是获得了微软巨额投资,也无法完全打消投资者的“OpenAI破产焦虑”。
周鸿祎认为,当下的大模型市场,正在进入一个两极分化的势态。一方面,大厂在追求模型体量方面将会越来越放肆,我们有望看到千亿、万亿级别的大模型的出现;而另一方面,也会有越来越多的企业尝试将大模型做小。
在傅盛看来,这两个阵营卷向了不同的方向:一个在卷“谁能造出爱因斯坦”,另一个则是追求“谁能造出平民化大模型”。
猎户星空显然属于后者。
站在早期大模型的角度,140亿的确可以算是非常大的模型了,但在当下动辄数百亿参数的大模型面前,140亿就成了“轻量级选手”。但重量轻,并不代表力道不如重量级。
Orion-14B是一个“精打细算”过的大模型,这一点,从“700亿以下参数基座模型中文数据集的综合测评结果”中就能看出来。在第3方评测机构OpenCompass中,Orion-14B在700亿以下这个量级排名第1,甚至超过了某些超700亿数据的大模型。
▲图:OpenCompass测试结果
不仅如此,猎户星空还针对不同应用场景,将模型做了拆分,这就不得不提到Orion-14B的RAG模型和微调模型。
构建并维护企业私域知识库,可以有效的提高企业内部管理效率。目前情况普遍采用的检索增强生成(RAG)技术,可以实现无代码形式,构建定制化的企业私域知识库应用。
为此,猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调后,推出的RAG能力微调模型 (Orion-14B-RAG),在检索增强生成任务中表现卓越。相比普通RAG套件,猎户星空的RAG套件在专业度上有非常显著的提升。
▲图:猎户星空RAG对比
而被认为将应用开发带入“3D 打印”时代的AI Agent,更是在企业应用中有着极其重要的作用。
1月10日,OpenAI正式推出可定制化AI Agent应用市场GPT Store,为大模型接下来卷向何方指明了道路。当全世界都在为GPT Store上线而兴奋的时候,傅盛却表示这其实是OpenAI的一个“阳谋”。
由于隐私限制,ChatGPT只能从公开出版物来获取数据,拿不到企业内部核心数据,就无法为企业定制大模型应用。因此,OpenAI需要一个能够让企业心甘情愿共享出私有数据的方式,傅盛认为GPT Store的作用正在于此。
企业想要通过GPT Store赋能提升效率,就不得不共享核心私有数据。从积极意义来看,这是一个双赢的格局;但从消极意义来看,企业正在用自己的私有数据去喂养GPT,未来存在不小的隐患。
因此傅盛提出,大模型应该私有化,让经营数据内循环生长。然而,这又带来了另一个问题——成本。
通常来说,千亿参数大模型被认为是商业化应用的最佳方案,但很少有企业能够支付的起一年数千万美元的费用。要把成本降下来,就要把模型做小。到底多小呢?傅盛认为百亿参数就够了。因此,猎户星空大模型的数据只有140亿。
但让人意外的是,百亿参数的猎户星空大模型,仍然能在企业级应用中媲美千亿级大模型。通过猎户星空的插件能力微调模型(Orion-14B-Plugin)开发的Agent,在意图识别、首轮抽参、多轮抽参、缺槽反问、插件调用这五项关键指标上,已经接近了GPT-4的水平。
看到这里我们不禁好奇,猎户星空是如何做到“以小博大”,在“小小的花园里”开出“大大的花”呢?
关键在于“应用”二字。
大模型的应用“大”年来了
其实猎户星空大模型能以百亿参数达到千亿参数模型的效果,和猎户星空本身的路径走向有着密切的关系。
相比大模型开发商的身份,猎户星空更为人熟知的是智能机器人供应商。在日韩市场,猎户星空更是被认为只是一家送餐机器人供应商。这个角色,在很大程度上决定了猎户星空的做大模型的业务逻辑。
通常情况,平台都是先开发出大模型后,再开始寻找落地点。为了尽可能的覆盖到更广泛的应用场景,模型就要做的足够大,成本自然居高不下,千亿级参数的大模型一年授权费就能高达数千万。
但大模型本身并不是即开即用的产品,企业需要的事能够结合业务流并解决自身痛点的大模型应用。
在傅盛看来,脱离市场的技术投入就是浪费资源。所以猎户星空刚好反着,先有了落地应用,然后通过AI赋能该产品,在此基础上再推出大模型,典型的先找痛点再针对性突破的思维模式。
这样的好处是可以通过更少资源、更专业性能、更灵活配置,在具体应用场景中获得足以媲美更高参数、更全面性能、更大算力模型的效果。同时,在这个过程中,成本被大幅降低了。一个技术在落地场景中能够实现爆发,成本就是临门那一脚。
以前只有大企业才用得起的大模型,现在每个企业都用得起了。以前大公司需要依赖专业人员来构建和维护私域知识库,如今每个公司都可以自己利用Agent来构建定制化的私域知识库。
根据傅盛的构想,距离我们实现这样的场景并不遥远。
傅盛将刚刚过去的2023年称为奇迹年。这一年因为ChatGPT的出现,刷新了人类科技探索的高度,甚至l会对人类底层生活产生重大影响。2023年作为导火索,点燃了大模型之火,而这把火将在接下来的一年彻底燎原。
2024年,将会是大模型的应用“大”年。
开源社区:
https://github.com/OrionStarAI/Orion/