傅盛：我们对做大年夜模型没有执念对做好应用有执念
编辑：[db:作者] 时间：2024-08-25 08:50:31
新智元宣布
当全天下都在为GPT Store上线而愉快时，谁又看到了OpenAI的「阳谋」？当你把条约、财务、业务数据等公司机密都传给ChatGPT时，或许并未意识到：每一次利用ChatGPT，都是在帮OpenAI提升模型「智商」。正如GPT Store的发布，让浩瀚初创公司一夜暴毙。而他们始终也没有搞明白，为什么自己300万美元的公司，末了变成了一张500美元的OpenAI API代金券。去参加开拓者大会的每个人都会得到一张OpenAI给的API代金券很长一段韶光，千亿参数大模型都被认为是商业化运用的最佳方案。但直接基于API利用，会有数据透露给例如OpenAI这些模型供应商的风险。那最好的办法便是私有化支配。然而面对如此规模的模型，光授权费就要数千万。对此，老板们纷纭表示，我便是想办理个客服问题而已，就没有便宜的方案吗？就在本日，性价比更高的方案来了——猎户星空正式官宣了一款千亿级效果的百亿大模型。测试显示，在百亿参数+运用打磨的加持下，模型对付专业场景问题的回答已经超越了GPT-4。而且，只要千元显卡即可运行！
可以看到，Orion-14B在浩瀚20B规模的模型中，遥遥领先。不仅在MMLU、C-Eval、CMMLU、GAOKAO、BBH等主流测试集上拿下SOTA。而且，在OpenCompass综合测评的中文数据集上，总分位列700亿参数以下基座模型第一。此外，Orion-14B还具备极强的多措辞能力——在日语、韩语开源模型评测中也拿下了环球第一，堪称是「出海之光」。日文为JNLI等8项评测集均匀得分；韩文为COPA等4项评测集均匀得分；中文英文为OpenCompass对应措辞评测集均匀得分在目前业内公认最威信的大模型长文本准确度测试方法「大海捞针」中，Orion-14B直接拿下了200K token全绿的成绩。乃至，最高还可以支持320K的超长高下文，相称于一次性看完小半本《三体》（45万汉字）。顺带一提，此前有宣布指出，有不少大模型为了在榜单中「刷新SOTA」，竟然直接拿基准测试里面的「真题」和「答案」来演习。对此，猎户星空表示，自己大模型的成绩绝对真实，完备没有刷过题。模型开源一手实测：幻觉消逝了
目前，Orion-14B已经全面开源，并且可以直接在线上体验。GitHub：https://github.com/OrionStarAI/Orion
Hugging Face：https://huggingface.co/OrionStarAI
ModelScope：https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary
技能报告：https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf比如，见告它插入表格数据的基本信息，然后输出SQL语句。Orion-14B按哀求用SQL编程措辞完成了任务。你还可以上传文档给到Orion-14B，然后模型可以基于文档内容给出回应。这样，企业私有领域的数据，就可以不才游运用中把模型浸染发挥到极致。举个栗子，上传一些关于交通法的文档片段，当用户讯问哪些情形不能超车，Orion-14B就会根据已有的内容准确回答，不会瞎猜涌现幻觉。Orion-14B还可以根据输入一段话内容，将其变成QA对。比如室内装饰布局虚拟仿真传授教化软件的产品的5点代价，以及运用领域和适用工具。一大段内容输入后，模型就能将其拆分、理解，得到不同的QA对话。此外，当你输入一封邮件的内容，Orion-14B模型还可以抽取数据，发件人、邮箱、联系办法，都可以清晰地分列出来。可以看到，在AI大潮下，只有在私有化数据加持下的大模型，才能给企业持久的竞争力。而为企业运用而生的猎户星空大模型，凭借着「百口桶」级的微调能力，可以在专业场景里实现媲美千亿级模型的效果。通用对话微调、插件微调、RAG微调、长Token微调、知识抽取微调、问答对天生微调、日韩文微调。个中，根本对话能力微调模型（Orion-14B-Chat）专注于提升对话能力，尤其在理解历史和角色扮演方面显示出更高的准确性。这一版本能够捕捉对话高下文中的细微变革，并根据不同角色和场景做出相应的反应，从而供应更加自然、连贯的对话体验。除此之外，猎户星空还在两个大模型运用的主流方向上深入打磨——检索增强天生（RAG）和Agent。两大重点：RAG和Agent
只管当前大模型的能力令人印象深刻，但并非无懈可击。它们或因演习数据时效，token长度等限定，可能会输出误导性信息，进而产生「幻觉」。有时，LLM也会因缺少专业领域知识，在处理特定领域的问题时，力不能及。尤其是对付企业内部的信息，让LLM自由发挥就更加随意马虎出错。来源：https://arxiv.org/pdf/2312.10997.pdf目前盛行的大模型运用开拓框架Llama-Index、LangChain等，都包含了RAG的部分。但是框架数量虽然多，在实际支配时却一言难尽，工程搭建繁琐，效果不理想，企业可能搞了半年都上不了线。比较之下， 猎户星空的RAG能力微调模型（Orion-14B-RAG），则通过针对知识边界掌握、问答对天生、幻觉掌握、构造化数据提取等能力进行专项微调，使其成为了最适宜开拓RAG运用的微调模型。基于此，企业便能够快速整合自身知识库，构建定制化运用。除了RAG，拓宽大模型运用的另一条主要路径，便是Agent。OpenAI运用人工智能研究主管Lilian Weng去年的一篇博客，曾掀起Agent谈论热潮。基于大模型构建的Agent，拥有强大的措辞理解和处理能力，可以自动化完成各种任务。除了耳熟能详的AutoGPT、BabyAGI等，还有OpenAI官宣的「定制GPTs」，都属于Agent的范围。举个栗子，HuggingGPT利用ChatGPT作为掌握器，连接HuggingFace社区中的各种AI模型，来完成多模态繁芜任务。一夜爆火的MetaGPT，能扮演各种角色，在内部监督代码天生，提高代码质量。更有网友用MetaGPT智能体框架，仅在10分钟就做出小游戏Flappy Bird，让低本钱的软件开拓成为现实。而猎户星空的插件能力微调模型（Orion-14B-Plugin），则通过增强模型根据用户问题调用最适配工具的能力，并将插件的结果与模型的处理相结合，来办理更繁芜的问题。详细来说，研究团队针对意图识别、函数调用、缺槽反问、单轮抽参、多轮抽参等能力进行专项微调，使其成为了最适宜构建Agent运用的微调模型。由此，也让猎户星空大模型在Agent运用所需的五种能力上，险些追平了GPT-4——意图识别成功率90.3%；首轮抽参成功率100%；多轮抽参成功率90.19%；缺槽反问成功率91.07%；插件调用成功率91.37%。比较之下，一样平常的百亿参数大模型表现不超过70%。千元即可商用：RTX 3060都能跑
此外，为知足小企业需求，猎户星空大模型还推出了险些无损的INT4量化版本（丢失<1%）。通过AWQ Q4量化技能，研究团队不仅让模型大小直降了70%，而且还使推理速率也提升了30%。换句话说便是，只需一张消费级显卡，如NVIDIA RTX 3060，就能实现每秒最高31 tokens（约50个汉字）的输出。而在私有化支配方面，也可以轻松地将做事器和企业数据掌握在内网之中，乃至还供应全套开源免费可商用资源和社区技能支持。在大会上，傅盛抛出这样一个不雅观点：企业利用AI，有三个段位。青铜段位，是用AI做文案、做图。黄金段位，是数字员工。但AIGC实在最主要的，还是王者段位。在此段位，全过程都由AI参与。王者段位的企业，该当选择用私有大模型+强运用套件，来实现数字员工和赞助决策。不过，虽然现在大模型百花齐放，但猎户星空却在实践中创造，企业须要的不是「大模型」，而是能够结合业务流并办理自身痛点的大模型运用。会上，傅盛重磅发布了AI赞助决策交钥匙办理方案「聚言」，可以为企业供应全链条的定制化AI大模型咨询和解决方案做事。可以预见，在以上所有这些能力的共同加持下，一个崭新的时期即将来临——每个企业都会有私有化大模型。值得一提的是，比较于别人做的「数字员工」，猎户星空竟然选择了做「数字老板」！
不过，这个中的缘故原由很大略，猎户星空在自己运用AI时，创造了不少业内秘密——大模型在企业中无法即插即用，而只靠员工自主探索，也很难实现企业AI运用上的增效，必须针对全体流程，进行AI重构。而有了「数字老板」之后，老就们就可以全面节制经营细节。人力资产、云资产、数字资产，全天候细节无遗漏。人力助手：一口气看完2000份周报，发掘潜力员工
前一阵曝出英伟达的员工每人都要向CEO老黄提交周报，老黄是怎么看完的呢？当然是用AI。比如，只需问一句，人力助手就能把公司收到的近2000份周报汇总起来，并提炼出紧张的业务进展和潜在的风险。之后，还可以连续讯问某项详细风险的应对方案。而AI便会完备依据周报的内容，给出回答。此外，AI还可以根据周报剖析团队的实际效率，并给出优化建议。更厉害的是，当AI完备节制了公司的私有数据时，还能帮你预测出员工的潜力！
AI就会根据外洋发卖业务的特点，创建出一个得分系统，然后根据数据剖析给出结果，并同时附上非常直不雅观的图表。如此一来，不仅能像英伟达的黄老板一样，每天处理数百封邮件，跟进数十个项目，还能减少决策失落误，提高效率。云资产助手：本钱直降30%，立省85万刀
对付另一项开销大头「云」来说，技能职员常日都希望做事器越多越好，而老板们虽然搞不懂，但依然须要为越来越贵的云本钱买单。为此，猎户星空推出了云资产助手——一个利用不同领域云管理专家履历演习的专业领域大模型。详细来说，AI会通过深挖云数据的底层逻辑，对客户的云上资源和本钱账单数据进行多维度剖析，从而进一步阐发运营本钱痛点。然后，再基于此自动天生切实可行的办理方案，并附上高质量的本钱优化报告。而且，当老板对某个图表或观点产生疑问时，只需和AI多聊两句，就可以得到答案。聚言创意助手：N个专家，直接为你出谋划策
如今，老板的智囊团本钱越来越高，内部有共同的认知盲区，而外部的智囊团，又本钱太高、周期太长。为此，猎户星空推出了一个由多个Agent组成的「智囊团」——聚言创意助手，可以让各个领域的专家直接为你出谋策划。比如，去年爆火的旅游城市景德镇、淄博，再到哈尔滨，你能想象到，AI参与这次谋划会如何？只须要在聚言创意助手中，勾选你想要给出旅游计策方案的角色，输入话题，它们便会从不同角度供应方案。有了聚言助手，未来各种营销策略、市场报告等等，无需费力找专家，就能得到更高质高效、全面省钱的方案。所有的创新，都由Think Different引发
做出自己的千亿大模型，就一定能取得商业上的成功吗？如果技能没有和产品、运用形成闭环，再多技能投入都不能形成壁垒。现在主流的模式，是砸钱预演习千亿级模型，微调，然后探求运用处景。而猎户星空却独辟路子，在已知运用处景后，再微调，然后探求得当的模型。七年磨一剑
大模型下半场开年之局，猎户星空大模型登场其实给了所有人亿点点震荡。作为一家All in AI的创业公司，如今在大模型时期大放异彩，背后离不开团队在这一领域持续7年的深耕。2016年，猎户星空成立初始便投入了巨资、博士团阵容，打造AI全链条技能。值得一提的是，这家公司拥有来自Meta、Yahoo、百度等环球顶级大厂上百名顶级算法科学家的顶级团队。与此同时，团队在技能栈上，对从DNN、Attention、Bert到LLM、ASR/TTS/NLP的演进也非常熟习。猎户星空的机器人还登上冬奥会，出海环球得到了认可，拥有环球20亿用户运用打磨履历。而在7年AI磨刀的过程中，有了踏实的数据积累，包含百亿级真实用户query数据，数十亿级token数据。目前，猎户星空已经在已有模型的根本上，调试和演习MoE架构的专家稠浊模型了。据称，在这「N个臭皮匠」的加持下，智能水平可以全方位媲美千亿参数模型。傅盛预测，到2024年，千亿大模型中过半都会凋零，而百亿大模型会百花盛开。https://github.com/OrionStarAI/Orionhttps://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summaryhttps://huggingface.co/OrionStarAI
本站所发布的文字与图片素材为非商业目的改编或整理，版权归原作者所有，如侵权或涉及违法，请联系我们删除，如需转载请保留原文地址：http://www.baanla.com/bx/202948.html