零⼀万物

零⼀万物官网,千亿参数模型,技术愿景驱动的ai2.0大模型公司

简介

零一万物致力于成为一家由技术愿景驱动、拥有卓越中国工程底蕴的创新企业，推动以基座大模型为突破的A1 2.0掀起技术、平台到应用多个层面的革命。

零⼀万物官网: https://www.01.ai/

零一万物大模型开放平台: https://platform.lingyiwanwu.com/

万知ai官网: https://www.wanzhi.com/

详细介绍

Yi系列模型包含34B和6B两个版本。两者的区别在于，Yi-6B适合个人及研究用途，而Yi-34B已经具备大模型涌现能力，适合发挥于多元场景，满足开源社区的刚性需求。两者目前都已开放免费商用申请。
图片
其中，Yi-34B数据参数量达到340亿，可支持200K超长上下文窗口，可以处理约40万汉字超长文本输入，是目前全球最长版本。
相比之下，OpenAI的GPT-4上下文窗口只有32K，文字处理量约2.5万字。稍早前，由王小川创办的百川智能发布Baichuan2-192K大模型，其上下文窗口长度达192K，一度成为全球最长的上下文窗口。仅仅过去一周，这一记录再次被刷新。
为何在这一领域的竞争如此激烈？实际上，上下文窗口长度是大模型的核心技术之一。通俗来讲，上下文窗口越大，窗口所能容纳的信息就越多，从而可以结合更多上下文内容获取更丰富的语义信息，不仅生成的信息准确度更高，而且应用范围更为广泛。
所以，如何把上下文窗口做得更大，成为各家公司比拼的战场。而Yi-34B的突破，相当于能一次处理两本《三体》小说、理解超过1000页的PDF文档等场景，将成为首家将超长上下文窗口在开源社区开放的大模型公司。
另一个突破则在于训练成本大幅降低。零一万物给出一组数据：Yi-34B模型训练成本实测下降40%，实际训练完成达标时间与预测的时间误差不到一小时，进一步模拟上到千亿规模训练成本可下降多达50%。
截止目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球开源社区平台正式上线，同时开放商用申请。这也是创立至今不到8个月时间里，零一万物交出的第一份答卷。

主要功能