AI2的新小型AI模型优于Google,Meta的类似尺寸的模型
‘这是小型AI模型的一周。
非营利性AI研究机构AI2周四发布了Olmo 2 1B,这是一种1亿个参数模型,AI2声称,该模型击败了Google,Meta和Alibaba的类似大小的模型,以几种基准测试。参数,有时称为权重,是指导其行为的模型的内部组件。
Olmo 2 1B可在AI Dev Platform拥抱面上的Apache 2.0许可下获得。与大多数型号不同,Olmo 2 1b可以从头开始复制,因为AI2提供了用于开发它的代码和数据集(Olmo-Mix-1124和Dolmino-Mix-1124)。
小型型号可能不像庞然大物的能力那样能力,但重要的是,它们不需要强大的硬件即可运行。这使得它们更容易与低端硬件和消费机的局限性有关的开发人员和业余爱好者访问。
启动了一系列小型模型过去几天,从微软的PHI 4推理家庭到Qwen的2.5 Omni 3B。其中大多数(包括Olmo 2 1B)都可以轻松地在现代笔记本电脑甚至移动设备上运行。
AI2说,Olmo 2 1B接受了公共可用,AI生成和手动创建的来源的4万亿代币的培训。令牌是模拟和生成的数据的原始数据,其中一百万个令牌等于约750,000个单词。
在测量算术推理的基准测试中,GSM8K,Olmo 2 1B分数比Google的Gemma 3 1B,Meta的Llama 3.2 1B和阿里巴巴的QWEN 2.5 1.5B更好。 Olmo 2 1b还将这三个模型的性能黯然失色,这是评估事实准确性的测试。
TechCrunch活动 TechCrunch会议展览:AI 在TC会议上确保您的位置:AI并显示1,200多个决策者您已经建立的东西 - 而没有大笔支出。到5月9日或桌子持续。 TechCrunch会议展览:AI 在TC会议上确保您的位置:AI并显示1,200多个决策者您已经建立的东西 - 而没有大笔支出。可在5月9日或桌子上持续使用。 加利福尼亚州伯克利 | 6月5日 立即预订该模型是在高质量数据的4T代币上预估计的,遵循相同的标准预处理为我们的7、13和32B模型的高质量退火。我们从训练中每1000个步骤中上传中间检查点。基本模型:https://t.co/xofywjmo85 pic.twitter.com/7usj6symdl
ai2(@allen_ai)AI2警告说,Olmo 2 1B有风险。该组织说,像所有AI模型一样,它可以产生“有问题的输出”,包括有害和“敏感”内容,以及实际上不准确的陈述。对于t原因,AI2建议不要在商业环境中部署Olmo 2 1B。
发布评论