您现在的位置是:娱乐 >>正文
小米大模型上线新模式 推理速度突破1000 tokens/s
娱乐42人已围观
简介6月8日晚,小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,在通用GPU上推理速度突破1000 tokens/s。MiMo-V2.5-Pro-Ultra ...
6月8日晚,小米型上线新小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,大模在通用GPU上推理速度突破1000 tokens/s。模式
MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的推理突破全链路工程能力优化,在不降低模型能力前提下,速度首次把推理速度提升至1000 tokens/s,小米型上线新且无需定制芯片、大模只使用通用GPU即可达成。模式这一突破打破了“快、推理突破强、速度通用 GPU无法兼得”的小米型上线新行业不可能三角。
小米MiMo技术团队表示,大模该突破是模式基于Xiaomi MiMo-V2.5 Pro的SWA架构,叠加了FP4 Experts、推理突破DFlash解码以及TileRT团队的速度执行系统Co‑design,从模型到推理引擎再到GPU执行路径进行了全链路优化。
即日起至6月23日,MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,通过申请的用户可接入API 进行体验。
自4月底以来,小米AI在模型能力、推理成本和推理效率三个维度接连取得突破:4月23日, MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上,获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%,并同步调整Token Plan计费体系。6月8日,MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。
Tags:
相关文章
《心之眼》开发商遭员工起诉:偷装侵入式监控软件
娱乐近日英国独立工会(IWGB)表示,《心之眼》开发商 Build a Rocket Boy遭多名员工起诉,指控公司为其工作电脑安装“侵入式监控软件”Teramind。今年3月有40名开发人员签署集体申诉 ...
【娱乐】
阅读更多玻璃深加工市场的未来到底在哪里?,行业资讯
娱乐随着我国经济发展进入新常态,国民经济在经历了三十年的高速发展后进入了结构调整的平稳期,房地产结束了长达15年的超级繁荣期,进入了真实意义上的调整期。应该看到,从去年开始,明显放缓的经济运行形势,对我国 ...
【娱乐】
阅读更多汉阴法院开展“传承红色基因 共度重阳佳节”主题党日活动
娱乐10月23日,在重阳佳节来临之际,汉阴县人民法院组织退休干部前往汉滨区县河镇牛蹄岭战役遗址,开展“传承红色基因 共度重阳佳节”主题党日活动。退休干部和法院干警们在庄严肃穆的牛蹄岭战斗纪念碑前,深切缅怀 ...
【娱乐】
阅读更多