首Token延迟降低32.4%！是石科技放出集群调度大招，国产推理再提效
把推理服务看作一座国产Token优化工厂，GPU是生产设备，推理实例是工位，业务请求则是一张张订单。TokenFleet负责的，就是把订单与产能匹配起来。
亚马逊云科技和英伟达扩大战略合作，共建下一代AI基础设施
基于16年的联合创新，双方计划在亚马逊云科技的全球基础设施中新增部署200万颗英伟达GPU，并在AI工厂、CPU、网络、开放模型、数据处理和机器人技术等领域深化合作
把推理服务看作一座国产Token优化工厂，GPU是生产设备，推理实例是工位，业务请求则是一张张订单。TokenFleet负责的，就是把订单与产能匹配起来。
基于16年的联合创新，双方计划在亚马逊云科技的全球基础设施中新增部署200万颗英伟达GPU，并在AI工厂、CPU、网络、开放模型、数据处理和机器人技术等领域深化合作
