项目主要通过算子优化、模型网络架构优化、模型高效蒸馏等技术，降低总体训练和推理成本，预计训练成本降低到1/10， 推理成本降低到1/50：1、建设支持70B、100B以上大模型预训练、微调的训练加速算子，支撑千卡训练，3D并行训练，加速比提升到10倍以上，成本降低50%以上；2、建设支撑70B、100B以上的大模型推理加速框架，支持多卡推理加速，加速比提升到5倍以上，成本降低50%以上；3、构建推理加速微服务框架，支持多机多卡原生微服务，提升GPU/NPU使用效率，提升服务响应性能，支持100+微服务部署。
会员可见完整内容
马上解锁查看
ICP备08001231号