该项目研发一款大语言模型端侧高效推理的AI SoC主控芯片。支持7B（70亿参数）大语言模型流畅运行，支持fp16, int8和 int4精度类型，单芯片int8峰值算力≤50 TOPS,芯片峰值运算功耗≤20W，DDR内存≤8 GB，内存带宽≤50 GB/s,配套工具链支持Mindspore,Tensorflow,Pytorch 等国内外主流深度学习架构，Gpt-J推理性能≧12Samples/s开发配套的AI工具链，支持国内外主流深度学习架构；实现人工智能+的多场景应用赋能，在智能驾驶、智能家居等行业应用开展示范应用。
会员可见完整内容
马上解锁查看
ICP备08001231号