3月28日消息,在中关村论坛由趋境科技与九源智能计算系统生态联合体主办的研讨会上,郑纬民院士提出,AI产业的核心已从模型服务转变为Token服务。未来的智能基础设施应围绕Token即服务(TaaS)进行重新构建,主要体现...
3月28日消息,在中关村论坛由趋境科技与九源智能计算系统生态联合体主办的研讨会上,郑纬民院士提出,AI产业的核心已从模型服务转变为Token服务。未来的智能基础设施应围绕Token即服务(TaaS)进行重新构建,主要体现在以下三个方面:其一,全系统异构协同,将不同的计算任务合理地分配到GPU、CPU、内存和SSD中,以此打破算力方面的瓶颈;其二,存算协同达成“以存换算”,借助前置KV Cache等技术,极大地减少重复计算量,从而提升推理效率;其三,面向服务水平目标(SLO)的智能调度,精准地把用户的业务需求“翻译”成底层资源决策。
编辑回复