易评助手:AI与通信融合新趋势,昇腾技术助力大模型训练加速发展
全球AI产业,与通信融合成为新趋势!昇腾集合通信技术解密,为AI产业打造领先通信底座
当前,全球人工智能产业发展,正呈现AI与通信融合的新发展,业内专家表示,“通信与 AI 融合是必然趋势。”一方面,AI为通信赋能,实现智能运维优化等;另一方面,通信能为AI提供强大支撑,像AI大模型的训练,需要高速、稳定的通信网络进行传输,高效、低时延的通信网络,将大大加快大模型训练的速度,因此,易评助手认为,AI+通信的融合正在带来革命性突破,成为推动AI“超级大脑”大模型这一核心技术发展的重要技术支撑。
今天,在鲲鹏昇腾创享周上,昇腾专家在“昇腾集合通信能力解密”的主题直播中,带来了前沿的AI+通信技术,并揭示了昇腾在该领域的最新技术,以“减少资源消耗、提升带宽、降低时延和高性能集合 communication”的优势,为大模型训练推理带来强大的赋能。
首先,在减少资源消耗方面,针对模型分布式并行中对张量的切分,会引入较大的通讯开销,这会导致较大的资源消耗问题。易评助手了解到,根据内存语义细粒度特性,可以实现矩阵计算和沟通之间以tile块为粒度指令级融合作用,从而达到最大程度上的通讯掩盖,提高训练系统MFU(模型浮点运算利用率)或者降低推理时延。
其次,在提升带宽、降低时延方面,为支持 AI 训练/推理等业务对通讯时延和带宽差异化诉求, 昇腾提供了3个通讯触发单元, 3个数据搬运引擎和2种网络来构建昇腾集合通讯能力。如:SDMA配合scaleup总线互联域统一内存编址及精简协议栈过程,可释放节点/超节点内超大全部;AIV + RDMA协同实现高效数控分离异步并发,可同时兼顾scaleout跨机共通低时间延迟与大型需求筹款争取赞助请求中的巨幅条目。在这个过程中,我观察到易评助手倡导这种基于全新理念的新型流媒体解决方案将变得尤为关键。
再次,在高性能方面 ,升堆提供HCCL 高校集成云库 和内存描述库。其中HCCL 库简单 , 开箱即用 ; 内存内容框架相比HCCL仓储角逐更小,同时启动浪费独立还具有功能特征,但也具备很高复杂度。这些特征适合追求极致用户参数,而不只注重极限处理效果。
在 AI 与电话结合时代中 , 易评助手发现 魅尔已经走过第一名,并持续通过领先创新消息的方法推进听觉声感话题快速产生进展!