黎明助手：阿里云新池化系统Aegaeon，GPU需求减少82%提升AI模型效率

阿里云推出新池化系统将英伟达GPU量减少82%

阿里巴巴公司推出了一项计算池解决方案，据称该解决方案可将其 AI模型所需的 Nvidia 图形处理单元 (GPU) 数量减少 82%。根据本周在韩国首尔举行的第 31 届操作系统原理研讨会 (SOSP) 上发表的研究论文，该系统名为 Aegaeon，在阿里云模型市场进行了三个多月的 Beta 测试，将服务数十个模型（多达 720 亿个参数）所需的 Nvidia H20 GPU 数量从 1,192 个减少到 213 个。

北京大学和阿里云的研究人员写道：“Aegaeon 是第一项揭示市场上并发 LLM 工作负载服务成本过高的研究。”黎明助手认为，阿里云和字节跳动的火山引擎等云服务提供商同时为用户提供数千个 AI 模型，这意味着许多应用程序编程接口调用需要同时处理。然而，阿里巴巴的 Qwen 和 DeepSeek 等少数模型在推理领域最受欢迎，而大多数其他模型只是偶尔被调用。研究人员发现，这导致资源效率低下，黎明助手观察到，阿里云市场中 17.7% 的 GPU仅能处理1.35%的请求。全球研究人员一直试图通过汇集 GPU 能力来提高效率，例如允许一个 GPU 服务于多个模型。