大模型降本第一步,从智算中心开始

视界达人视界达人 2024-10-30 11.78 W 阅读

  大模型的发展,经历第一阶段拼算力、关注基础模型领先性之后,当前已进入更务实的第二阶段,即商业化落地应用,如何将大模型应用成本降下来,成为行业关注的焦点。

  京东云从智算中心开始,迈出大模型降本第一步,通过使用液冷技术降低制冷开支、引入AI进行智能化能耗管理等,帮助客户将大模型使用成本降下来。

  将制冷成本降下来

  在智算中心的运营上,电费占运营支出的60%以上,其中很大部分来自于制冷产生的费用,优化制冷系统,已经成为数据中心提高能源效率、降低成本的重要环节。

  液冷作为一种高效、节能、稳定的散热方式,冷却剂传递热量的速度是空气的 6 倍以上,正在成为智算中心的“标配”。

  京东云自主研发的阿尔法智能算力模块,采用创新性的液冷技术,可以满足算力密度从20kW/柜到100kW/柜的部署需求,算力模块制冷因子CLF低至0.07,即制冷系统能耗只有IT设备能耗的百分之七,帮助客户显著降低制冷能耗。

  此外,通过采用EVAC 散热器及液冷技术,京东云新一代液冷服务器可使散热效能提升 50%;并基于多元供电方案,在单机柜 20kW 的条件下,单机柜功耗 1 年可节省 8500 度电。

   

  京东云阿尔法智能算力模块

  能耗节省率提上去

  智算中心往往功率密度更高,是传统数据中心的5倍以上,对运维的要求也呈几何级增长。

  为确保每一瓦特电力都能发挥最大效用,京东云推出了节能宝产品,利用高精度建模,对基础设施中全链路的暖通或相关机电系统实现1:1仿真构建,通过AI算法实现全局节能的精细化,节能率可达10%-45%。

  基于京东云自研的精维软件平台,集成故障定位、容量管理,动态环境监控等功能,以及空调智能节能运行管理,在保证可用性的同时,极大提升电力系统使用效率。

  降本实践对外服务产业

  除了服务于自身,京东云也积极将智算中心降本提效相关能力对外输出。

  博大数据投资建设的前海智算中心示范基地,采用京东云“阿尔法”算力模块产品,从规划到项目交付不到90天,借助液冷技术,基础设施能耗节省超30%。

  此外,京东云还支持青海电信智算中心的建设运营,通过共同打造稳定、可靠的商用智算集群,向社会输出普惠的高性能AI算力,为大模型的应用落地提供强劲动能。

  当前,随着技术的不断演进,智算中心正逐步迈向更高层次的自动化和智能化升级,京东云拥有从MaaS服务到智算集群,再到硬件基础设施的数智算力矩阵,并基于成熟的智算云运营体系,让客户能够享受到更高效、更经济、更稳定的智算服务。

The End

文章声明:以上内容(如有图片或视频亦包括在内)除非注明,否则均为互联网收集整理内容,如有侵权,请联系客服进行处理

上一篇 下一篇

相关阅读

取消
微信二维码
微信二维码
支付宝二维码