AMD ROCm 10.1 发布:hipFILE快路径+NUMA内存分配破解存储瓶颈

$190.99 Illustrative · Not Real Time
AMD ROCm 10.1 发布:hipFILE快路径+NUMA内存分配破解存储瓶颈

Product Details - 跳伞技巧

据StorageReview报道,AMD于2026年10月5日正式发布ROCm 10.1版本,重点攻克AI工作负载中的存储瓶颈。随着模型检查点、键值缓存和模型权重文件日益庞大,数据搬运时间已超越计算时间成为主要迭代瓶颈。ROCm 10.1通过AMD Infinity Storage堆栈的深度升级,将存储访问直接集成到HIP运行时,并新增NUMA感知主机内存分配,使数据无需经过CPU内存中转即可直达GPU。AMD官方新闻稿证实,该版本在ROCm 7.14引入的直接存储架构基础上,新增了hipFILE异步快路径和批量I/O接口,同时编译器升级至LLVM 24,并正式推出ROCm CLI v1.0.0与AMD SMI(取代ROCm SMI)。

院线新片

hipFILE异步快路径:消除主机内存中转

传统GPU存储路径中,数据从NVMe硬盘读取后需先暂存到系统内存(CPU内存中继),再由CPU控制拷贝至显存,这一过程增加了延迟并消耗内存带宽。AMD在ROCm 10.1中为hipFILE库新增了异步快路径后端:读写请求直接在HIP流(stream)上执行,完全跳过主机内存阶段。据AMD介绍,该设计显著降低检查点引擎和KV缓存卸载的延迟,同时保持持续带宽。hipFileReadAsync()和hipFileWriteAsync()两个新函数已支持该快路径。

和平分手

此外,批量I/O API允许一次提交多个文件请求,并在内部线程池中分散执行,使训练大数据集时存储队列始终饱满。与之配套的遥测接口hipFileGetStatsL1、L2、L3可分别提供不同粒度的I/O统计信息,这些计数器可直接注入ROCm剖析器,帮助运维人员判断流水线瓶颈位于计算、内存还是数据交付环节。

正式官宣

NUMA感知主机内存:消除跨插槽通信损耗

在多路服务器上,若缓冲区分配在非本地NUMA节点,每次传输都会产生跨插槽延迟。ROCm 10.1扩展了HIP虚拟内存管理API,新增hipMemLocationTypeHostNuma和hipMemLocationTypeHostNumaCurrent两种位置类型。开发者可通过完整的创建、保留、映射、销毁生命周期将主机内存指定到特定NUMA节点。RCCL等库可利用此特性构建NUMA本地的零拷贝通信缓冲区,使主机到设备的数据传输完全避开插槽互连。AMD表示,这一改进对两插槽系统的整体吞吐量提升尤为关键。

官宣喜讯

喜得贵子
特性传统路径ROCm 10.1 优化收益
------------
数据传输硬盘→系统内存→GPU硬盘→GPU (跳过系统内存)延迟降低,带宽保持
内存放置随机NUMA节点NUMA感知分配 (单/当前节点)消除跨插槽开销
I/O提交单请求批量提交 + 线程池队列饱满,训练吞吐提升
遥测粗略统计L1/L2/L3 分级I/O统计精准定位瓶颈

ROCm CLI v1.0.0 与AI Agent工作流

ROCm CLI达到v1.0.0,作为单一二进制文件支持Linux、Windows和WSL2,可自动安装、配置并运行本地AI工作负载。它检测vLLM所需的flash-attn和amd-aiter轮子,适配ROCm 10的新包布局,并新增完全非交互安装标志,便于脚本化和CI环境。全屏TUI仪表板同时显示GPU实时遥测、模型服务和本地聊天窗口,方便验证端点是否正常响应。

AMD Skills(面向编码代理的集成包)新增两项:quark-install用于安装AMD Quark及配套PyTorch构建;quark-torch-llm-ptq针对PyTorch和Hugging Face大语言模型执行后训练量化(支持FP8、INT4等方案)。这些集成可直接服务于Claude Code、Codex等编码智能体。

剖析与遥测现代化:内核重放与AMD SMI

ROCprofiler-SDK引入内核重放功能(beta阶段)。GPU硬件每次分发暴露的计数器数量有限,过去收集完整计数器集需每个计数器组重跑整个应用程序。内核重放就地重新执行每个分发,并在两次执行间重置GPU内存,单次运行即可收集全部计数器。SDK还支持在PyTorch Kineto和Triton Proton运行期间随时启停剖析,并提供一个PC采样代理Skill,引导编码智能体通过rocprofv3 PC采样查找计算停顿。

ROCm Compute Profiler的Roofline报告现已生成交互式HTML页面,工程师可隔离单个内核并切换缓存级算术强度轴。PC采样报告可细分到每个内核的采样数和停顿数。ROCm Systems Profiler新增对Gorgon Point 1/2/3 APU(gfx1150/1152/1153)的Linux跟踪支持,ROCm Optiq可同时可视化rocprofv3、Systems Profiler和Compute Profiler的分析结果。

AMD SMI(amd-smi)正式取代ROCm SMI,后者在本版本中从标准构建中移除。amd-smi覆盖AMD GPU、CPU和APU,支持Linux和Windows、裸机和虚拟化环境,提供CLI、C库(amd_smi_lib)、Python、Go和Rust绑定。容器感知已扩展至containerd、CRI-O、Podman、LXC、LXD及Kubernetes Pod,集群管理员可将GPU进程和利用率与运行该进程的容器一一对应。

核心编译器与运行时更新

工具链从LLVM 23升级至LLVM 24,clang_major宏现返回24。依赖编译器版本或链接libLLVM的开发者需在升级前进行兼容检查。增量构建通过缓存设备代码LTO分区的分区缓存得到加速,未变更的分区可在下次构建时复用。

Composable Kernel加速了Radeon GPU上的注意力运算,并新增更多量化矩阵乘法类型。MIGraphX将后端编译器从rocMLIR切换到rocMLIRTriton,AMD称此举可提升推理性能、缩短模型编译时间,并保持编译器与上游Triton同步。rocSPARSE支持直接在ELLPACK(ELL)格式矩阵上执行三角求解,无需事先格式转换。

hipThreads作为ROCm Core SDK线程库的新成员,将标准C++线程概念引入AMD GPU(Linux和Windows),目的是在不进行完整HIP内核重写的情况下加速现有CPU线程化代码。

Windows Subsystem for Linux 2进入技术预览,标准Linux包在客户机中安装,GPU半虚拟化将工作交给Windows主机驱动。预览期支持.deb包和Python轮子(不支持RPM),且剖析、调试和KFD相关工具在WSL2内暂不可用。虚拟化方面,KVM SR-IOV现已支持Ubuntu 26.04 LTS作为宿主机和客户机,搭配AMD GIM驱动版本9.3.0.K。

支持硬件列表扩展

新增Radeon AI PRO R9600,与Instinct MI355X、MI350X、MI350P、MI300系列、MI200系列、Radeon AI PRO R9700家族及Ryzen AI处理器共同列入支持列表。

Q&A

Q1: AMD ROCm 10.1中的hipFILE快路径是否要求特定硬件?

A1: 据AMD官方文档,hipFILE异步快路径支持所有基于ROCm的AMD GPU,包括Instinct MI300系列及更新的Radeon AI PRO系列。该功能通过软件栈实现,不依赖专用硬件加速器。但实际性能提升受NVMe SSD和PCIe带宽影响,建议搭配Gen5 SSD和PCIe 5.0平台使用。

Q2: 从ROCm SMI迁移到AMD SMI需要修改脚本吗?

A2: 是的。AMD SMI命令行接口和API与旧版ROCm SMI不兼容。AMD提供了迁移指南和兼容性工具(amd-smi-legacy),可临时兼容部分旧命令。建议开发者在升级ROCm 10.1后尽快将脚本迁移至新的amd-smi CLI或C库接口,以利用容器感知等新功能。

总结与展望

AMD ROCm 10.1通过hipFILE快路径、NUMA感知内存分配和LLVM 24编译器升级,直接回应了AI训练与推理中的存储瓶颈问题。随着AMD SMI全面接管监控、ROCm CLI达到正式版本,以及WSL2预览和更多硬件支持,ROCm生态在易用性和性能优化上迈出了关键一步。对于追求端到端数据搬运效率的高性能计算和AI开发者而言,这一版本提供了降低延迟、提升吞吐量的实质性工具。

民生新闻

Why Choose AMD ROCm 10.1 发布:hip...

AMD ROCm 10.1于2026年10月5日发布,引入hipFILE异步快路径、NUMA感知主机内存、LLVM 24、ROCm CLI 1.0及AMD SMI,显著降低AI训练中的存储延迟。了解直连GPU存储、批量I/O与遥测升级如何加速HPC工作负载。

Tags:

Related Products

Partners:

相关文章

▸ 喜结连理▸ 大婚现场▸ 婚戒曝光▸ 求婚成功▸ 订婚消息▸ 结婚纪念▸ 晒结婚证▸ 金婚纪念▸ 恩爱日常▸ 甜蜜互动
友情链接:秀恩爱照 夫妻同框 夫妻综艺 情侣综艺 恋爱综艺 婚恋综艺 综艺看点 综艺花絮

🔗 友站推荐

特朗普:俄罗斯鼠疫实验室死亡事件非生物武器 透明度受关注
特朗普纳税广告遭86%美国人反对:民调揭示两党共识
《Krux》影评:二战末德国村庄绝望浮世绘
本·阿弗莱克离婚两年后罕见称赞詹妮弗·洛佩兹:尊重其才华
Apple TV+《Beat the Reaper》新选角:保罗·舒尔茨托尼·马赫特加盟
西班牙住房危机:老妇被驱逐致死引爆抗议 首相宣布提前大选
迪克·克拉克跨年摇滚夜2026首次登陆Disney+,ABC同步直播
《Ted Lasso》第四季大结局主题曲换人唱!布兰迪·卡莉忧郁翻唱版为何让主创落泪?独家幕后揭秘
加沙种族灭绝:斯雷布雷尼察模式重演,2分钟深度解读
亚马逊Prime Day美容促销:11款必囤好物低至7折(10月7日截止)