AI生成苹果Metal内核,PyTorch推理速度提升87%

浏览数:380    发布时间:2025/09/06 22:54:54

AI自动生成的苹果芯片Metal内核,比官方的还要好?

Gimlet Labs的最新研究显示,在苹果设备上,AI不仅能 自动生成Metal内核 ,还较基线内核实现了 87% 的PyTorch推理速度提升。

更惊人的是,AI生成的Metal内核还在测试的215个PyTorch模块上实现了平均 1.87倍 的加速,其中一些工作负载甚至比基准快了 数百倍

真就AI Make苹果AI Great Again?

用AI为苹果设备生成内核

先说结论:通过AI自动实现内核优化,可以在无需修改用户代码、无需新框架或移植的情况下,显著提升模型性能。

为了证明这一点,研究人员选取了来自Anthropic、DeepSeek和OpenAI的8个顶尖模型,让它们为苹果设备生成优化的GPU内核,以加速PyTorch推理速度。

至于为什么是苹果?别问——问就全球最大硬件供应商(doge)

接下来,让我们看看研究人员是怎么做的:

实验设置

首先,在模型选择方面,参与测试的模型包括:claude-sonnet-4、claude-opus-4;gpt-4o、gpt-4.1、gpt-5、o3;deepseek-v3、deepseek-r1。

其次,在测试输入方面,研究使用了KernelBench数据集中定义的PyTorch模块,并选取了其中215个模块进行测试。

这些被选取的模块被划分为三个等级,分别是第一级的简单操作(如矩阵乘法、卷积);第二级是由第一级操作组成的多操作序列;第三级是完整的模型架构(如 AlexNet、VGG)。

再次,在评估指标方面,研究人员主要关注两个指标:一是AI生成内核的正确性,二是其相较于基准PyTorch的性能提升。

最后,研究使用的苹果硬件为 Mac Studio (Apple M4 Max chip) ,Baseline为 PyTorch eager mode (划重点,一会要考)

实验测试

在上述准备完毕后,研究团队展开了测试。

测试流程如下:

如上所说,研究者首先关注AI生成内核的正确性。

实验表明,正确性会随着尝试次数的增加而提升。以 o3 为例:第一次尝试就有约 60% 的概率得到可用实现,到第 5次 尝试时可用实现比例达到 94%

此外,研究还发现推理模型非常擅长跨层级生成正确的内核,尽管非推理模型有时也能做到这一点。

那么,AI生成的内核表现如何呢?

实验结果相当惊艳,几乎每个模型都生成了一些比基准更快的内核。

例如,GPT-5在一个Mamba 25状态空间模型上实现了 4.65倍 的加速,其主要通过 内核融合 (kernel fusion) 来减少内核调用的开销,并改善内存访问模式。

在一些案例中,o3甚至将延迟提升了超过 9000 倍!

总体而言,GPT-5平均可以带来约20%的加速,其他模型则落后。

不过,GPT并非是门门最优,研究人员发现GPT-5在 34% 的问题上生成了 最优解

但在另外 30% 的问题上,其他模型生成的解比GPT-5更优!

这就意味着没有单一模型能在所有问题上都生成最优内核。

因此,如果把多个模型组合起来,就能更大概率生成最优内核。

于是乎,研究人员又展开了智能体群体实验(Agentic Swarm)。

智能体群体实验

果不其然,相较于单个模型,智能体群体策略实现了更高的性能提升。

与GPT-5相比,智能体群体在各层级平均加速 31% ,在Level 2问题上加速 42%

在几乎没有上下文信息的情况下(仅有输入问题和提示),智能体群体就已经表现得相当不错。

接下来,研究人员尝试为智能体提供更多上下文,以获取更快的内核。

这里主要包含两个额外的信息来源:

在具体的实施步骤中,研究者先将截图处理任务分配给一个子智能体(subagent),让它为主模型提供性能优化提示。

在收到提示后,主智能体先进行一次初步实现,然后对其进行性能分析和计时。

随后,再将截图传给子智能体以生成性能优化提示。

实验表明,在上下文配置方面也没有所谓的“单一最佳”方案。

不过,在具体的性能加速方面,加入这些额外上下文实现了平均1.87倍的加速,相较于普通智能体仅实现的1.31倍的平均加速,额外上下文将提升幅度提高了三倍!

有提升,但看跟谁比

为了更深入地讨论,我们有必要先回顾一些背景知识。

在PyTorch中,我们通常会调用如Sequential、ReLU这样的函数。

在具体的执行中,PyTorch会先将函数拆解为张量运算(矩阵乘法、加法等),再交给GPU执行。

这时就需要GPU内核(kernel)负责把这些数学操作转成GPU可理解的低级并行指令。

因此,在某种程度上,我们可以说GPU内核就像C编译器一样,其性能对于运算效率至关重要。

而上面这篇工作所做的,就是让原本必须由工程师手写的内核优化交给AI自动完成,并测试它的性能。

不过,问题就来了。

众所周知,苹果硬件并不像英伟达的CUDA一样,对PyTorch有很好的优化。

因此,这篇研究直接拿MPS后端原生实现和AI生成的内核对比是有失公允的。

不少眼尖的网友也是发现并指出了这一点:文章里所用的baseline是eager mode,这通常只用于训练调试或指标计算,不会被真正部署到设备上。

在真实部署中,一般会先把模型导出为ONNX,再编译成设备原生格式(Metal、CUDA 或 ROCm 等),这样效率会比直接用PyTorch eager mode高很多。

所以,无论内核是工程师手写,还是AI自动生成,经过优化的GPU内核都会比未优化的PyTorch推理快得多。

因此,拿调试过的内核和eager比,多少有点奇怪。

对此,研究人员回应道:

研究的目的是在内核工程方面获得人类专家一定程度的效益,而无需开发人员的额外投入,希望通过A将部分流程自动化。

所以,重点不在于性能提升,而在原型验证。

对此,你怎么看?

[1]https://gimletlabs.ai/blog/ai-generated-metal-kernels#user-content-fn-4

[2]https://news.ycombinator.com/item?id=45118111

[3]https://en.wikipedia.org/wiki/Compute_kernel

[4]https://github.com/ScalingIntelligence/KernelBench/

极致体验,感官的极限试探,带来前所未有的颤栗!_【2025/09/06 22:54:54】【bilibili】【哔哩哔哩】 AI生成苹果Metal内核,PyTorch推理速度提升87%
AI生成苹果Metal内核,PyTorch推理速度提升87%

/search-02039317-lzkhtml

「活动」kumadaibiaotitest

2.43MB
版本V0.78.580
下载美女打开双腿❌❌含羞图片安装你想要的应用 更方便 更快捷 发现更多
喜欢 38%好评(71965人)
评论 50
AI生成苹果Metal内核,PyTorch推理速度提升87%截图0 AI生成苹果Metal内核,PyTorch推理速度提升87%截图1 AI生成苹果Metal内核,PyTorch推理速度提升87%截图2 AI生成苹果Metal内核,PyTorch推理速度提升87%截图3 AI生成苹果Metal内核,PyTorch推理速度提升87%截图4
详细信息
  • 软件大小  58695.38992MB
  • 最后更新  2025/09/06 22:54:54
  • 最新版本  V9.19972.6
  • 文件格式  apk
  • 应用分类 ios-Android 韩国热舞19➕vip视频网站
  • 使用语言  中文
  •   需要联网
  • 系统要求  5.15418以上
应用介绍
男生的🍌差进男生的🍑里18🈲b站入口
少妇洗澡被进深处爽
Japan白嫩丰满老师HD
FerrPorno💋👙8
男男裸体啪啪❌h
FC2日韩精品素人❤️极品
一女三黑人玩4P惨叫A片
AV无码㊙️蜜桃成人小说

【联系我们】
客服热线:135-2881-646
加载更多
版本更新
V3.3.89
免费无遮挡黑料🔞视频网站

AI生成苹果Metal内核,PyTorch推理速度提升87%类似软件

猜你喜欢

包含 饿了么 的应用集
评论
  • 瑜伽裤㊙️无遮挡屁股 5天前
    99在线精品秘密㊙️一区二区
  • 公狼的粗大挺进我的密道 2天前
    嗯~啊~快点🌿死我无码
  • 动漫❌c🐻漫画 4天前
    性生交大片免费看A片直野战
  • 鞠婧祎扒开让我❌了一夜 6天前
    ❤️❤️ЗΑЗ⒎蜜桃
  • 少妇一级特黄A片1 0天前
    欲涩漫APP❤网站漫画
  • 西施裸乳被爆❌白浆的作文 8天前
    妮可基德曼裸被❌到喷水
  • cos白丝被❌❌到流白浆免费 9天前
    原神甘雨被❌高潮网站
  • AV国产美女与老外 2天前
    色情黄校花强❌乳喷自慰网站-百度
  • 做受❌❌❌777cos在线观看 5天前
    国产⭐浪潮AV果冻传
  • 免费白丝jk爆❌❌乳❌❌❌动漫 8天前
    体育生gary猛烈gary2023