2025/09/07 02:38:58 1,564次浏览

原来,Scaling Law在32年前就被提出了!

不是2020年的OpenAI、不是2017年的百度, 而是1993年的贝尔实验室。

在一篇名为《Learning Curves: Asymptotic Values and Rate of Convergence》的文章里提出一种预测方法:

通过这种方法,研究人员可以预测模型在更大数据集上的表现。

这和现在大家常提的Scaling Law几乎一致:

而1993年的这篇论文来头也不小,作者一共5位,其中包含了 支持向量机 的提出者Vladimir Vapnik和Corinna Cortes。

为省算力提出预测曲线

这篇论文的研究初衷是为了节省训练分类器(classifiers)的计算资源(果然啥时候都缺算力)。

当时的机器学习算法能实现将输入数据分配到某个类别里,比如输入一张手写数字的像素点,判断它是不是某一个数组。

为了让分类器更可靠,往往需要使用大规模数据库训练。但是研究人员并不确定分类器是否适合给定任务,因此开发高效的预测程序非常有必要。

这项研究就是提出了一种预测方法, 先在中等规模的数据集上训练,然后通过提出的学习曲线建模外推,预测其在大数据集上的表现。 这样就不用对分类器进行完整训练,从而节省计算资源。

它首先在几个中等规模训练集上分别计算测试误差、训练误差,然后他们发现,随着训练集的规模变大,训练误差和测试误差都会收敛到一个相同的渐近值a,这个指数a在0.5-1之间。

然后变换为对数线性关系,在对数坐标下得到两条直线。

通过拟合这两条直线能得到a,b,α。

将估计出的幂律曲线外推到更大的训练集规模上(比如60000),预测分类器在完整数据上的误差。

实验结果表明,在线性分类器(布尔分类任务)中预测非常准确。

在多层神经网络(如LeNet)中,即便在任务不可实现(non-realizable)的情况下,外推结果也能很好地预测大规模训练的最终表现。

比如仅用12000样本训练,就能预测新CNN在60000样本上会优于旧CNN。

此外作者还发现,任务越困难,渐近误差越高,收敛速率越小,即学习越慢。

这个理论放在当时可以用来淘汰差的模型,将有限的计算资源放在更值得训练的模型上。

作者也是支持向量机提出者

最后不得不提一下这篇研究的几位作者。

首先来看 Vladimir Vapnik ,他因在统计学习理论和支持向量机方面的贡献而闻名。

他于1958年在乌兹别克国立大学获得数学硕士学位,并于1964年在莫斯科控制科学研究所获得统计学博士学位。1961年至1990年期间,他一直在该研究所工作,并担任计算机科学研究部门的负责人。

Vapnik与Alexey Chervonenkis在1960年至1990年间共同开发了Vapnik-Chervonenkis理论(也称为VC理论)。该理论是计算学习理论的一种形式,旨在从统计学角度解释学习过程。

它是统计学习理论的基石,为学习算法的泛化条件提供了理论基础,并量化了模型的复杂性(通过VC维)。VC理论在无需定义任何先验分布的情况下,为机器学习提供了一种更通用的方法,与贝叶斯理论形成了对比。

同时Vapnik也是 支持向量机(SVM) 的主要发明者。这是一种监督学习模型,用于数据分类和回归分析。1964年,Vapnik和Chervonenkis首次提出了原始的SVM算法。

1990年代,Vapnik加入贝尔实验室开始进行机器学习方面的深入研究。在1992年他和Bernhard Boser、Isabelle Guyon提出了通过应用“核技巧”(kernel trick)来创建非线性分类器的方法,极大地扩展了SVM的应用范围,使其能够处理非线性可分问题。

1995年Vapnik和Corinna Cortes提出了软边距的非线性SVM并将其应用于手写字符识别问题,因为性能表现出色,这篇论文引发广泛关注,也成为机器学习发展中的一块重要基石。

他撰写的《统计学理论的本质》也是机器学习领域的必读著作之一。

以及他2014年还给Facebook当过顾问。

另一位重要作者是 Corinna Cortes 。她现在是Google Research纽约分部的副总裁,负责广泛的理论和应用大规模机器学习问题研究。

她于1989年在哥本哈根大学尼尔斯·玻尔研究所获得物理学硕士学位。随后,她于1993年在罗切斯特大学获得计算机科学博士学位。

在加入Google之前,Cortes在贝尔实验室工作了十多年。

2022年她被任命为ACM Fellow,以表彰她对机器学习领域的贡献。

其余几位作者分别是: L. D. Jackel、Sara A. Solla和John S. Denker

其中 John S. Denker还和LeCun在手写识别上合作过多篇论文 ,也都是机器学习经典大作了。

而他本人也相当全能,涉猎领域包括机器学习、系统安全、好莱坞特效、电子游戏和视频游戏等,完成了很多开创性工作。还曾在加州理工学院创建并教授“微处理器设计”课程(硅谷之所以成为硅谷,和当时美国高校中开始推行芯片设计课程有很大关系)。

甚至,他还是一个飞行员,是FFA的航空安全顾问,并写了一本对飞行原理解释透彻的行业教科书。

Denker还曾于1986-87年担任加州大学圣巴巴拉分校理论物理研究所的访问教授。 他以幽默感和“原型疯狂科学家”的形象而闻名,他的一些事迹甚至在一些电影中有所体现。

One More Thing

值得一提的是,卷积神经网络和支持向量机都诞生于贝尔实验室。它们之间过一段“分庭抗礼”的时期。

在深度学习兴起之前,CNN因为“黑盒”以及需要大规模训练,一些研究者对其持有保留态度;相比之下支持向量机的理论清晰、易于收敛到全局最优解。到底谁是正确路线?一时争论不休。

1995年, Vapnik还和当时的上司Larry Jackel以一顿豪华晚餐打赌 ,到2000年时,人们能不能解释清楚大型神经网络为什么在大规模训练中表现很好?

Vapnik觉得不能。2000年他赢了;随后他们又赌,再过5年结果如何?这一次Vapnik错了:

这场赌局,LeCun是见证人。

论文地址: https://proceedings.neurips.cc/paper/1993/file/1aa48fc4880bb0c9b8a3bf979d3b917e-Paper.pdf

[1]https://x.com/gdb/status/1962594235263427045 [2]https://yorko.github.io/2022/vapnik-jackel-bet/

他们在1993年就提出了Scaling Law
他们在1993年就提出了Scaling Law

马思纯的字

「活动」kumawubiaotitest

6.71MB
版本V3.241.38
下载✘✘✘⺕w❌彐5MMM安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(2人)
评论 16
他们在1993年就提出了Scaling Law截图0 他们在1993年就提出了Scaling Law截图1 他们在1993年就提出了Scaling Law截图2 他们在1993年就提出了Scaling Law截图3 他们在1993年就提出了Scaling Law截图4
详细信息
  • 软件大小: 123.65MB
  • 最后更新: 2025/09/07 02:38:58
  • 最新版本: V6.74.7
  • 文件格式: apk
  • 应用分类:ios-Android 🍆视频在线观看
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.170以上
应用介绍
一,国产乱人妻精品㊙️入口了,扒开美女❌狂揉下部❌第一次
二,小乔扒开腿做❌同人动漫,玖辛奈乳爆❌自慰爽本
三,羞羞网站成人在线观看,男男做爰黄✌片全
四,开腿爆❌乳液狂飙动漫下载,A毛毛片
五,千仞雪裸体被❌叫爽网站,艾莉同学同人18❌漫画网站
六,男男被❌到爽🔞无套电影,无码18禁🔞羞羞视频,高清乱码🔞❌♋魅魔在线观看
七,成人1㊙️啪啪
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
雷电将军女被❌自慰网站
  • 流萤裸体被❌涩涩图片

    3D男男♂动漫啪网站免费观看

    动漫脱裤子🔞小jij鼓起来

    032.54MB
    104好评

    黄色片试看30分钟

  • 乌克兰黄片

    肉㊙️小说

    ryskart中国极品人体欣赏

    162.50MB
    8148好评

    男人被c❎黄漫画动漫

  • 车上激情(H)小说

    国产GayChina霸道太子

    大胸女被c🔞黄㊙️

    13.22MB
    310好评

    成人免费毛片❌❌❌果冻

  • 扒开雏田❌狂揉难受动漫

    3D宁荣荣被❌到高潮黄

    无码人妻熟妇丰满BBBXXX

    53.36MB
    275好评

    一级A片63cvCC

  • 男模露jiji㊙️无遮挡

    男男做爰GaY✅网站

    扒开❌狂揉❌自慰

    71.12MB
    708好评

    Porno💋💋300

  • 刘若琳被王强❌黄文免费

    免费🔞成人❌❌软件

    玩弄大妇女㐅㐅乂㐅4K

    83.35MB
    339好评

    中国䠵精合集Videos

  • 扒开动漫❌狂揉❌羞羞哪吒

    코리아PORNO❌❌❌야동

    美女看裸又爽❌又黄❌短文

    23.88MB
    102好评

    性69xxnx网站

  • 女同学叫我吸她🐻

    欧美熟妇毛茸茸

    18🈲c🅱️氺多

    50.00MB
    929好评

    日韩🈚️码波多野结衣

  • 18🈲🍆🍆🍆🍆放放放

    多毛熟女

    欧洲美女❌高清视频

    83.45MB
    565好评

    3D动漫美女❌❌到高潮ai

  • XNXX16👙

    国产乱码精品一区二区三区的特点分析

    女人又爽❌又黄❌免费打屁股

    83.23MB
    758好评

    二次元小黃片㊙️🈲网站

  • 和妹妹做爱视频

    亚洲AV㊙️一区二区色盗战流出

    欧美猛男熟妇❌❌❌❌

    32.79MB
    629好评

    用🍌顶到🍒视频

  • 雏田同人18❌AⅤ黄

    裸体美女㊙️裸露屁股眼

    3D❌❌❌videos蒂法

    26.93MB
    273好评

    yy6080高清影院理❤男男论

  • 动漫美女被❌❌爆乳

    胡秀英一级婬片A片欧美

    武警gary猛烈gary视频

    65.60MB
    743好评

    姬小满被❌到爽

  • 十八🈲的成人游戏

    巨胸爆乳露双奶头被❌动漫

    tube4在线观看电视

    54.30MB
    752好评

    十八禁🈲黄屋吃奶免费让占

  • 国产精品㊙️软件下载

    AI换脸宋雨琦❌❌喷水好爽

    少萝扒开㊙️让人桶爽

    57.83MB
    680好评

    亚洲一区二区三区精品🈚码高清中文

  • Free❌❌❌性欧美激情

    甘露寺蜜璃被强❌无码视频

    白嫩少妇BBw❤BBw撒尿,中国

    24.24MB
    354好评

    女学生被❌c🐻扒衣

  • 美女全身裸体㊙️视频

    免费同性女一级A片

    ❤国产嫩草影院❤竹菊

    13.01MB
    311好评

    动漫🈚码18🈲免费游戏

  • 美女又爽❌又黄❌免费视频

    浪货今天就把你☘️到服

    脱女同学衣服吃🐻的小说

    84.82MB
    219好评

    扒开美女疯狂揉❌配照网站

  • 老师❌开腿让我爽一夜蜘蛛精网站

    欧美又黄又嫩大片a级澳门网

    十八🈲麻豆爽斯哈

    45.92MB
    738好评

    八重神子拿萝卜奖励视频

  • 美女裸体❌捆绑vk

    日向花火裸体被❌涩涩

    精品㊙️网站入口

    10.06MB
    189好评

    乡下私人性爱生活小黄片

  • 老少配bgmbgm小胖子组合特点

    蓝莓视频黄网站❤入口

    tube8❌❌❌❌欧美

    44.82MB
    367好评

    成人高潮片免费漫画

  • 韩国裸体㊙️l

    美女裸身❌❌网站

    !脱👙让学生摸🐻沙哈尼视频

    91.78MB
    201好评

    中国产❌❌❌❌HD

  • 扒开❌狂揉❌难受直播樱花

    FreeHD18❌❌❌女

    videos❌❌❌free推油

    30.02MB
    903好评

    a🔴🍑我好🔴痒🔴漫画

  • 杨幂裸被❌喷水自慰

    精品国产呦系列♥危98

    男男鞭打GaY✅免费网站视频

    30.42MB
    545好评

    纳雅裸体被❌叫爽小说

  • 91无码精品㊙️国产

    男生把困困到女生困的视频大全

    原神人物扒开腿狂❌触手

    29.89MB
    126好评

    嫩草影院入口❤❤❤2025

  • 美女撒尿全过程㊙️直播

    猛男GayGay自慰✅免费网站

    3D爆乳潮喷❌❌

    70.58MB
    458好评

    原神美女扒开腿❌裸体网站

  • 雏田被雷影爆❌在线观看国产91♥️长靴在线播放00 title="17.3做爰A片XO" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    宁荣荣❌乳喷自慰爽模拟器

    香蕉🍌c桃子🍑的视频

  • 白人❌❌❌❌HD足控脚交❌❎❎动漫免费 title="csgo低价开箱" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    火影❌18同人动漫

    十八🈲️粉嫩B

  • 小🐤🐤戳进🍑无遮挡露全身动漫阮梅18禁❌ title="小舞被❌到爽🔞流视频" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    动漫美女露出🐻让男生揉

    美女和男生

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
评论
  • 女子裸体卖婬全过程 5天前
    白丝小舞🌸扒腿自慰网站
  • 免费看日本裸体🔞🔞🔞视频 2天前
    袖珍人与黑人做爰视频
  • 千仞雪被❌❌3d动漫 4天前
    国产精密㊙️入口51漫画
  • 免费看裸体🔞🔞🔞直播网站蓝莓 7天前
    美女无内裤下部㊙️视频
  • 扒开🐻让我❌❌❌国产 6天前
    白鹿扒开内👙
  • 麻豆美女裸体AAAA片 4天前
    免费网站安全软件大全
  • 越南女孩大裸交无遮挡 6天前
    打美女白嫩屁股㊙️视频
  • AV网站观看 5天前
    美女18🚫隐私图片
  • 🌷黄🌷色🌷视🌷频🌷 6天前
    爽⋯好大⋯快⋯奶18禁
  • 巨胸爆乳❌❌❌视频 9天前
    美女灌肠㊙️视