2025/09/08 01:46:50 1,968次浏览

原来,Scaling Law在32年前就被提出了!

不是2020年的OpenAI、不是2017年的百度, 而是1993年的贝尔实验室。

在一篇名为《Learning Curves: Asymptotic Values and Rate of Convergence》的文章里提出一种预测方法:

通过这种方法,研究人员可以预测模型在更大数据集上的表现。

这和现在大家常提的Scaling Law几乎一致:

而1993年的这篇论文来头也不小,作者一共5位,其中包含了 支持向量机 的提出者Vladimir Vapnik和Corinna Cortes。

为省算力提出预测曲线

这篇论文的研究初衷是为了节省训练分类器(classifiers)的计算资源(果然啥时候都缺算力)。

当时的机器学习算法能实现将输入数据分配到某个类别里,比如输入一张手写数字的像素点,判断它是不是某一个数组。

为了让分类器更可靠,往往需要使用大规模数据库训练。但是研究人员并不确定分类器是否适合给定任务,因此开发高效的预测程序非常有必要。

这项研究就是提出了一种预测方法, 先在中等规模的数据集上训练,然后通过提出的学习曲线建模外推,预测其在大数据集上的表现。 这样就不用对分类器进行完整训练,从而节省计算资源。

它首先在几个中等规模训练集上分别计算测试误差、训练误差,然后他们发现,随着训练集的规模变大,训练误差和测试误差都会收敛到一个相同的渐近值a,这个指数a在0.5-1之间。

然后变换为对数线性关系,在对数坐标下得到两条直线。

通过拟合这两条直线能得到a,b,α。

将估计出的幂律曲线外推到更大的训练集规模上(比如60000),预测分类器在完整数据上的误差。

实验结果表明,在线性分类器(布尔分类任务)中预测非常准确。

在多层神经网络(如LeNet)中,即便在任务不可实现(non-realizable)的情况下,外推结果也能很好地预测大规模训练的最终表现。

比如仅用12000样本训练,就能预测新CNN在60000样本上会优于旧CNN。

此外作者还发现,任务越困难,渐近误差越高,收敛速率越小,即学习越慢。

这个理论放在当时可以用来淘汰差的模型,将有限的计算资源放在更值得训练的模型上。

作者也是支持向量机提出者

最后不得不提一下这篇研究的几位作者。

首先来看 Vladimir Vapnik ,他因在统计学习理论和支持向量机方面的贡献而闻名。

他于1958年在乌兹别克国立大学获得数学硕士学位,并于1964年在莫斯科控制科学研究所获得统计学博士学位。1961年至1990年期间,他一直在该研究所工作,并担任计算机科学研究部门的负责人。

Vapnik与Alexey Chervonenkis在1960年至1990年间共同开发了Vapnik-Chervonenkis理论(也称为VC理论)。该理论是计算学习理论的一种形式,旨在从统计学角度解释学习过程。

它是统计学习理论的基石,为学习算法的泛化条件提供了理论基础,并量化了模型的复杂性(通过VC维)。VC理论在无需定义任何先验分布的情况下,为机器学习提供了一种更通用的方法,与贝叶斯理论形成了对比。

同时Vapnik也是 支持向量机(SVM) 的主要发明者。这是一种监督学习模型,用于数据分类和回归分析。1964年,Vapnik和Chervonenkis首次提出了原始的SVM算法。

1990年代,Vapnik加入贝尔实验室开始进行机器学习方面的深入研究。在1992年他和Bernhard Boser、Isabelle Guyon提出了通过应用“核技巧”(kernel trick)来创建非线性分类器的方法,极大地扩展了SVM的应用范围,使其能够处理非线性可分问题。

1995年Vapnik和Corinna Cortes提出了软边距的非线性SVM并将其应用于手写字符识别问题,因为性能表现出色,这篇论文引发广泛关注,也成为机器学习发展中的一块重要基石。

他撰写的《统计学理论的本质》也是机器学习领域的必读著作之一。

以及他2014年还给Facebook当过顾问。

另一位重要作者是 Corinna Cortes 。她现在是Google Research纽约分部的副总裁,负责广泛的理论和应用大规模机器学习问题研究。

她于1989年在哥本哈根大学尼尔斯·玻尔研究所获得物理学硕士学位。随后,她于1993年在罗切斯特大学获得计算机科学博士学位。

在加入Google之前,Cortes在贝尔实验室工作了十多年。

2022年她被任命为ACM Fellow,以表彰她对机器学习领域的贡献。

其余几位作者分别是: L. D. Jackel、Sara A. Solla和John S. Denker

其中 John S. Denker还和LeCun在手写识别上合作过多篇论文 ,也都是机器学习经典大作了。

而他本人也相当全能,涉猎领域包括机器学习、系统安全、好莱坞特效、电子游戏和视频游戏等,完成了很多开创性工作。还曾在加州理工学院创建并教授“微处理器设计”课程(硅谷之所以成为硅谷,和当时美国高校中开始推行芯片设计课程有很大关系)。

甚至,他还是一个飞行员,是FFA的航空安全顾问,并写了一本对飞行原理解释透彻的行业教科书。

Denker还曾于1986-87年担任加州大学圣巴巴拉分校理论物理研究所的访问教授。 他以幽默感和“原型疯狂科学家”的形象而闻名,他的一些事迹甚至在一些电影中有所体现。

One More Thing

值得一提的是,卷积神经网络和支持向量机都诞生于贝尔实验室。它们之间过一段“分庭抗礼”的时期。

在深度学习兴起之前,CNN因为“黑盒”以及需要大规模训练,一些研究者对其持有保留态度;相比之下支持向量机的理论清晰、易于收敛到全局最优解。到底谁是正确路线?一时争论不休。

1995年, Vapnik还和当时的上司Larry Jackel以一顿豪华晚餐打赌 ,到2000年时,人们能不能解释清楚大型神经网络为什么在大规模训练中表现很好?

Vapnik觉得不能。2000年他赢了;随后他们又赌,再过5年结果如何?这一次Vapnik错了:

这场赌局,LeCun是见证人。

论文地址: https://proceedings.neurips.cc/paper/1993/file/1aa48fc4880bb0c9b8a3bf979d3b917e-Paper.pdf

[1]https://x.com/gdb/status/1962594235263427045 [2]https://yorko.github.io/2022/vapnik-jackel-bet/

他们在1993年就提出了Scaling Law
他们在1993年就提出了Scaling Law

阅兵当天才知道自己做的包去哪儿了

「活动」kumawubiaotitest

2.71MB
版本V3.4.38
下载还在🍑里一进一出安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(47人)
评论 16
他们在1993年就提出了Scaling Law截图0 他们在1993年就提出了Scaling Law截图1 他们在1993年就提出了Scaling Law截图2 他们在1993年就提出了Scaling Law截图3 他们在1993年就提出了Scaling Law截图4
详细信息
  • 软件大小: 831.46MB
  • 最后更新: 2025/09/08 01:46:50
  • 最新版本: V6.691.7
  • 文件格式: apk
  • 应用分类:ios-Android 学生裸体被❌羞羞网站
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.1以上
应用介绍
一,18🈲火影忍者,美女裸体18禁❌游戏苹果
二,🔞🍆🍑👙🚥,女扒开腿㊙️让人尿爽
三,老年人自拍AV在线,玖辛奈被❌到自慰的网站
四,绝区零妮可裸体被❌,人妖的㊙️让男人桶到爽
五,小医仙3D同人18❌AV网站,美女喝尿无遮挡㊙️网站
六,巨乳❌拔萝卜❌自慰动漫漫画,一级黄老aA片,❤禁漫Bl网站无删减漫画
七,国内体外she精视频
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
莫妮卡裸被❌免费视频观看
  • 美女的隐私㊙️巨乳网站

    芒果视频成人app❤免费

    女14裸❌❌免费看

    10.18MB
    105好评

    欧美交换聚会交换1—4

  • 火影小南被爆❌黄漫

    欧9⭕⭕⭕⭕XXXX

    揉揉女子露🐻给男子玩

    919.96MB
    74好评

    成人毛片❌❌❌新的疆

  • 少妇被❌到爽🔞流体玩貝视频

    XXXX18🍆🍑国产AV

    在线无限看❌免费奶茶视频

    13.92MB
    311好评

    国产福利㊙️在线播放密挑

  • 成年人做爱视频

    老师⋯好爽⋯进来了⋯视频动漫

    66m66成长模式视频 大陆5

    53.39MB
    274好评

    把🍌伸进女人的🍑里

  • 初音未来18禁爆❌裸体视频网站

    黄色片美国佬人妇女做爱

    小黄书app❤成人版

    71.73MB
    708好评

    女👩搡多毛╳╳╳乂乂H视频

  • 羞羞漫画❤️在线入口免费

    高清码🔞❌♋免费打软

    丝袜动漫疯狂❌自慰动画

    83.32MB
    338好评

    水流动漫自动漫💣妈妈的堕落

  • 二次元美女裸体❌羞羞网站视频

    美女扒开内👙给男生玩乳头软件

    美女扒开内👙给男生玩的视频

    23.33MB
    108好评

    美女裸体100%㊙️无遮挡视

  • 小泬流水白浆18🈲

    furry涩涩🔞网站动漫

    美女🈲🈲流浆❌❌水直播吃奶

    50.54MB
    926好评

    中文幕无线码一二三四区

  • 51看片免费入口

    ❤魅魔の足を罚す漫画

    我和子的疯狂性做爰

    83.49MB
    561好评

    性欧美❌❌喷潮老师

  • 国产做受69❌❌❌高潮精品王

    小🐔🐔伸进🈲🔞🔞

    911在线无码精品㊙️入口火影

    83.78MB
    753好评

    三月七裸体被❌网站

  • COS❌开腿让我爽了视频

    心海裸体被❌羞羞的图片

    男生露jiji㊙️

    32.49MB
    623好评

    成人国产精品㊙️在线看明星合成

  • 羞羞漫画㊙️久久大片

    🔞裸体无遮挡打光屁股网站

    美女扒开内👙看个够图片

    26.74MB
    274好评

    禁漫画软件无限看❌免费

  • 十八🈲色情软件

    国产⭐浪潮AV牛牛影视

    我没戴乳罩被同桌c了一节课动画

    65.43MB
    746好评

    97国产无遮挡A片又黄又爽

  • 18禁🍆🍑🔞❌❌❌

    雷神将军3D18同人❌羞羞图片

    美女被❌❌吸乳得到大胸

    54.99MB
    756好评

    🍐❤ 🌶 🕊 4窝

  • 欧洲熟妇大荫蒂毛茸茸

    小舞🌸扒腿让我c的黄文

    佐助❌小樱18禁污污免费

    57.52MB
    685好评

    唐三❌宁荣荣18禁污污小说

  • 动漫被❌到爽在线观看

    japenHD❌❌❌女自慰

    丝袜老师踩我的🐔出精软件

    24.01MB
    351好评

    日本rapper顶级潮水护士

  • 小黄片软件下我

    幻7蒂法裸乳被❌

    国产91❤️在线观看

    13.18MB
    313好评

    学长边洗澡边🌿我啊~嗯~文章

  • 纲手女裸乳被爆❌白浆的网站

    亚洲丰满熟妇XXXX性A片下载

    男人猛躁女人㊙️图草苺视频

    84.83MB
    214好评

    www.ら🅥⓸Y.⁽⭕m

  • ❌乳喷自慰爽无尽漫画

    欧美人与牛zOZ0性行为

    扒内裤㊙️无遮挡打屁股女

    45.92MB
    730好评

    扒掉乳罩㊙️露出奶头软件

  • 亚洲AV㊙️无码一区春谷美雨

    白丝女仆被❌❌免费网站蘑菇视频

    浪货看我不把你🌿到服为止视频

    10.80MB
    182好评

    成人wwwwxxxx欧美寡妇性生活视频

  • 杨晨晨被❌

    性按摩❌❌❌❌❌医生小说

    扒开❌狂揉❌拔萝卜

    44.80MB
    365好评

    男男GayGays✅免费国产2025

  • Coor❌❌❌Porn

    男人㊙️桶进女人屁股2025年

    草莓视频❤18

    91.37MB
    209好评

    蜜桃在线无码精品㊙️入口欧

  • uoco福利库❤百度网盘

    艳妇BB被操视频一级A片人与人牲恔配

    黑人❌❌❌大叼

    30.40MB
    902好评

    🈲漫天堂APP

  • 伽罗被❌娇喘流白色液

    裸体美女㊙️兔女郎

    xnxxxxx69HDHDxx日本

    30.71MB
    549好评

    美女动漫胸黄18禁❌壁纸免费

  • JIZZZXXX15😘

    70岁老女人和小伙做爱视频

    捷克肥胖女人做爰视频免费看

    29.10MB
    129好评

    18🈲🈲🈲🈲交片

  • 扒开动漫❌狂揉❌羞羞3b

    911无码精品㊙️入口污鱼

    欧美裸体100million㊙️

    70.92MB
    453好评

    18禁❌裸体❌动漫❌过滤器

  • 小蓝GV.Gay.20233老头玩老太HD title="禁🔞免费网软件视频" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    brazzersse29💋

    美女露出双乳㊙️在线观看

  • 女性裸体㊙️无遮挡奶头视频欧美❌❌❌CCC偷拍 title="西西人体熟女大胆扒开" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    扒开芙宁娜❌狂揉❌难受

    老少配A片

  • 被❌到爽🔞流片动漫软件推特男同gv🔞禁网站 title="黄片大战免费30分钟" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    橘子app下载

    momstubehdxx,

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 18禁特黄A级120秒试看 8天前
    91丨国产㊙️黑料
  • 禁漫🍆🍑🔞❌❌❌动漫精灵免费 5天前
    ㊙️成人免费网站色戒
  • 把女人的嗷嗷嗷叫视频 4天前
    成人网站 7 3免费入口
  • 白袜大学生宿舍打✈️Tv 9天前
    疯狂❌自慰爽网站
  • 美女100%露身视频🈲🔞 7天前
    欧美毛片少妇❌❌❌❌篮色情挑
  • 性裸交❌❌❌❌❌人妖 1天前
    国产❌美女扒开内衣巧露
  • 美女免费看胸㊙️网站 2天前
    极品女88P
  • 91♥️丨PORNY丨蜜臀 3天前
    扌喿小孩的辶畐
  • 男同志gy🔞www.网站 8天前
    龙珠同人18❌黄漫
  • 欧美深夜无码小黄片 2天前
    美女又爽❌又黄❌免费网文