2025/09/07 03:46:31 1,852次浏览

原来,Scaling Law在32年前就被提出了!

不是2020年的OpenAI、不是2017年的百度, 而是1993年的贝尔实验室。

在一篇名为《Learning Curves: Asymptotic Values and Rate of Convergence》的文章里提出一种预测方法:

通过这种方法,研究人员可以预测模型在更大数据集上的表现。

这和现在大家常提的Scaling Law几乎一致:

而1993年的这篇论文来头也不小,作者一共5位,其中包含了 支持向量机 的提出者Vladimir Vapnik和Corinna Cortes。

为省算力提出预测曲线

这篇论文的研究初衷是为了节省训练分类器(classifiers)的计算资源(果然啥时候都缺算力)。

当时的机器学习算法能实现将输入数据分配到某个类别里,比如输入一张手写数字的像素点,判断它是不是某一个数组。

为了让分类器更可靠,往往需要使用大规模数据库训练。但是研究人员并不确定分类器是否适合给定任务,因此开发高效的预测程序非常有必要。

这项研究就是提出了一种预测方法, 先在中等规模的数据集上训练,然后通过提出的学习曲线建模外推,预测其在大数据集上的表现。 这样就不用对分类器进行完整训练,从而节省计算资源。

它首先在几个中等规模训练集上分别计算测试误差、训练误差,然后他们发现,随着训练集的规模变大,训练误差和测试误差都会收敛到一个相同的渐近值a,这个指数a在0.5-1之间。

然后变换为对数线性关系,在对数坐标下得到两条直线。

通过拟合这两条直线能得到a,b,α。

将估计出的幂律曲线外推到更大的训练集规模上(比如60000),预测分类器在完整数据上的误差。

实验结果表明,在线性分类器(布尔分类任务)中预测非常准确。

在多层神经网络(如LeNet)中,即便在任务不可实现(non-realizable)的情况下,外推结果也能很好地预测大规模训练的最终表现。

比如仅用12000样本训练,就能预测新CNN在60000样本上会优于旧CNN。

此外作者还发现,任务越困难,渐近误差越高,收敛速率越小,即学习越慢。

这个理论放在当时可以用来淘汰差的模型,将有限的计算资源放在更值得训练的模型上。

作者也是支持向量机提出者

最后不得不提一下这篇研究的几位作者。

首先来看 Vladimir Vapnik ,他因在统计学习理论和支持向量机方面的贡献而闻名。

他于1958年在乌兹别克国立大学获得数学硕士学位,并于1964年在莫斯科控制科学研究所获得统计学博士学位。1961年至1990年期间,他一直在该研究所工作,并担任计算机科学研究部门的负责人。

Vapnik与Alexey Chervonenkis在1960年至1990年间共同开发了Vapnik-Chervonenkis理论(也称为VC理论)。该理论是计算学习理论的一种形式,旨在从统计学角度解释学习过程。

它是统计学习理论的基石,为学习算法的泛化条件提供了理论基础,并量化了模型的复杂性(通过VC维)。VC理论在无需定义任何先验分布的情况下,为机器学习提供了一种更通用的方法,与贝叶斯理论形成了对比。

同时Vapnik也是 支持向量机(SVM) 的主要发明者。这是一种监督学习模型,用于数据分类和回归分析。1964年,Vapnik和Chervonenkis首次提出了原始的SVM算法。

1990年代,Vapnik加入贝尔实验室开始进行机器学习方面的深入研究。在1992年他和Bernhard Boser、Isabelle Guyon提出了通过应用“核技巧”(kernel trick)来创建非线性分类器的方法,极大地扩展了SVM的应用范围,使其能够处理非线性可分问题。

1995年Vapnik和Corinna Cortes提出了软边距的非线性SVM并将其应用于手写字符识别问题,因为性能表现出色,这篇论文引发广泛关注,也成为机器学习发展中的一块重要基石。

他撰写的《统计学理论的本质》也是机器学习领域的必读著作之一。

以及他2014年还给Facebook当过顾问。

另一位重要作者是 Corinna Cortes 。她现在是Google Research纽约分部的副总裁,负责广泛的理论和应用大规模机器学习问题研究。

她于1989年在哥本哈根大学尼尔斯·玻尔研究所获得物理学硕士学位。随后,她于1993年在罗切斯特大学获得计算机科学博士学位。

在加入Google之前,Cortes在贝尔实验室工作了十多年。

2022年她被任命为ACM Fellow,以表彰她对机器学习领域的贡献。

其余几位作者分别是: L. D. Jackel、Sara A. Solla和John S. Denker

其中 John S. Denker还和LeCun在手写识别上合作过多篇论文 ,也都是机器学习经典大作了。

而他本人也相当全能,涉猎领域包括机器学习、系统安全、好莱坞特效、电子游戏和视频游戏等,完成了很多开创性工作。还曾在加州理工学院创建并教授“微处理器设计”课程(硅谷之所以成为硅谷,和当时美国高校中开始推行芯片设计课程有很大关系)。

甚至,他还是一个飞行员,是FFA的航空安全顾问,并写了一本对飞行原理解释透彻的行业教科书。

Denker还曾于1986-87年担任加州大学圣巴巴拉分校理论物理研究所的访问教授。 他以幽默感和“原型疯狂科学家”的形象而闻名,他的一些事迹甚至在一些电影中有所体现。

One More Thing

值得一提的是,卷积神经网络和支持向量机都诞生于贝尔实验室。它们之间过一段“分庭抗礼”的时期。

在深度学习兴起之前,CNN因为“黑盒”以及需要大规模训练,一些研究者对其持有保留态度;相比之下支持向量机的理论清晰、易于收敛到全局最优解。到底谁是正确路线?一时争论不休。

1995年, Vapnik还和当时的上司Larry Jackel以一顿豪华晚餐打赌 ,到2000年时,人们能不能解释清楚大型神经网络为什么在大规模训练中表现很好?

Vapnik觉得不能。2000年他赢了;随后他们又赌,再过5年结果如何?这一次Vapnik错了:

这场赌局,LeCun是见证人。

论文地址: https://proceedings.neurips.cc/paper/1993/file/1aa48fc4880bb0c9b8a3bf979d3b917e-Paper.pdf

[1]https://x.com/gdb/status/1962594235263427045 [2]https://yorko.github.io/2022/vapnik-jackel-bet/

他们在1993年就提出了Scaling Law
他们在1993年就提出了Scaling Law

明日方舟焰烬曙明完结

「活动」kumawubiaotitest

0.71MB
版本V3.967.38
下载扒开动漫❌狂揉❌胸2d网站安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(9人)
评论 16
他们在1993年就提出了Scaling Law截图0 他们在1993年就提出了Scaling Law截图1 他们在1993年就提出了Scaling Law截图2 他们在1993年就提出了Scaling Law截图3 他们在1993年就提出了Scaling Law截图4
详细信息
  • 软件大小: 660.663MB
  • 最后更新: 2025/09/07 03:46:31
  • 最新版本: V6.735.7
  • 文件格式: apk
  • 应用分类:ios-Android 美女㊙️裸体无遮挡免费网站
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.8以上
应用介绍
一,动漫美女被❌爆乳3d,国产熟妇水多❌❌❌
二,FoernPorno👙17,同桌让我❌她我爽了好久男男
三,XXNX16中国👙,高清🔞❌♋免费代码
四,日本三级无码18🈲️感官王国,男女❌❌❌人XX视频
五,高清🈚码🔞❌♋,特级做a爰片久久毛片A片接吻
六,成人㊙️免费网下载动漫小说,香蕉🍌🍌🍑🍑入口,男人的🍌伸到🍑里第一次软件
七,HD❌❌XX❌XXX18红色
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
白丝梦莉裸乳被爆❌白浆在线观看
  • www.crm1688.com

    白丝校🌸自慰免费网站软件

    打屁股♥网站

    171.75MB
    105好评

    g版《美国空少》

  • 18🈲️小泬破白浆推特

    体育生互jiji㊙️无短裤网站

    卡戴珊被啪❌21分钟在线

    56.65MB
    11好评

    奇领yy6080影院❤

  • 日本❌❌乳房错❌裸体

    班长被❌到爽🔞

    女补扒腿㊙️让人桶爽

    13.16MB
    314好评

    小樱被❌吸乳脱内内动漫

  • 鸣人被佐助🌿的喊停

    HD❌❌❌videosHD高清

    91❤️国产丝袜竹菊网

    53.30MB
    270好评

    谢俞被🌿到失禁爽到微博

  • 妻子被扒开腿坐做❌黄文

    欧美美女俄罗斯美女破处黄色片在线观看

    国产精品㊙️吴梦梦一区二区

    71.45MB
    701好评

    少女大人干逼

  • 太婆性HD大全

    女无套自慰✅免费网站天台

    鲁大师影院在线看三年

    83.10MB
    336好评

    強姦婬片A片AAA毛片Mⅴ

  • 姬小满被❌到爽🔞黄漫可以看

    动漫被❌到爽🔞巨乳-百度

    涩里番app♥新版入口ios

    23.92MB
    101好评

    男女一起免费WWWWXXX

  • XXXX17HD19HD

    自慰喷水www❌❌网站

    国产⭐浪潮AV密臀

    50.01MB
    928好评

    人獸黃色a片

  • 被男人添囗交做爰视频

    日本婬妇❌❌❌❌❌視频

    女同亚洲精品一区二区三电影🎦

    83.58MB
    564好评

    雏田被呜人爆❌无码

  • 祢豆子被❌黄漫免费

    男的被❌到爽羞羞jK漫画视频

    原神八重神子裸体❌开腿动画

    83.32MB
    759好评

    洗澡❌❌女同❌❌动漫

  • 91丨国产丨白浆㊙️3d

    裸男㊙️处

    www.3dmmdr18🈲虫交

    32.66MB
    620好评

    免费被❌黄网站无打码真人漫画

  • 免费qq黄钻网站

    李老师脱👙让学生摸🐻流白浆

    真实的偷窥呻吟声

    26.84MB
    278好评

    91美女精品❤️😍💃蘑菇

  • 鲁大妈Av

    国产91❤️白丝袜美女HD

    精品㊙️一区二三区在线男奴

    65.03MB
    746好评

    老师胸乳❌❌❌裸露,视频

  • 搡老岳熟女国产熟妇

    女同❌裸乳❌动漫❌3

    啊快再快点快🌿我

    54.08MB
    757好评

    美女裸露撒尿㊙️网站

  • 男人把女人❌到爽3D

    Lisa❌❌自慰喷水

    快穿➕灌➕电击➕调教

    57.32MB
    686好评

    迪丽热巴自慰❌❌喷水

  • “大猪蹄子”聂远来袭跑男baby自夸演技好被猛捶

    videos国产单亲乱

    男人🍌伸进女仆的🍑动漫

    24.99MB
    358好评

    动漫打屁股无内裤㊙️

  • 奥特曼❌18禁同人本无码

    美女跪床❌❌被🌿小说

    91自产敬业天堂麻豆蜜水网

    13.56MB
    313好评

    王语纯被❌出水了美女视频

  • 洗澡jk爆❌❌乳❌❌❌软件

    成人无码色情77777

    老师张开双腿让男生❌爽3D动漫

    84.69MB
    212好评

    裸体机器人被❌到爽

  • 免费无遮挡🔞漫画触手

    www❌❌⭕️⭕️禁区

    男性GAY无套✅

    45.74MB
    731好评

    91美女㊙️片黄在

  • 原神芙宁娜裸体被❌涩涩

    国产精品㊙️黄动漫视频

    宝清塔坊主被扒开腿做❌同人

    10.86MB
    188好评

    欲涩漫app❤网站成人版免费

  • 免费看女生裸体🔞🔞

    免费无遮挡🔞视频在线观看

    美女露出🐻让男生视频

    44.81MB
    368好评

    午夜干逼

  • e漫画天堂♥入口comic

    性╳Ⅹ╳╳肥胖老熟女

    动漫3D美女胸乳❌❌❌网站

    91.54MB
    205好评

    国产91❤国语对白在线

  • 动漫同人❌网站www

    ✡️黄✡️色✡️软✡️件

    龙珠❌黄漫羞羞网站视频

    30.11MB
    905好评

    小伙泻火老问阿姨

  • 偷拍农村妇女BBBBBB视频

    欧老太做爰❌❌❌❌亚洲性猛交

    美女被🌸❌❌到流水羞羞

    30.00MB
    541好评

    少妇人妻偷人tudevibeo

  • 白色裤袜校🌸自慰免费8MAV

    小🐥伸入🍑视频

    免费❤成人黄动漫网站视频免费

    29.08MB
    127好评

    白丝❌jk❌爆乳❌❌在线看

  • 嗯~啊慢点❌扒开❌狂揉

    小樱被扒开腿做⭐

    www成人啪啪18㊙️免费

    70.89MB
    459好评

    曰本人XXXXXXXXXX69

  • 巨胸爆乳露双奶头被❌的网站男人的🍌伸到🍑涩涩动漫 title="🔞🍌进🍑里❌❌❌视频国产" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    免费白丝jk爆❌❌乳❌❌❌漫画

    女S男M圣水✅免费网站Av

  • 18摸㊙️免费视频网站小🐔🐔伸进🈲🔞🔞游网站 title="扒胡列娜衣服并❌她" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    男人和女人㊙️免费视频红桃视频

    ⚧️🔞futaXXX

  • 国产⭕⭕⭕⭕XXXX朝鲜18男c女🔞黄㊙️❌xuao title="猛男GayGay✅打屁股视频" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    免费观看全黄做爰大片视频美国

    成 人 黄 色 动 态 图 Gif

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
评论
  • 18動🍆🍑🔞❌❌❌网站蘑菇视频 8天前
    国产91♥在线观看丝袜
  • 免费➕无码➕国产在线55 8天前
    老师❌开腿让学生爽一夜视频
  • 💚奇优影院朴银狐 6天前
    男生把自己的困困放在女生的困困里的图片
  • 大🐻100%露出来动漫 7天前
    91在线精品无码㊙️大S
  • 绝区零被爆❌挤奶成人 9天前
    张行长不戴套干雨婷
  • 裸体美女❌开腿裸体18禁网站 0天前
    阿银被❌娇喘流白色液体
  • 小🐤🐤戳进🍑无遮挡(漫画) 9天前
    赵露思❌❌喷水裸乳
  • 欧洲做受❌❌高潮男男 6天前
    雏田爆乳被❌🔞㊙3D网站
  • 美女露出奶头㊙️视频 5天前
    美女的尿囗㊙️免费
  • 爆❌喷水❌洗澡❌视频 2天前
    被❌到爽🔞流片91