大语言模型如果不加约束，很容易把训练数据原封不动地复刻出来。为解决这个问题，来自马里兰大学、图宾根大学和马普所的研究团队提出了一个新方法—— 金鱼损失（Goldfish Loss）

顾名思义，金鱼损失就是让模型像金鱼一样，不去死记每一个细节，而是在损失函数计算时随机剔除一小部分token。

由此，模型不再逐字记住训练集内容，但仍能学会语言规律。

金鱼损失的核心理念非常简单，就是在模型训练过程中随机剔除一部分训练文本中的tokens，使其不参与损失计算。

这样一来，当模型在推理阶段遇到这些位置时，就只能“猜测”，而不是逐字逐句复现训练数据的完整序列。

此外，为了保证被剔除token的一致性，研究人员设计了一种基于哈希（hashing）的掩码策略。

那么，这和同样是防止模型背会的正则化方法有什么不同呢？

Dropout 这样的正则化方法为例，它通过在训练时 “加噪声” 来防止模型过度依赖某些参数，从而提高模型举一反三的能力。

但这样做的问题在于：如果只是随机丢token，那么，每次看到同一段落时，丢掉的地方不一样，模型累计几次就能拼凑出完整段落。

相比之下，金鱼损失则用哈希掩码确保每次遇到同一段落，掩盖位置都一样，这就从根本上阻止了模型复现完整训练文本。

在传统的next-token prediction中，模型以序列中的下一个真实token作为目标，输出预测分布，并基于该分布计算交叉熵损失。

在金鱼损失下，模型虽然也在前向传播中预测序列里下一个 token。但在计算损失时，会以一定的概率将某些位置的token从损失计算里“抹掉”。

在这里，研究人员采用了简单的静态掩码（static mask），剔除每序列中的第4个token。

更进一步，为了确保模型不会从其他地方学到被掩码的数据（例如不同的文档会在不同的网页中反复出现），研究团队还提出了一种局部化哈希掩码（localized hashed mask），使得当相同的前h个token出现时，掩盖模式是相同的（可重复）。

为了验证金鱼损失确实能防止记忆化，研究团队设计了两种实验场景：

一种是极端场景，通过对少量样本进行多个训练周期（即重复）来强烈促使记忆化；

另一种是标准场景，模拟现实模型训练中使用的批次处理方式。

实验表明，在极端场景下，标准训练导致模型逐字记忆了 100篇文章中的84篇，而金鱼损失没有记忆任何文章

（注：实验让LLaMA-2-7B在《哈利·波特》第一章或100篇维基百科文档上进一步训练了100个epoch）

此外，在标准训练场景下，金鱼损失也明显减少了模型逐字复现训练语料库中目标序列的情况。

但这里可能有个直觉式的反应——如果让模型“随机漏学”一些token，它的能力会不会也随之降低呢？

对此，研究人员进行了测试：研究表明，金鱼损失模型、标准损失模型和对照模型之间的总体性能没有系统性差异。

需要注意的是，金鱼损失的核心在于忽略部分token的梯度计算。因此，为了学到足够的语言模式，模型必须通过更多数据来补偿这些空缺，这可能导致计算效率的下降。

这就是生理性喜欢吧

「活动」kumawubiaotitest

59.71MB

版本V3.1.38

下载APK 高速下载

下载jk白丝美女被❌裸体安装你想要的应用更方便更快捷发现更多

51%好评(4人)

详细信息

软件大小: 681.4MB
最后更新: 2025/09/07 05:28:50
最新版本: V6.255.7
文件格式: apk
应用分类:ios-Android 双男主被❌到爽🔞网站
使用语言: 中文
: 需要联网
系统要求: 5.644以上

应用介绍

一，一女多男疯狂婬乱A片，少妇被c🔞黄❌在线网站草莓社
二，91在线无码精品㊙️色，国精产品㊙️天美一区小说
三，猛男GayGay✅小蓝视频下载，美女被❌到爽🔞高潮蓝莓视频
四，㊙️黄😍视频免软件，自慰看的高黄啪啪💥
五，大c🔞黄㊙️❌，四川丰满女老板毛片
六，男男黄Gay片免费网站www,乌克兰AA级性爱，戒尺打光屁股女㊙️视频
七，黄金网站9.1入口
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V7.5.17

无遮挡120秒试看3分钟

男女无套✅免费网站国产麻豆

国产精品㊙️入口海角抖音

45.30MB

106好评

草莓🍓视频旧址www软件
女同桌让我❌她我爽了好久

美女涩涩㊙️免费网站

9.45MB

9727好评

大雷大狙免费观看完整版
肉欲性毛片交19

高清码🔞❌♋免费照片

13.04MB

317好评

欧美性猛交❌❌❌❌喷水
奇优影视版❤免费

无尽流3D怪物动漫

53.38MB

272好评

㊙️秘密入口导航
免费看黄漫网站

18禁🈲🈲🈲.giantess3d

71.25MB

709好评

男♂️生的j往男♂️屁股后面
嫩草影院入口❤❤❤2025

火影被扒开腿做❌同人软件

83.31MB

339好评

16脱了内裤自慰❌在无码
女模㊙️网站

日本胖妇做爰的A片视频小说

23.60MB

105好评

色777888
www.17c久久久嫩草

女教师被婬辱の教室🈲

50.94MB

923好评

男人的🍌伸到🍑里电影
爆❌喷水❌洗澡❌游戏第一次

白袜小正大玩弄小太正Gay片

83.85MB

560好评

神里绫华裸体被❌❌羞羞网站
97在线无码精品㊙️cos西施

jizzjizz28

83.61MB

751好评

蕾丝视频app❤深夜福利999
成人做爰黄AA片免费播放贝微微

喷火龙宝可梦❌18禁漫画同人

32.56MB

622好评

freeporuo💋💃19
3DHentai❌性动漫

疯狂做受❌❌❌❌

26.54MB

279好评

中国少妇乄❌㐅❌
美女爆❌❌羞羞漫画

又黄又禁❌视频无遮挡直播

65.87MB

747好评

啊灬啊灬啊灬快灬用灬力视频网站
国严AV➕无码➕白丝➕cos

videos❌❌❌free动漫

54.04MB

759好评

jk黑色丝袜美女被❌视频网站
绑架男生自愿露㊙️裸体自慰

免费看18🈲

57.32MB

686好评

性欧美精品❌❌❌❌❌x㐅
csgo真人高清版免费下载安装

现场直播免费观看

24.65MB

351好评

www深夜动漫🔞网站下载网豆
美女露双奶头久久久免费网站

91|九色丨熟女❤在

13.81MB

319好评

神印王座月夜被❌吸乳怎么看
成人性生交大片免费看A片鸭王

免费🈲老师扒胸露出奶头

84.58MB

216好评

欧美做❌❌❌❌的事
美女被狂揉下部❌麻豆

美女裸身❌❌正骨

45.68MB

733好评

雏田被❌吸乳脱内内网站3D
❌小樱18禁同人漫画本

中国重囗老太HD

10.84MB

189好评

星穹铁道❌禁18同人小说入口
免费无遮挡🔞网站两男一女

男生免费❌❌❌纯h

44.79MB

368好评

国产做受❌❌❌高潮游戏色情
男生秘密㊙️网站入口

野外妓女B❌❌❌BXXX

91.77MB

203好评

好硬～好爽～别进去～嗯漫画
XXXx18一20岁学生

女仆扒开🍑视频

30.97MB

909好评

欧洲超猛男淫70岁老女人特一级AAA免费视频
韩国美女黄www㊙️

千仞雪被❌到喷出水来了

30.27MB

541好评

FreePorno💋👙55
干逼网日本熟妇

十八🈲色情软件

29.32MB

120好评

打美女屁股㊙️无遮挡
c🐻黄扒衣服做小 %9

无限制看片的WWW免费

70.40MB

458好评

sm调教视频❤️永久免费
剧情虐杀美女㊙️网站 title="抖音审核未通过视频好紧白浆在线观看" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

嗯～啊～快点🌿死我网站

欧美1级

详情
www.😍.com.同人动 title="㊙️黄😍视频免费看网站," class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

云缨疯狂❌喷水爽18禁

黑人性交黄片AAA

详情
.裸体漫画❌❌免费 title="黑人做爰猛烈叫床视频" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

小🐔🐔进嗨桃子

妲己被❌免费羞羞漫画

详情