金鱼损失随机剔除token,让AI不再死记硬背

浏览数:214    发布时间:2025/09/07 23:43:52

训练大模型时,有时让它“记性差一点”,反而更聪明!

大语言模型如果不加约束,很容易把训练数据原封不动地复刻出来。为解决这个问题,来自马里兰大学、图宾根大学和马普所的研究团队提出了一个新方法—— 金鱼损失(Goldfish Loss)

顾名思义,金鱼损失就是让模型 像金鱼一样,不去死记每一个细节 ,而是在损失函数计算时随机剔除一小部分token。

由此,模型不再逐字记住训练集内容,但仍能学会语言规律。

实验显示,LLaMA-2在使用金鱼损失后:

用网友的精辟评论概括就是:dropout,但损失函数!

在梯度计算中随机屏蔽部分token

金鱼损失的核心理念非常简单,就是在模型训练过程中 随机剔除一部分训练文本中的tokens,使其不参与损失计算。

这样一来,当模型在推理阶段遇到这些位置时,就只能“猜测”,而不是逐字逐句复现训练数据的完整序列。

此外,为了保证被剔除token的一致性,研究人员设计了一种基于哈希(hashing)的掩码策略。

那么,这和同样是防止模型背会的正则化方法有什么不同呢?

Dropout 这样的正则化方法为例,它通过在训练时 “加噪声” 来防止模型过度依赖某些参数,从而提高模型举一反三的能力。

但这样做的问题在于:如果只是随机丢token,那么,每次看到同一段落时,丢掉的地方不一样,模型累计几次就能拼凑出完整段落。

所以,说到底,模型还是靠死记硬背,记住了答案。

相比之下,金鱼损失则用哈希掩码确保每次遇到同一段落,掩盖位置都一样,这就从根本上阻止了 模型复现完整训练文本。

接下来,我们来看金鱼损失具体是怎么做的。

在传统的next-token prediction中,模型以序列中的下一个真实token作为目标,输出预测分布,并基于该分布计算交叉熵损失。

在金鱼损失下,模型虽然也在前向传播中预测序列里下一个 token。但在计算损失时,会以一定的概率将某些位置的token从损失计算里“抹掉”。

也就是说,有些真实的下一个token不会作为目标来训练。

在这里,研究人员采用了简单的 静态掩码(static mask) ,剔除每序列中的第4个token。

更进一步,为了确保模型不会从其他地方学到被掩码的数据(例如不同的文档会在不同的网页中反复出现),研究团队还提出了一种 局部化哈希掩码(localized hashed mask) ,使得当相同的前h个token出现时,掩盖模式是相同的(可重复)。

实验测试与结果

为了验证金鱼损失确实能防止记忆化,研究团队设计了两种实验场景:

一种是 极端场景 ,通过对少量样本进行多个训练周期(即重复)来强烈促使记忆化;

另一种是 标准场景 ,模拟现实模型训练中使用的批次处理方式 。

同时,为了评估模型的记忆化程度,研究采用了以下指标:

实验表明,在极端场景下,标准训练导致模型逐字记忆了 100篇文章中的84篇 ,而金鱼损失 没有记忆任何文章

(注:实验让LLaMA-2-7B在《哈利·波特》第一章或100篇维基百科文档上进一步训练了100个epoch)

此外,在标准训练场景下,金鱼损失也明显减少了模型逐字复现训练语料库中目标序列的情况。

但这里可能有个直觉式的反应——如果让模型“随机漏学”一些token,它的能力会不会也随之降低呢?

对此,研究人员进行了测试:研究表明,金鱼损失模型、标准损失模型和对照模型之间的总体性能没有系统性差异。

需要注意的是,金鱼损失的核心在于忽略部分token的梯度计算。因此,为了学到足够的语言模式,模型必须通过更多数据来补偿这些空缺,这可能导致计算效率的下降。

[1]https://arxiv.org/pdf/2406.10209

打破沉默,思绪翻涌,追问存在的终极答案!_【2025/09/07 23:43:52】【bilibili】【哔哩哔哩】 金鱼损失随机剔除token,让AI不再死记硬背
金鱼损失随机剔除token,让AI不再死记硬背

/search-97748580-lzkhtml

「活动」kumadaibiaotitest

0.59MB
版本V3.90.433
下载欧性美精品❌❌❌❌❌动漫安装你想要的应用 更方便 更快捷 发现更多
喜欢 85%好评(38242人)
评论 56
金鱼损失随机剔除token,让AI不再死记硬背截图0 金鱼损失随机剔除token,让AI不再死记硬背截图1 金鱼损失随机剔除token,让AI不再死记硬背截图2 金鱼损失随机剔除token,让AI不再死记硬背截图3 金鱼损失随机剔除token,让AI不再死记硬背截图4
详细信息
  • 软件大小  64761.29444MB
  • 最后更新  2025/09/07 23:43:52
  • 最新版本  V2.11795.7
  • 文件格式  apk
  • 应用分类 ios-Android 麻豆🌿碧视频五码
  • 使用语言  中文
  •   需要联网
  • 系统要求  7.41689以上
应用介绍
妲己被爆❌吸乳羞羞图片原神被扒开腿做❌同人漫画下载
高清码➕❌♋免费漫画
日本❌❌奶头自慰
扒开疯狂揉❌脱脱内内动漫在线观看
瑶脱了内裤给我❌视频
动漫美女哭着扒开🍑
二次元扒开❌狂揉❌视频
黄色三级床上做爰

【联系我们】
客服热线:135-2881-646
加载更多
版本更新
V2.4.21
日本做受❌❌❌高潮179

金鱼损失随机剔除token,让AI不再死记硬背类似软件

猜你喜欢

包含 饿了么 的应用集
评论
  • 丝袜足控免费网站❎Xx漫画 8天前
    无码精品㊙️小仓由菜闺蜜
  • 国产又爽❌又黄❌免费鸣人 0天前
    91❤️中文
  • 原神申鹤疯狂❌自慰同人文 8天前
    草莓+丝瓜+黄瓜+向日葵+榴莲
  • 女帝被扒开腿爆❌ 6天前
    小🐔🐔伸进🈲🔞🔞网91
  • 禁欲总裁被摁着C四爱 8天前
    印度毛茸茸姓BBBBB
  • csgo暴躁妹妹免费观看电视剧 3天前
    91丨九色丨蝌蚪丨老版
  • 老妓女嫖free偷窥hd 9天前
    18🈲巨乳网站
  • 少萝裸体🔞🔞🔞视频网站 4天前
    神子疯狂❌喷水自慰爽漫画
  • 18🈲🍆🍑无套直菠萝视 7天前
    把jiji❌进女班长屁屁里
  • 3D动漫胸乳❌❌❌动漫网站 8天前
    小鲜肉GaYGAYS✅免费视频