2025/09/07 03:12:18 1,033次浏览

当我们看到一张棋盘照片和一串看起来像天书一样的字母数字组合"rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR"时,可能很难相信它们其实在描述完全相同的信息——同一个国际象棋开局位置。然而,这正是多伦多大学计算机科学系的唐振伟、焦迪凡、杨布莱尔和安德森·阿什顿教授团队在2025年发表于COLM会议的最新研究所关注的核心问题。这项发表于2025年8月的研究论文完整标题为《SEAM: Semantically Equivalent Across Modalities Benchmark for Vision-Language Models》,感兴趣的读者可以通过arXiv:2508.18179v1访问完整论文。

当前的人工智能模型被称为"视觉-语言模型",就像是拥有眼睛和大脑的机器人,既能"看"图片,又能"读"文字。按理说,无论是给这些AI模型看一张国际象棋棋盘的照片,还是给它们看那串神秘的字母数字代码,它们都应该能得出相同的结论——因为这两种表达方式本质上传达的是同样的信息。然而现实情况并非如此简单。

研究团队发现了一个令人意外的现象:即便是最先进的AI模型,当面对语义上完全相同的信息时,如果这些信息以不同的方式呈现(比如图片versus文字),它们的表现会出现显著差异。这就好比一个人看地图很厉害,但是听路线描述就迷糊了,明明是同一条路线,只是表达方式不同而已。

为了深入研究这个问题,研究团队开发了一个名为SEAM的基准测试系统,全称是"跨模态语义等价基准"。这个系统的巧妙之处在于,它选择了四个有着标准化符号系统的领域:国际象棋、化学、音乐和图论。每个领域都有自己的"双语"表达方式——既有视觉图形,也有对应的文字符号系统。

在国际象棋领域,除了我们熟悉的黑白格棋盘图,还有一种叫做FEN记号的文字表示法,专业棋手经常使用这种简洁的代码来记录和分析棋局。化学领域有分子结构图和SMILES字符串两种表达方式,前者直观地展示原子和化学键的空间关系,后者则用一串特殊的字符来编码同样的信息。音乐世界里,五线谱是我们最熟悉的视觉表示,但还有一种叫做ABC记号的文字格式,能够用纯文本记录旋律和节奏。图论这个数学分支既可以用节点和连线的图形来表示网络关系,也可以用邻接矩阵这种数字表格来精确描述同样的连接模式。

研究团队精心设计了16个具体任务,每个领域包含4个不同类型的问题。以国际象棋为例,他们设计了战术分叉识别、合法走子判断、谜题求解和局面评估等任务。每个任务都准备了200道题目,总计3200个测试项目。这些题目的设计遵循一个关键原则:无论是看图片还是读文字描述,聪明的AI模型都应该能得出相同的答案,因为它们面对的本质上是同一个问题。

当研究团队用这套测试系统检验21个当前最先进的视觉-语言模型时,结果令人深思。从GPT-5到Claude-4,从开源的Qwen2.5到专有的InternVL系列,几乎所有模型都显现出了明显的"模态失衡"现象。简单来说,这些AI在处理文字信息时通常比处理图片信息表现更好,即便这些信息在本质上是相同的。

更有趣的是,不同领域的模态失衡程度并不一致。在国际象棋和化学领域,模型的视觉理解能力有时甚至能与文字理解能力媲美,偶尔还能略胜一筹。但是在音乐理解方面,文字输入几乎总是产生比图片输入更好的结果。而在图论任务中,这种差异变得更加明显,文字表示的邻接矩阵比图形化的网络图能让AI模型表现得更好。

研究团队深入分析了造成这种现象的原因,发现了两个主要的"罪魁祸首"。第一个问题出现在文字理解环节,具体表现为"分词错误"。当AI模型试图理解像SMILES化学式这样的特殊符号串时,它们的分词系统会将这些符号切割成毫无意义的片段。就像把一个完整的化学分子式"COC(=O)C(OC(C)(C)C)c1cc"错误地分解成"OC"、"cc"、"([" 等无关片段,这就好比把一个完整的电话号码随意分段,让人根本无法理解原始信息。

第二个问题存在于视觉理解过程中,表现为"视觉幻觉"。当AI模型分析图形时,有时会"看到"实际上不存在的连接或元素。研究团队发现,这种问题在图论任务中尤其明显,当图形在转换成小块输入给视觉系统时,如果分割点恰好经过节点之间的连接线,模型可能会产生混乱,误认为存在实际上并不存在的连接路径。

为了验证他们的发现不是由视觉呈现的细节差异造成的,研究团队进行了稳健性测试。他们对图片进行了各种变换,包括分辨率调整、黑白转换和180度旋转等,结果发现这些变化对模型性能的影响微乎其微,变化幅度仅在1-3个百分点之间。这证明了观察到的模态失衡确实源于深层的理解机制差异,而非表面的视觉细节问题。

研究团队还发现了另一个有趣现象:不同模型之间的"跨模态一致性"相当低。换句话说,即便是面对语义相同的问题,不同的AI模型在处理视觉信息和文字信息时经常给出不同的答案,这种不一致性远超随机猜测的水平。这就像几个人看同一张地图和听同一个路线描述后,却对目的地有着完全不同的理解。

更深入的分析揭示了一个令人担忧的现象:即便是那些在标准测试中表现优秀的大型模型,在面对真正需要跨模态理解的任务时,它们的内部表征(可以理解为大脑中的"概念地图")在不同模态间并没有很好地对齐。通过可视化技术,研究人员发现,当模型处理同一概念的视觉和文字表示时,它们在内部"大脑空间"中的位置相距甚远,就像两个本应重合的概念被放在了完全不同的思维区域。

这项研究的意义远不止是发现了AI模型的一个技术缺陷。它揭示了当前"多模态"人工智能的一个根本性挑战:真正的智能应该能够无缝地在不同表示形式之间转换和推理,就像人类专家无论是看到化学结构图还是读到化学式都能立刻识别出同一个分子一样。

研究团队的工作为未来的AI发展指明了方向。他们建议开发针对特定领域的专用分词器,以更好地处理专业符号系统。同时,他们认为需要改进视觉处理机制,减少因图像分割导致的信息丢失和错误解释。更重要的是,未来的AI系统应该具备更强的跨模态转换能力,能够在内部将不同形式的相同信息映射到统一的概念空间中。

这项研究的另一个重要贡献是为AI评估建立了新的标准。SEAM基准测试系统现在已经公开发布,包括完整的数据集、代码和在线排行榜,为研究社区提供了一个客观评估模态平衡能力的工具。这就像为汽车行业建立了新的安全测试标准,不仅要看车子跑得多快,还要看它在不同路况下的一致性表现。

从更广阔的视角来看,这项研究提醒我们,真正的人工智能不应该只是在单一任务上表现出色的专家,而应该像人类一样具备灵活的跨模态理解能力。当我们向通用人工智能迈进时,确保AI系统能够以同样的深度和一致性理解各种形式的信息表达,将是一个至关重要的里程碑。

说到底,这项研究揭示了一个简单却深刻的道理:同一件事情可以用很多种方式来表达,但真正的理解应该超越表达方式的差异,抓住事物的本质。虽然当前的AI模型在这方面还有很大的改进空间,但正是这样的研究为我们指出了前进的方向,让我们离真正智能的机器又近了一步。

Q&A

Q1:SEAM基准测试系统是什么?它如何检验AI模型的跨模态能力?

A:SEAM是"跨模态语义等价基准"的简称,由多伦多大学研究团队开发。它通过四个有标准化符号系统的领域(国际象棋、化学、音乐、图论)来测试AI模型。每个领域都有视觉和文字两种表达同一信息的方式,比如国际象棋棋盘图片和FEN代码、化学分子结构图和SMILES字符串。系统包含16个任务共3200道题目,检验AI模型面对相同信息的不同表达形式时是否能给出一致答案。

Q2:为什么当前的视觉-语言AI模型会出现模态失衡现象?

A:研究发现两个主要原因:一是文字处理中的分词错误,AI系统会将专业符号串错误分割成无意义片段,比如把完整的化学式分解成"OC"、"cc"等碎片;二是视觉处理中的"视觉幻觉",AI在分析图形时可能"看到"不存在的连接,特别是当图像被分割成小块输入时容易产生误解。这些问题导致相同信息的不同表达形式产生不同的理解结果。

Q3:这项研究对未来AI发展有什么重要意义?

A:这项研究揭示了通向真正通用人工智能的关键挑战——跨模态理解一致性。它为AI评估建立了新标准,不仅要看模型在单一任务上的表现,还要检验其处理不同表达形式时的一致性。研究指出了改进方向:开发专业领域的分词器、改进视觉处理机制、增强跨模态转换能力。这对构建真正能像人类一样灵活理解各种信息表达的AI系统具有重要指导意义。

多伦多大学:多模态AI的"视力"和"文字理解"为何不在一个频道上?
多伦多大学:多模态AI的"视力"和"文字理解"为何不在一个频道上?

关晓彤听分手歌100多遍鹿晗知道吗

「活动」kumawubiaotitest

478.71MB
版本V3.867.38
下载春野樱被❌到爽安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(220人)
评论 16
多伦多大学:多模态AI的"视力"和"文字理解"为何不在一个频道上?截图0 多伦多大学:多模态AI的"视力"和"文字理解"为何不在一个频道上?截图1 多伦多大学:多模态AI的"视力"和"文字理解"为何不在一个频道上?截图2 多伦多大学:多模态AI的"视力"和"文字理解"为何不在一个频道上?截图3 多伦多大学:多模态AI的"视力"和"文字理解"为何不在一个频道上?截图4
详细信息
  • 软件大小: 509.7MB
  • 最后更新: 2025/09/07 03:12:18
  • 最新版本: V6.2.7
  • 文件格式: apk
  • 应用分类:ios-Android 做爱签看的视频
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.072以上
应用介绍
一,娇喘成人🔞网亚洲精品,玖辛奈强❌乳喷自慰爽
二,男男禁🈲18网站免费推特重口,Free❌❌❌日本野外
三,又黄❌又色❌艳女TV,成人免费毛片❌❌❌加微信
四,班花趴下让我❌了一节课动漫,国产❌❌❌18🈲㊙️照片色桃
五,动漫同人又爽❌又黄❌免费网站,亚洲同性XXXXX老同朋友
六,成人免费视频❌❌❌网,原神小草神裸体❌开腿裸色,www.91色😍萝白丝
七,草莓视频18❤免费观看❤
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
男生被❌到爽🔞流牛奶文
  • 少妇无内裤被推油69XXⅩ

    鲁大师影院免费高清观看

    3D黄漫❌18禁漫画视频

    10.22MB
    108好评

    动漫美女被❌❌漫画羞羞

  • 美女裸身❌❌游戏

    小南大胸爆乳❌❌

    欧美男男GayGay✅

    92.17MB
    9990好评

    女人又爽❌又黄❌免费欧洲在线观看

  • 国产熟妇人妻ⅩXXXX麻四虎Chⅰnese7O农村BBW

    开腿爆❌乳液狂飙视频

    老师穿白丝jk被❌视频

    13.36MB
    314好评

    👅奶头张开腿被❌的视频网站

  • 女同学求我让我🌿她一下小说

    小黄书无遮韩漫♥免费网址

    FreeHD18❌❌❌3D下载

    53.20MB
    277好评

    AI聊天成人18禁㊙️

  • 国产又爽❌又黄❌免费动漫

    国产高清❌❌❌精品软件丝瓜软件

    女奥特曼裸乳被爆❌浆视频

    71.54MB
    704好评

    亚洲AV无码㊙️蜜桃诸光浠

  • 徐雅和OnlyFans合作详情介绍

    成人免费A片❌❌❌com

    成人毛毛视频❌❌❌

    83.74MB
    331好评

    小正大玩弄小太正Gay片

  • 小心🐤入🍑🍑视频的小说

    把🍌伸进老师的🍑里劫漫

    美国三黄顶级好片一一

    23.97MB
    108好评

    西施被❌到爽漫画网站

  • 小心🐤伸入女人的🍑视频

    XXNX👙老帅18动漫

    伊蕾娜裸体被❌

    50.67MB
    928好评

    姬小满🌸扒腿爽出白色

  • 免费无遮挡🔞图片

    中国农村妇女内谢

    男男做性㊙️X推男同软件

    83.79MB
    564好评

    鞠婧祎裸被❌AI换脸

  • 动漫美女被❌到很爽的部位

    草🌿榴一区二区三区

    男生的隐私裸体㊙️偷拍

    83.76MB
    757好评

    医生把我添高潮了A片

  • 性少妇hdsexfree69

    美女又爽❌又黄❌在线

    男人猛躁女人㊙️91网站

    32.67MB
    622好评

    日本❌❌⭕️⭕️A片

  • 骇爪裸体❌开腿

    打白嫩屁屁㊙️网站日本

    高清🈚码🔞❌♋免费爱

    26.17MB
    272好评

    疯狂❌自慰喷水www

  • 男人㊙️桶进美女尿囗大胸小说

    美女被❌奶头吸乳羞羞

    东北人做爰高潮视频

    65.10MB
    742好评

    撕开内衣👙看奶头和亲嘴的视频

  • 秦彻物被❌黄漫免费3d视频

    扒开❌狂揉❌喷水视频漫画

    国产精品对白刺激蜜臀AV

    54.54MB
    758好评

    毛片aaabbbbb

  • 摘花XXⅩXX性无码视频

    原神胡桃18❌免费网站

    FuckGgy❌❌❌game

    57.19MB
    689好评

    考比胖女人

  • 美女cos瑶被❌羞羞漫画

    18д❤️❌▶️

    成人网站在线无限看❤免费真人

    24.28MB
    351好评

    扒开美女内衣👙玩坤坤

  • 中国美女一级特黄大片高清播放↗

    ceкес欧美видео⚡️

    18娇喘❌❌⭕⭕白丝国产

    13.89MB
    311好评

    雏田❌小樱劲爆

  • 中国明星性❌❌❌❌HD

    曰本成人性交九九色视

    裸体裸乳🍑被🍌无码视频

    84.89MB
    214好评

    小🐔🐔伸进🈲🔞🔞9丫

  • 禁漫🍆🍑动漫

    XXXXXX泡妞🍆🍑免费视频

    欧美色播❌❌1218

    45.97MB
    737好评

    美女又爽❌又黄❌丝袜666AV

  • 打美女白嫩㊙️屁屁网站免费

    申鹤被❌到爽🔞高潮痉挛

    少妇性生交免费观看天气预报

    10.08MB
    188好评

    18禁色情👅❤️在线搜索

  • 做爰❌❌❌视频毛片下载蜜桃视频

    麻豆视频成人免费版

    成人免费❌❌❌在线观看

    44.28MB
    365好评

    国产老头操老妈

  • 女仆扒开腿㊙️让人看

    艾莉被❌❌爆乳无尽小说

    男模㊙️洗澡露蛋

    91.73MB
    202好评

    不受限制的聊天软件有哪些

  • 我和80岁老太岳高潮

    女被❌c🐻黄扒衣服办公室免费视频

    原神黄漫❌18禁妖精动漫网站

    30.89MB
    901好评

    老师爆乳❌流出清水电影

  • 男男互肛Gay唯美🌿

    国模福利视频在线播放

    麻豆国产精品㊙️2023年

    30.19MB
    546好评

    公交车一边做爰一边吃奶

  • 真人性生交免费视频

    18🈲视频❌❌❌蘑菇视频

    深夜成人无码免费看网站软件

    29.35MB
    124好评

    销魂视频网站入口

  • 麻豆🔞视频在线观看免费网

    欧美18V❌❌❌❌视频

    嗯啊~被男朋友添奶头视频

    70.14MB
    455好评

    王雨纯被❌出水了

  • 扒胡列娜衣服并❌她小🐔🐔伸进🈲🔞🔞护士视频 title="国产精密㊙️入口麻豆" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    男男裸体㊙️洗澡全过程

    不知火舞被❌3D同人真人

  • 粗大的🐔巴再里面导出15岁初中生免费观看电视剧 title="hdjapanxxix" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    免费被❌黄网站无打码真人

    成人🔞免费精品动漫

  • 又黄又禁❌视频无遮挡直播91❌爆❌洗澡❌ title="美女校🌸腿张开点让我一进一出" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    成人免费毛片❌❌❌日本

    疯狂❌自慰www网站

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 女儿的朋友5在完整视频有翻译 4天前
    男女被❌到爽🔞流乳液
  • asian中国艳妇肉体Pⅰcs 9天前
    绳精病
  • 扒开动漫❌狂揉❌无遮挡小说 9天前
    扒开动漫❌狂揉❌羞羞3H
  • 男女相一起愁愁愁免费观看电视剧 6天前
    色情18🈲爆乳在线观看
  • 黄漫AV❤️羞羞漫画入口 1天前
    国产➕高潮➕视频动漫
  • 奶头18禁㊙️无遮挡免费APP 0天前
    老师脱👙摸🐻欧美
  • 美女➕光屁屁➕无遮挡C哭 5天前
    欧美色妓❌Ⅹ❌
  • 被同学粗大的🐔巴进出 0天前
    初音未来❌️暴爽自慰水
  • 云缨同人18❌羞羞漫画 1天前
    少妇被❌到爽🔞流爽挤奶
  • 亚洲欧洲❌❌⭕️⭕️高潮 8天前
    国产真实乱婬A片免费看小优视频