2025/09/07 02:18:25 1,874次浏览

智东西 作者 陈骏达 编辑 云鹏

智东西9月1日报道,昨日,美团发布了其首款开源大模型LongCat-Flash,这是一款拥有5600亿个总参数的MoE(混合专家)模型。

推理速度是这一模型最大的特点之一。美团称,这一模型具备快捷连接架构,扩展了计算-通信重叠窗口,实现了 每秒超过100个token的推理速度 ,理论每token输出时间 相比DeepSeek-V3降低近50% 。

智东西的实测也印证了这点:我们要求其输出大约100个token的内容,除去首token延时后,输出速度确实在100 tokens/秒左右。

LongCat-Flash目前 暂时不支持文件、图像等多模态内容的上传 。网页端内,提供了联网搜索功能,但 深度思考功能显示为“敬请期待” 的状态。

在今年5月的财报电话中,美团创始人兼CEO王兴已经透露了LongCat模型的更多信息,他称,“增强后的模型(指LongCat)现在可以 在推理和非推理模式之间无缝切换 ”,性能接近GPT-4o。王兴还在电话会议中定调称,美团在AI领域的战略是 主动进攻 ,而不是被动防守,其AI战略包含工作中的AI、产品中的AI和自研大语言模型。

另据公众号01 Founder爆料,经过01 Founder与多方信源的交叉确认,LongCat-Flash的训练并非在英伟达GPU上完成,在其官方技术报告中,美团使用了“ 数万个加速卡 ”的模糊表述,由于一些原因,该硬件厂商的具体名字不方便透露。不过,美团对具体使用何种GPU尚无官方信息放出。

根据美团龙猫团队分享的技术报告,LongCat-Flash采用了创新的MoE架构,引入 零计算专家 ,减少了在低难度token上浪费的计算资源,从而提升推理效率。

与DeepSeek-V3.1、Kimi-K2、Qwen3 MoE-2507等头部开源模型相比,LongCat-Flash在通用领域、编程等场景的能力还有一定差距, 但在Agentic工具调用、指令遵循等场景中,LongCat-Flash达到了开源模型SOTA的水准。

这一模型已经上线Hugging Face、GitHub等开源平台,技术报告同步发布。同时,美团也提供了LongCat-Flash模型的网页版体验链接,智东西第一时间对其能力进行了体验。

Hugging Face地址:

huggingface.co/meituan-longcat

GitHub地址:

github.com/meituan-longcat/LongCat-Flash-Chat

技术报告链接:

github.com/meituan-longcat/LongCat-Flash-Chat/blob/main/tech_report.pdf

网页版:

longcat.ai/

一、锐评外卖大战阶段性战况,但算不清小学数学

智东西对LongCat-Flash的数学、编程、搜索、常识等能力进行了体验。LongCat-Flash介绍,自己的知识截止时间为2024年6月,在不开启联网的情况下,它对之后发生的事情并不了解。

当被问及腾讯元宝这一AI工具的开发者是谁时,LongCat-Flash已经无法给出正确答案,它称元宝是美团开发的。元宝的发布时间为2024年5月30号,刚好卡在其知识截止时间的边界。

紧接着,我们让LongCat-Flash完成联网搜索,整合信息并输出研报这一常见的工作流,使用的案例是最新的“外卖大战”,要求LongCat-Flash 搜索美团、阿里和京东三家企业的最新财报,并对“外卖大战”做一个阶段性评估。

LongCat-Flash仅搜索了10个网页,与其他大模型相比数量较少。同时,其信源构成较为单一,主要来自百家号,缺少对权威媒体、公司官网等信源的覆盖,在明确要求其查询公司官网后,也未能在引用链接中看到相关网页。

其引用的财报数据准确,分析部分基本符合业内对阿里、美团、京东三家外卖大战的主流观点。 LongCat-Flash的结论中更看好阿里,不过并未提出过多新见解。

在9.8-9.11这类大模型容易“翻车”的简单算数上,LongCat-Flash未能幸免。 它很快给出了答案,但结果明显错误。可以看到,模型没有自主验证结果的准确性,更像是“拍脑门”给出了答案。

在计算利息这类更为场景化的数学题中,LongCat-Flash能给出更为全面的分析和解题过程,并最终得出正确答案。

通用知识场景中,我们让LongCat-Flash在未开启联网搜索的情况下,解释了“为什么天空在白天是蓝色的,而在日落时会变红?”这一现象。

LongCat-Flash的解释分为三个部分,不仅提供了对白天、日落时天空颜色的解释,还补充了日出时颜色与前者的区别。其引用的理论准确,还能用表格清晰呈现,并主动提供了参考科普资料。

在编程场景,我们让LongCat-Flash打造一个以龙猫为主题的小游戏。模型能按照要求在单一HTML网页中实现游戏功能,但是游戏机制设计得不合理,导致可玩性一般。

二、采用新颖MoE架构,给专家合作搭建“捷径”

技术报告中,美团分享了LongCat-Flash在模型架构设计和多阶段训练流水线的更多细节。

LongCat-Flash采用了一种新颖的MoE架构,这是模型实现较高推理效率的核心。

这一架构的主要模块如下:

1、零计算专家(zero-computation experts)

在下一个token预测任务中,本身就存在计算负载的差异性,困难的token(例如推理复杂或语境模糊的部分)需要更多算力才能预测准确,简单的token(如常见词或模式化结构)几乎不需要多少计算。

LongCat-Flash拥有一种动态算力资源分配机制,会将部分相对简单的token交给零计算专家处理。这些专家的特点是直接把输入原样输出,不做任何计算,因此不会额外增加计算成本。

每个token的激活专家数量会因上下文而异,模型因此能对重要token分配更多算力, 对简单token分配更少算力 ,从而在相同的算力预算下,获得更好的性能。

为了让模型真正学会这种“因上下文而异”的计算分配,必须对 零计算专家的平均使用比例 进行细粒度控制。否则,模型可能会过度依赖普通专家,而忽视零计算专家,导致资源利用效率低下。

LongCat-Flash给每个专家引入一个 专家偏置项(bias) ,根据其近期使用情况动态调整路由分数。这些偏置不影响语言模型的主要训练目标,仅用于保持计算资源分布的均衡。同时,LongCat-Flash还通过负载均衡控制,确保了MoE模型的高效训练。

2、快捷连接架构MoE(Shortcut-Connected MoE,ScMoE)

在大规模MoE模型中,通信开销仍是主要瓶颈。传统的执行方式下,专家并行需要严格的顺序流程:必须先完成一次全局通信,将token路由到对应的专家,然后才能开始计算。这种通信延迟会导致设备利用率不足,从而限制整体系统吞吐量。

共享专家架构尝试通过将通信与单个专家的计算重叠来缓解上述问题,但由于单个专家的计算窗口太小,效率提升有限。

为突破这一限制,美团提出了快捷连接架构MoE, 在层与层之间引入跨层的捷径(Shortcut) ,重新排序执行流程。这一创新使得前一层的稠密计算能够与当前MoE层的分发/聚合通信并行执行,形成比共享专家更大的重叠窗口。

测试显示,ScMoE与非ScMoE基线模型的训练损失曲线几乎相同,说明这种重排不会损害模型性能。

同时,ScMoE带来显著的效率提升,更大的重叠窗口使得前一层计算可以与当前MoE通信阶段完全并行,提升训练效率。推理过程中,ScMoE启用单批次重叠流水线,使得理论每token输出时间相比头部模型(如DeepSeek-V3)降低近50%。

同时,它还支持不同通信模式并行:节点内的张量并行通信(通过NVLink实现)与节点间的专家并行通信(通过RDMA实现)可以完全重叠,最大化网络利用率。

3、可扩展的方差对齐设计

随着模型规模的扩大,一些在小规模下表现良好的架构可能变得次优,导致模型性能不稳定。通过实验和理论分析,LongCat-Flash团队发现模块内部的 方差不匹配 是造成这种问题的关键因素。

为此,他们提出了针对MLA(Multi-head Latent Attention,多头注意力)和MoE模块的方差对齐方法,通过引入了两个尺度修正因子和专家初始化的方差补偿,以提升模型可扩展性和稳定性。

三、模型从半规模版本扩展而来,Agent能力突出

在模型扩展与训练策略上,LongCat-Flash构建了一个完整的稳定性与扩展性框架。

LongCat-Flash团队没有直接在数千亿参数的模型上反复试错,而是采用了“以小推大”的策略:先在一个小规模的模型上系统地搜索学习率、初始化方差等参数,然后通过理论推导的规则将这些最佳配置迁移到大模型中。这种方法既节省了大量算力,又能保证超参数在大模型中依然合适。

其次,在模型初始化上, 团队通过“模型增长”的方式,让训练过程更加平稳。 该团队先训练了一个“半规模(half scale)”的模型,等它收敛到一定程度后,再把它扩展成完整的大模型继续训练。

新的大模型虽然在最初会出现轻微的波动,但很快就能进入稳定收敛状态,最终表现也明显优于完全随机初始化的做法。

为了进一步保证训练过程的稳定性,LongCat-Flash还配备了一套多维度的稳定性方案。

在路由层面,控制了不同专家的负载分布,避免出现有的专家过度繁忙、有的却长期闲置的情况。

在激活层面,LongCat-Flash引入了类似“保险丝”的机制,对异常大的激活值施加轻微约束,从而防止训练突然崩溃。

在优化器层面,LongCat-Flash团队对Adam的参数做了细致调整,使其在大规模训练场景下依然数值稳定。三方面配合,使模型在长时间训练中都能保持平稳,不会出现不可恢复的损失峰值。

在训练可靠性上,该团队还特别强调了可复现性和错误检测。这种严格的精度控制不仅保证了实验可复现,还能帮助快速发现和定位所谓的“静默数据损坏”(SDC),避免错误在大规模分布式系统中被掩盖。

通过这些设计,LongCat-Flash不仅能在数万张加速卡上稳定训练,还能保证训练结果可控、可靠,真正实现了在超大规模模型上的稳健扩展。

在训练流程上, 模型采用多阶段管线。 首先,通过双阶段预训练数据融合,逐步提升推理密集型数据(STEM知识与代码)的比例,构建出更适合后训练的基础模型。

在中期训练中,模型的上下文被扩展至128k tokens,并利用合成数据进一步增强推理与编程能力。

在后训练阶段,LongCat-Flash团队针对推理、编程和代理任务分别设计了数据与方法,尤其是提出多Agent合成框架,从信息处理、工具复杂度、用户交互三方面生成高难度任务,以锻炼模型的Agent能力。

在训练基础设施方面,团队进行了内核优化、分布式并行策略设计以及监控与容错机制的开发,使得模型能在数万张加速卡上稳定训练。

结合计算与通信编排、推测解码、KV缓存优化、量化与调度优化, 模型在推理中实现了每秒超100 tokens的吞吐,并将成本控制在0.7美元/百万tokens(约合人民币5元)。

LongCat-Flash团队在30项基准测试上评估了模型的能力,可以看到,Agent任务是这一模型能力的“长板”,相较DeepSeek-V3.1、Qwen3 MoE-2507和Kimi-K2等国产开源有明显优势,但在编程、数学、推理等方面还有提升空间。

结语:主动进攻的美团,要打造AI原生产品

LongCat-Flash技术团队透露,此次开源,他们旨在推动高效MoE架构、高质量数据策略以及自主Agent模型的相关研究,促进社区在大型语言模型领域的创新。

财报电话中,美团透露,已经在利用AI优化现有产品,并打造全新的AI原生产品,如AI运营助手等、消费者AI助手等。未来,美团在大模型领域的进展,值得持续关注。

美团首个开源大模型来了!5600亿个参数,推理速度比DeepSeek-V3快50%
美团首个开源大模型来了!5600亿个参数,推理速度比DeepSeek-V3快50%

云南绿色能源也太丰富了

「活动」kumawubiaotitest

9.71MB
版本V3.435.38
下载斗罗大陆小舞3D❌禁漫在线安装你想要的应用 更方便 更快捷 发现更多
喜欢 51%好评(5人)
评论 16
美团首个开源大模型来了!5600亿个参数,推理速度比DeepSeek-V3快50%截图0 美团首个开源大模型来了!5600亿个参数,推理速度比DeepSeek-V3快50%截图1 美团首个开源大模型来了!5600亿个参数,推理速度比DeepSeek-V3快50%截图2 美团首个开源大模型来了!5600亿个参数,推理速度比DeepSeek-V3快50%截图3 美团首个开源大模型来了!5600亿个参数,推理速度比DeepSeek-V3快50%截图4
详细信息
  • 软件大小: 321.18MB
  • 最后更新: 2025/09/07 02:18:25
  • 最新版本: V6.745.7
  • 文件格式: apk
  • 应用分类:ios-Android 女生❌c🐻扒衣服
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.042以上
应用介绍
一,XXXXXXX🍆🍑免费暴力欧美,银狼被❌到爽🔞高潮痉挛
二,撕开👙摸美女奶头和屁股爽,3D动漫同人黄网站www
三,孕妇美女的大B,8❌8❌永久华人在线观看
四,十八禁🔞摸下载,女被❌c🐻黄扒衣服高清摄像头
五,户外美女撒尿㊙️,玖辛奈被❌到自慰的网站
六,动🍆🍑🔞❌❌神秘色,xxxxxxx18中国,老太太一级黄片免费一级婬片A片啪啪声小说
七,女扑扒开露㊙️让人爽桶
【联系我们】
客服热线:134-2881-646
加载更多
版本更新
V7.5.17
欧美性607080
  • 🔞无码国产传媒果冻传媒人妻

    打白嫩㊙️光屁屁女网站下载

    散兵被狂揉下部❌羞羞动微博

    5.03MB
    109好评

    动漫⭕️吸乳羞羞免费网站

  • 欧阳娜娜裸被❌高清网站

    看黄免费高清视频无风险

    原神❌18禁

    724.86MB
    6940好评

    精品欧美А∨无码黑人久久久老牛

  • 男男GAY✅打屁屁体育老师

    91吃瓜爆料黑料网曝门

    Free❌❌❌中国小鲜肉

    13.58MB
    313好评

    学生高中三级全黄

  • 被三个老头开了嫩苞

    瘦小女孩做爱视频

    欧美成人做爰A片免费看软件探花

    53.58MB
    270好评

    扒开雏田疯狂揉❌难受3d

  • 中国老太卖婬视频

    成人网站在线无限看❤免费二次元

    美女把🐻给男生

    71.62MB
    708好评

    成都私人情侣免费看电视剧的软件

  • 被❌🍑下部🔞

    男模裸J照无遮挡🔞网站视频

    校花主动脱👙让我🌿小说

    83.87MB
    334好评

    国产亚洲怮女专区

  • 91无码➕高潮➕在线偷拍电影

    校花裸体㊙️洗澡视频

    女人扒开腿让男人桶㊙️九色

    23.74MB
    102好评

    涩涩同人❌18r原子之心

  • FUCKGay❌❌❌潮喷

    日本少女破处另类

    女女自慰久久喷水www免费观看

    50.14MB
    924好评

    舒淇三级全黄无删减版

  • 小医仙扒开🐻让我❌❌❌

    老师让我❌她我爽了一

    成人🔞涩涩小片视频免费

    83.35MB
    563好评

    91久久精品产国品一二三产区

  • 精品🈚码产区一区二www

    小受被爆🌿漫画

    王妃当众被迫高潮H高

    83.39MB
    750好评

    肉Po酱的小说

  • 91l九色国产l白浆㊙️

    把女人❌到嗷嗷嗷叫视频

    成人码㊙️免费网站动漫

    32.01MB
    623好评

    女同桌让我❌她我爽了好久

  • 13岁学生粉嫩小泬无遮挡

    ㊙️成片免费网址APP绿巨人

    非洲女人毛多水多高潮多

    26.02MB
    273好评

    🈚码18🈲免费视频

  • 17c㊙️蜜桃视频

    处破女见血A片免费观看60

    国产在线观看被做哭A片高清

    65.69MB
    747好评

    白丝袜❌美女扒开裙子图片

  • XXNX👙2019

    免费看裸体🔞🔞🔞裹视频

    ❌c🐻黄扒衣服

    54.43MB
    757好评

    扒开❌狂揉❌喷水视频免费

  • 八重神子被❌吸乳羞羞漫画

    好爽⋯要高潮了⋯深点流血了

    91少妇丨PORNY丨💃🏻vlp

    57.90MB
    685好评

    3D美女被爆❌羞羞

  • 国产精品🔞❌❌

    jzjzz成人免费视频

    韩国❌❌❌性猛交

    24.42MB
    354好评

    男男GAY无套✅互摸

  • 美女被❌到爽🔞高潮草莓软件

    火车上少妇一级A片

    欧美激情无码乱妇视频A片秀色六十岁全裸免费性毛片

    13.10MB
    314好评

    男女69被添全过程A片

  • 男的下面越大🌿女的越爽嘛视频

    扒開腿灌牛奶🥛調网站

    原神绫华疯狂❌喷水自慰91

    84.06MB
    214好评

    涩里番app黄版❤APP

  • 日漫白丝❌jk❌乳❌视频

    jlzz泡妞免费下载

    虐乳➕灌肠➕虐菊

    45.66MB
    736好评

    散兵被扒开腿做❌同人漫画下载

  • 免费看二人做爰视频

    男女扒开🍑伸进🍌❌漫画

    美女㊙️给男人桶爽动漫

    10.20MB
    180好评

    免费看女生裸体🔞🔞

  • 中国老头logoDADDy

    欧美专干屁股眼的片

    成人看免费性爱生活片

    44.74MB
    367好评

    国产天美㊙️入口A级

  • 韩国特级做人爱c级

    男同♂被❌到爽了流

    老师胸乳❌❌❌裸露网站视频

    91.95MB
    206好评

    🈚码🔞❌♋免费17

  • 91🔺♥️🍄www.91色😍萝

    ❤️国产精品海角社区在线

    🔞吃奶摸下激烈

    30.08MB
    903好评

    小鲜肉GayGay✅免费视频

  • 美女脱了👙让男人桶

    三月七被❌吸乳脱内内免费网站

    淑蓉好爽⋯好紧⋯宝贝老卫

    30.75MB
    547好评

    好湿⋯好紧⋯出奶水了大夫

  • 胖熊同性Gay❌❌❌做

    、久久一级毛↗片免费播放

    jiojio给你打枪最新版

    29.66MB
    121好评

    已满十八岁免费观看电视剧动漫

  • 🔞成人9Ⅰ免费影视网站动漫

    亚洲女人裸体㊙️

    涩涩🔞动漫乱码精品APP

    70.55MB
    452好评

    韩国AV➕无码➕高潮

  • 日本动漫❌❌吸乳视频动漫女❌❌吸乳 title="菠萝视频成人🔞高潮片免费" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    欧美极品❌❌❌❌❌青楼12房

    光头强❌赵琳18禁羞羞动

  • 被❌到爽🔞流片免费观看杨幂脱了精光让人摸㊙️ title="欧美视频二区" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    XX乂乂㊙️XXX人XXXXX

    ZO00❌Ⅹ❌❌性欧男

  • 8X81.ccjzzjzzjzz大学 title="被C到喷水嗯H厨房少妇的漫画" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    熟女老妇另类HD

    少妇做爰猛烈进入A片视频

{{.转码Keywords}} 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 学生被❌到爽🔞流牛奶免费漫画 1天前
    成人影片9乂❌3Cn
  • 同人黄漫画网站❌免费APP 3天前
    小樱被佐助🌿的喊停文
  • 16学生毛片水真多学生 9天前
    瓢虫雷迪同人文车🚗
  • 国内9lporm自拍视频区 9天前
    🐔巴高潮一区二区三区
  • japanwwwA片 4天前
    💖少妇💖水www影院
  • 脱👙认模🐻91网站 8天前
    国产乱妇无码大黄AA片
  • 俄美女与黑人一级A片 8天前
    破苞XXX性摘花69XX
  • 91美女㊙片黄在线观看游戏 8天前
    小樱被鸣人❌无码视频
  • 猛男GayGay✅欧美网站 0天前
    18🔞🍆🍑无套直
  • 尼亚州AZ㊙️一区二区三 1天前
    动漫裸体㊙️在线观看