热闻岛
重磅开源!原生多模态 LongCat-Next 发布,让视觉和语音成为 AI 的“母语”
AI新闻

重磅开源!原生多模态 LongCat-Next 发布,让视觉和语音成为 AI 的“母语”

2026年6月4日 15:482 阅读
全球人工智能界正迎来一场关于“AI母语”的技术革新。针对当前大模型普遍存在的“以语言为中心、外挂视觉或语音模块”的拼凑式异构架构,大模型研发团队于近日正式发布并开源了全新原生多模态大模型 LongCat-Next 及其核心的离散分词器,旨在打破模态阻隔,让 AI 能够像处理文字一样原生地理解和感知物理世界。 这一破局之举的核心在于重构了 AI 的底层架构。团

全球人工智能界正迎来一场关于“AI母语”的技术革新。针对当前大模型普遍存在的“以语言为中心、外挂视觉或语音模块”的拼凑式异构架构,大模型研发团队于近日正式发布并开源了全新原生多模态大模型 LongCat-Next 及其核心的离散分词器,旨在打破模态阻隔,让 AI 能够像处理文字一样原生地理解和感知物理世界。

这一破局之举的核心在于重构了 AI 的底层架构。团队在研究中发现,在统一的建模框架与优化目标下,可以构造出一种语义完备的离散表示。为此,LongCat-Next 引入了全新的 DiNA(离散原生自回归)架构,彻底改变了过去多模态信息仅能“被投影”而无法“被内化”的困境。该架构将图像、声音和文字统一转化为同源的离散 Token,让所有模态在底座模型中共享同一套参数、注意力机制和损失函数。无论是视觉的看与画,还是听觉的听与说,在数学形式上都被收敛为优雅的“下一 Token 预测(NTP)”,从而实现了架构的极简与部署的轻量化。

在“视觉单词”的构造上,团队首创了 dNaViT(离散原生分辨率视觉分词器)技术。该技术支持原生任意分辨率,在处理文档解析和复杂图表推理等细节敏感任务时表现优异。dNaViT 采用8层残差向量量化(RVQ)机制,实现了高达28倍的 极致 像素空间压缩,并利用解耦的双轨生成解码器确保了图像和文本还原的高保真度。这种设计实现了“图像→Token→图像”的完整闭环,让模型在语言内部真正学习并内生出属于自己的视觉语言。

针对行业公认的“离散化必然损失信息”难题,团队通过构建 SAE(语义对齐编码器)对表征进行层级化拟合,成功在有限的离散空间内逼近高维连续表示,证明了离散表示同样能成为统一理解与生成的完备载体。在以 LongCat-Flash-Lite MoE(68.5B总参数,3B激活参数)为基座的基准测试中,LongCat-Next 展现出了极具工业级潜力的跨模态协同能力。在 OmniDocBench 测试中,其表现不仅超越了 Qwen3-Omni,更击败了专用视觉模型 Qwen3-VL,打破了离散模型不擅长细粒度感知的刻板印象。

此外,该统一框架在实现跨模态协同的同时,并未折损其核心语言能力。数据显示,LongCat-Next 在 MMLU-Pro 和 C-Eval 等纯文本测试中表现持续领先;在工具调用与代码编写上,其 SWE-Bench 成绩显著超越同类模型。在音频领域,该模型同样大放异彩,不仅在 SeedTTS 的中英文语音合成中实现了极低的误字率,还支持低延迟的并行文本语音生成与个性化语音克隆。随着该模型在 GitHub 与 HuggingFace 的全量开源,原生多模态技术正迈向更深远的产业落地。

声明:本文仅代表作者观点,不代表本平台立场

评论 (0)

登录后即可发表评论

去登录
暂无评论,快来抢沙发

相关推荐

AI日报:微信开放平台发布AI生态接入指引;月之暗面再融资20亿美元;ChatGPT紧急上线封锁模式
AI新闻

AI日报:微信开放平台发布AI生态接入指引;月之暗面再融资20亿美元;ChatGPT紧急上线封锁模式

欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。 1、微信开放平台发布AI生态接入指引,小程序可支持微信AI直接调用 微信开放平台发布《关于开发者接入微信AI生态的指引》,为小程序开发者提供便捷接入微信AI生态的能力,标志着微信加速构建智能交互生态。 2、高

1017 小时前
披着便利外衣的陷阱!国安部鸣枪警告:警惕“AI中转站”四大致命风险
AI新闻

披着便利外衣的陷阱!国安部鸣枪警告:警惕“AI中转站”四大致命风险

随着人工智能应用需求的爆发式增长,批量提供海内外大模型访问服务的“AI中转站”在网络上迅速走红。这类平台通过统一整合各大厂商的应用程序接口(API),充当起用户与大模型之间的“中介”。 它们凭借着无需切换模型、使用价格低廉以及支付方式便捷等特点吸引了大量用户,甚至还能帮助部分人绕过合规限制。然而,国家安全部近日发文特别提醒,当前该市场鱼龙混杂,其中暗藏的数据

817 小时前
月之暗面再度融资 20 亿美元,估值飙升至 300 亿
AI新闻

月之暗面再度融资 20 亿美元,估值飙升至 300 亿

在人工智能领域的竞争愈发激烈之际,知名初创公司 “月之暗面”(Moonshot AI)正在积极寻求新一轮融资,目标金额高达 20 亿美元。这一融资计划若成功实施,将使其估值达到 300 亿美元,相较于去年 12 月的估值暴涨七倍之多,令人瞩目。 根据彭博社的报道,这家开发了知名聊天机器人 Kimi 的公司,正在与多家潜在投资者进行初步接洽,预计至少将募集到

817 小时前
​谷歌澄清 Chrome 搜索重定向至 AI 模式并非新计划
AI新闻

​谷歌澄清 Chrome 搜索重定向至 AI 模式并非新计划

近日,有关谷歌 Chrome 浏览器在 最新 金丝雀版本中测试一项新功能的消息引发广泛关注。该功能允许用户在地址栏中输入搜索词时,直接进入 AI 模式,而不是跳转到传统的 Google 搜索页面。此消息最初由 Windows Report 报道,随后谷歌对此进行了回应。 谷歌确认,此项功能的测试实际上是一个错误,并且没有计划将其设为默认行为。根据谷歌的说明,

917 小时前