LongCat-2.0-Preview – 美团推出的万亿参数级大模型预览版

LongCat-2.0-Preview是什么

LongCat-2.0-Preview 是美团推出的万亿参数级大模型预览版，采用 MoE 架构，总参数达 1.6T、激活参数约 48B，支持 1M 超长上下文。模型基于 5–6 万张国产加速卡完成全流程训练与推理，英伟达算力占比为 0，系业内首次在国产芯片上跑通万亿级大模型训推闭环，目前模型已开放内测，每日提供 1000 万免费 Token 额度。

LongCat-2.0-Preview的主要功能

• 超长上下文理解：支持 1M token 长文本输入，可处理整本书籍、大型代码库、长篇报告等海量内容。
• 代码生成与推理：基于 MoE 架构精准调度专家网络，在编程、数学推理与复杂指令跟随任务中表现稳定。
• 多轮对话与语义检索：通过稀疏注意力机制，在长对话历史中快速定位关键信息，减少重复计算。
• 多模态内容理解：结合美团在本地生活场景的积累，支持对复杂业务文档、图文混合内容的深度解析。

LongCat-2.0-Preview的技术原理

• MoE（混合专家）架构：总参数 1.6T 中仅激活 48B 参与单次前向计算，通过门控路由动态选择最相关的专家模块，降低推理成本。
• N-gram Embedding：将部分原本位于专家层的参数前移至 Embedding 层，引入词组级建模能力，使高频语言模式可直接匹配命中，减少逐层计算开销。
• 稀疏注意力与跨层流感知索引：引入轻量稀疏注意力机制，叠加跨层语义路径索引，避免全量 O(n²) Attention 计算，保障 1M 上下文下的推理延迟可控。
• 确定性算子自研：针对国产芯片生态，自研 FlashAttention 反向梯度（FAG）、Scatter 类算子及 GEMM 模块，将性能损失控制在 5% 左右，确保万卡集群长期训练的可复现性。
• 显存与通信优化：通过 V-ZB 算法将训练峰值显存压缩至 60GB 以下，重构专家并行（EP）、张量并行（TP）与流水线并行（PP）策略，适配国产芯片带宽与显存约束。

如何使用LongCat-2.0-Preview

• 申请内测资格：访问LongCat开放平台，官网点击内测申请入口，填写基本信息并提交审核。

• 等待审核通过：团队将在申请提交后进行资格审核，通过后以邮件或短信形式通知用户开通权限。

• 登录平台获取额度：用审核通过的账号登录 LongCat 平台，系统自动发放每日 1000 万 Token 的免费调用额度。

• 选择接入方式：用户可通过 Web 聊天界面直接体验，或根据文档指引获取 API Key，将模型接入自有应用与工作流程。

• 开始长文本任务：在对话框或 API 请求中输入长文档、代码库或复杂指令，模型将基于 1M 上下文窗口与 MoE 专家网络完成推理并返回结果。

关注公众号：拾黑（shiheibook）了解更多

友情链接：

关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站：https://www.yaorank.com/