← 返回瞬间A MOMENT OF INSPIRATION

一个值得记录的瞬间。

Reflection 放出 Beam 权重:总参 5013 亿、激活约 234 亿,Apache 2.0

Reflection 10-16 在 Hugging Face 发布首个开放权重模型 Beam,许可证 Apache 2.0。稀疏 MoE 架构,总参 5013 亿,每 token 激活约 234 亿,每个 MoE 层 256 个专家、每 token 路由 8 个;上下文 100 万 token,只做文本。权重提供 BF16、FP8、NVFP4 三种精度,另附投机解码草稿模型,BF16 检查点约 1TB。模型卡写明不禁止蒸馏和用输出训练其他模型。

预训练用了 23.8T token,在 6144 块 GB300 上跑了不到四周。RL 阶段用 1.05 万块 GB300 跑了四周,生成超过 1 亿条 rollout,训练与评分约用了 13 亿个沙箱。

Reflection 自测(BF16):SWE-bench Verified 81.6%、Terminal Bench 2.1 80.1%、MCP Atlas 80.8%、DeepSWE 1.1 43.3%。官方承认 Kimi K3 等开放模型原始能力仍然领先,Beam 主打效率,称达到相近质量所需推理 token 约少 3 倍。

首日支持 Transformers、vLLM、SGLang 等推理与微调框架,AWS、Google Cloud、Azure 等多家云和推理平台同步上线,Dell 和 HPE 负责私有化与隔离网络部署。

对照:Meta 前一天放出的 Muse Spark Open 用自定义许可证,以模型即服务对外提供且集团年营收超过 2000 万美元时须与 Meta 另签协议;Beam 的 Apache 2.0 没有这类门槛。

来源:https://reflection.ai/blog/beam-is-available

# Agent # 模型 # AI # 开源

一起交流