Pokee发布1000万Token模型，上下文接近主流模型10倍
据动察 Beating 监测，AI Agent 创业公司 Pokee AI 发布 Pokee-Isaac 28B。模型参数总量只有 280 亿，上下文窗口却达到 1000 万 Token。目前主流模型的上限约为 100 万 Token，Isaac 接近它们的 10 倍。Pokee 自测中，Isaac 在 RULER 长文本测试里，从 25.6 万到 400 万 Token 一直保持在 95 分上下。拉满 1000 万 Token 后，得分仍有 93.3。其余五款对照模型从 200 万 Token 起都没有返回可用结果。Pokee 把超长上下文归因于自研的「非纯 Decoder-only 架构」，即没有完全沿用常见大模型的纯解码器结构。不过，技术报告没有公开具体架构、注意力机制和显存方案，外界暂时无法判断它究竟怎么做到的。Pokee AI 成立于 2024 年，由前 Meta 应用强化学习负责人朱哲清创办。公司曾获得 Point72 Ventures 领投的 1200 万美元种子轮，高通创投和 Samsung NEXT 等参投。[原文链接]