AWS发起Trainium Frontier竞赛：从零训练语言模型，探索专用芯片上的最优架构
竞赛分两阶段，第一阶段在单个Trainium2芯片上以 30 分钟训练预算比拼验证集bits-per-byte，决赛圈前 10 名团队将使用完整服务器并纳入推理性能评分。
AI解读：这场竞赛的核心问题是：当硬件从GPU换成AWS自研的Trainium芯片时，最优的大语言模型架构会是什么样？因为Trainium的片上存储、张量核心和内存带宽比例都与主流加速器不同，原本在GPU上内存受限的操作在这里可能变成计算受限，这给了设计新架构的空间。主办方AWS提供了一个约 5000 万参数的基线模型（来自nanochat的GPT风格模型），参赛者可以从零开始训练，自由改动架构、优化器、训练循环，甚至用Neuron Kernel Interface (NKI) 编写自定义内核。第一阶段每人只有一颗Trainium2芯片和 30 分钟训练时间，按验证集bits-per-byte排名；前 10 名进入第二阶段，获得整台服务器和 4 小时预算，此时评分还加入推理能力和上下文学习表现，最终按各 50% 加权。对研究人员和系统工程师来说，这是一个难得的实证机会——他们不必担心传统GPU的约束，可以直接探索硬件原生设计。竞赛限前 100 支队伍注册，每个队伍 1 到 4 人，18 岁以上，AWS员工及家属不能参加，部分国家居民受限。奖金前三名分别为 25000、10000 和 5000 美元，获奖者还有机会与Annapurna Labs研究人员合著论文。没有硬件内核经验的纯ML研究者也能参与，因为竞赛鼓励全方位的优化，学习率调度和内核速度同等重要。
AWS旗下Annapurna Labs于 2026 年举办AWS Trainium Frontier竞赛，要求参赛者在Trainium上从零开始训练语言模型，以探索当硬件约束变化时最优模型架构的形状。主办方在公告中介绍，现代大语言模型架构是与单一硬件家族共同演化的，而Trainium因不同的内存层次、能效型脉动矩阵乘法和显式数据移动控制，可能使最优的注意力模式、MLP结构和并行策略与现有加速器上的截然不同。
两阶段赛制：先验证想法，再比拼扩展
Phase 1于 2026 年 8 月 31 日开启，每支队伍获得一颗Trainium2芯片和 30 分钟训练预算，按验证集bits-per-byte (val_bpb) 排名，数值越低越好。9 月 30 日Phase 1结束，届时公布前 10 名团队。Phase 2于 10 月 7 日开始，这 10 支队伍升级为完整的Trainium2服务器，训练预算延长到 4 小时，可探索分布式并行和感知通信的模型设计。Phase 2的评分加入第二个维度：在CORE评测集上的推理性能，该评测涵盖推理、理解和世界知识等上下文学习任务，最终按 50/50 加权。
- 模型大小不设上限，唯一的限制是芯片上的时间预算。
- 参赛者可以修改架构、优化器、训练循环，并可选用NKI编写自定义内核。
- 提供nanochat衍生的完整训练管线（含Muon + AdamW优化器）、NKI文档、Neuron Explorer性能剖析工具以及CORE评估框架。
参赛资格与奖励
竞赛面向ML研究人员、系统工程师以及使用AI研究代理的团队，每队 1 到 4 人，必须先注册。注册截止 2026 年 9 月 30 日，仅限前 100 支队伍。参与者须年满 18 岁，AWS员工、2025–2026 年实习生和学者及其直系亲属不可参赛，部分国家居民被排除，详细条款以官方规定为准。符合条件的学术团队可获得AWS促销积分，用于覆盖Trainium计算和Amazon Bedrock访问费用。
- 前三名奖金分别为 25000 美元、10000 美元和 5000 美元。
- 前三名决赛选手将在 2026 年 12 月 6 日至 12 日于悉尼举行的NeurIPS 2026期间的Annapurna Labs研究活动上展示成果，差旅费用自理。
- 前 10 名团队成员获得专属Neuron团队夹克和总决赛礼品包。
- 前三名有机会与Annapurna Labs研究人员合著论文，题目为硬件原生的模型设计。