新序列并行方法BASP利用批处理结构削减大模型长序列训练通信开销
面向大语言模型长序列训练，BASP按微批大小将GPU划分为不相交的序列并行组，在NVIDIA A100集群上实现端到端训练速度最高提升1.31倍，且模型精度与内存占用不变。
AI解读：大模型训练长序列时，通信开销会随序列长度急剧膨胀，现有序列并行方法不看批次大小就一刀切地切分序列，导致跨GPU通信冗余。BASP的思路是借助微批大小把GPU拆成互不相交的序列并行组，缩小all-to-all通信的参与规模，让通信局部化。论文在A100集群上的实验显示，相比标准序列并行基线，训练Llama和Qwen模型时端到端提速1.17到1.31倍，并且精度和内存占用保持不变。对做长上下文训练的工程师来说，这意味着不必牺牲模型质量就能压缩训练时间，尤其当微批规模较小时收益会更明显。但需要注意，这是论文在特定硬件和模型上的结果，尚未看到公开复现数据，实际收益取决于通信瓶颈在训练中的占比，不同集群和模型规模下效果可能打折。
arXiv预印本论文提出Batch-Aware Sequence Parallelism（BASP），一种按微批大小调整GPU序列并行分组方式的训练方法，用于削减大语言模型长序列训练中的通信开销。论文作者为Bigyan Ghimire和Jon C. Calhoun，已被IEEE HPEC 2026接收。
方法设计
论文指出，现有序列并行方法对批大小不敏感，所有批次尺寸都采用相同的序列切分，导致通信效率低下。BASP根据微批大小将GPU分成互不相交的序列并行组，缩小all-to-all通信组规模，使通信局部化，从而提升训练效率。
实验结果
在NVIDIA A100集群上的实验显示，与标准序列并行基线相比，BASP在Llama和Qwen模型上将端到端训练时间提升最高1.17至1.31倍，同时保持与基线一致的模型精度和内存占用。论文仅提供摘要内容，实验细节和完整结论以全文为准。