Together编译器：AI推理的持续编译

arXiv:2611.14681v1 宣布类型：new 摘要：当今的 AI 工作负载正在迅速变化：新模型发布更加频繁，模型架构日益多样化，流量分布也频繁变化。Together AI 面临的挑战是为这些不断变化的工作负载进行持续优化。

将部署编译为优化的前向传播是一个非常适合代理爬山法的挑战。由于测量吞吐量和保真度之间的权衡，现有系统在持续编译方面举步维艰。许多系统使用代理利用离线基准测试来优化推理前向传播中的单个内核，但由于混合专家（MoE）等原语中的数据依赖行为，时序数据的保真度较低。

另一方面，系统使用代理直接优化端到端引擎，但面临引擎启动时间缓慢的问题。为了解决这些挑战，我们构建了 Together Compiler (TKCC)，这是首个专为 AI 推理优化设计的真正持续代理循环。

为了解决吞吐量-保真度权衡问题，我们提出：(1) 分层持久引擎，它将引擎启动开销与前向传播计算解耦；(2) 一个成本模型，用于选择优化过程的种子并行性配置。我们还对代理上下文管理进行了广泛的消融实验，并就 TKCC 在生产环境中的部署提出了我们的见解。

TKCC 在 Llama 1B 工作负载上比高度优化的手写 Megakernels 性能高出高达 1.7 倍，并在 InferenceX 基准测试中，针对最新前沿模型（Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash）在各类硬件平台上比最佳开源引擎性能高出高达 2.6 倍的 TPS。

TKCC 还在批量大小为 1 时创下了最高性能，在 M3.1 Flash 上达到 1111 TPS，在 DeepSeek v4.1 Flash 上达到 1205 TPS。最后，TKCC 的应用范围超越了前沿语言模型推理。TKCC 在我们的生产集群中服务了数万亿个 token。