每秒吐出3000个token。Kog团队在8块AMD MI300X GPU上跑出的这个单用户推理速度，让常规的100-300 token/s看起来像是上个时代的东西。换成8块NVIDIA H200，也能稳在2100 token/s。这不是实验室里不计成本的狂堆硬件，而是在标准数据中心GPU上实现的10到30倍推理加速——做实时AI产品的团队，这个数字值得你停下来看完。
怎么做到的？Kog的思路很干脆：别再把LLM解码当成计算密集型任务来修修补补，它本质上是一个内存流问题。传统推理流程里藏着大量阻塞点——token生成时的同步开销、显存访问的无效跳转、流水线里各环节互相等的垃圾时间。Kog直接上了三板斧：一个重新设计的monokernel来接管整个解码流程，把同步机制彻底拆了重建，再配合针对性优化的内存访问映射。最值得关注的是他们提出的Laneformer架构，用延迟张量并行的方式让模型层之间的数据传输不再卡脖子。整套打法下来，相当于把一个堵成停车场的推理管线改成了绿波带，token几乎是顺着惯性在往外涌。
这项技术目前的适用边界还在摸，但信号已经很明确了——低延迟推理的瓶颈不在算力，在工程范式。Kog证明了只要敢把传统的解码流程打散了重来，标准GPU上还能榨出数量级的性能。实时对话、代码补全、游戏NPC这些对响应速度苛刻到毫秒级的场景，可能很快会迎来一次底层重构。不是渐进式优化，是换个打法。
