Kimi K3拥有2.8万亿参数，在处理...
Kimi K3拥有2.8万亿参数，在处理每个Token时，有效激活896个专家中的16个，并采用MXFP4权重和MXFP8激活值。稀疏专家架构降低了实际计算量，低精度权重则压缩了存储占用，但仍无法消除超大参数规模带来的显存压力。单台DGX B200共有1.44TB显存，理论上仅接近K3四比特权重的基础体积，计入缓存、激活值和运行开销后，难以完整承载。B300和MI355X单GPU均提供288GB显存，更适合部署超大模型。更大的瓶颈在于通信。多台B200虽能共同装下模型，但分布在不同GPU上的专家需要频繁交换数据，跨服务器传输的效率明显弱于GB300 NVL72内部的高速NVLink。Kimi官方因此建议采用64颗以上加速器组成的超节点；高密度部署还需要配套高速互联、并行软件栈，以及相应的供电和散热系统。概括来说就是：省计算、吃显存、重互联。