如何评价Ktransformers 支持单卡4090推理全量deepseek-R1模型？

正如这 @小笨瓜 和 @QIU Chengyu 在 (16 条消息) 如何评价Ktransformers 支持单卡4090推理全量deepseek-R1模型？ - 知乎 这个问题的回答中所提到的。KTransformers 目前提供的是优点和局限都很明显的，高度依赖 CPU/DRAM 带宽的方案，没必要过度理解。

其实它最适合的是实验室做实验的场景，因为不本地跑起来没法研究模型内部的状态，也没办法做修改和新方法的探索。正如我们在 Readme 中提到的， KTransformers 这套注入框架设计的初衷不是“做 MoE 异构推理”而是 -- Our vision for KTransformers is to serve as a flexible platform for experimenting with innovative LLM inference optimizations. 所以我们一直强调的其实是它的“注入”框架。

去年我在知乎上介绍的时候也说得是“我们对 ktransformers 的期望是成为一个算子级优化的集成实验平台。很多时候在一个具体的场景下把模型用起来需要同时使用多个不同的算子优化，但现有的情况下自己手工去做集成是比较复杂的。ktransformers 的注入框架提供了一个易用的集成平台，将 marlin 和 llamafile 集成起来在本地跑 deepseek-v2 就是这样的一个例子。”

而恰好由于 DeepSeek-V3/R1 这个 671B 的大小和极度稀疏的 MoE 结构导致高效率运行它需要的技术，资源，和用户并发门槛都超出了绝大多数组织的范围，所以恰逢其会让它衍生出一个新的适用场景，即需要确保数据安全可控的本地化的小并发场景（目前其实只有单并发，但是后面我们会支持小并发）。

这里面技术上的核心我和 @mackler 在另一个问题 (16 条消息) DeepSeek-R1 API定价为什么这么便宜，在目前全量模型部署非常困难的情况下，是否注定亏损？ - 知乎 下都有聊到 ，这里就不再赘述。

历史的背景则是正好我们从去年开始就在做 MLA 的分析（这还是我在知乎上写的第一篇文章，讲道理应该也是 DeepSeek 外部最早的一波 MLA 分析）。所以 DeepSeek V2 的时候就拿 MLA 这种特殊的高计算强度 attn 算子作为一个重要的 show case 来展示 KTransformers 在异构分片上的灵活性。再加上一直以来对 AMX 指令的关注和优化所以正好这个时间点下拿到一个这么大的收益。当然其实最主要的原因还是 DeepSeek R1 太火了。

不管怎么说，既然恰逢其会，我们有信心也有意愿持续的将 KTransformers 演进成上述“本地化中小并发场景下针对稀疏 MoE 模型最具性价比的开源推理引擎”。但因为人手有限我们也会仅仅局限在这样的一个场景下去迭代。目前在易用性，和性能方面也都还有很大的提升空间。

其他的场景，比如 dense model 和全 gpu 场景下的优化这些我们就算做也不会在 KTransformers 下去实现，而是参与 vLLM/SGLang 这样的更适合的社区一起。比如我们同步在推进的 Mooncake 的开源就是这样。

特别是对数据安全没需求，对自己捣鼓折腾也没兴趣的同学，如果只是想用 R1 的话不如去袁老师 @袁进辉 那冲个会员或者利用其它现在感觉已经每个云都已经支持了的云上部署方案。只要不是按照 GPU/h 定价而是按照 token 定价的收费模式应该都会比自己捣鼓省心省钱。