主题： 模型训练与推理

理解大模型的训练、后训练、推理优化和能力演化，连接模型原理与工程实践。

全部文章

• 大模型分布式训练（1）：FSDP 的原理与实践

  2025年8月17日

  技术笔记

  在大模型出现之前，分布式训练最常用的技术是 数据并行（Data Parallelism, DP） 。

• 从零实现 vLLM (1.2）：如何实现张量并行

  2025年7月26日

  技术笔记

  在上篇文章《从零实现 vLLM (1.1）：并行词嵌入 VocabParallelEmbedding》中，我们分析了 Qwen3Model 模型中第一个组件：VocabParallelEmbedding 的源码。

• 从零实现 vLLM (1.1）：并行词嵌入 VocabParallelEmbedding

  2025年7月20日

  技术笔记

  我一直都喜欢通过代码学习各种技术，特别是各种从零开始实现 XX 的。

• DeepSeek 新论文 SPCT：让奖励模型学会“先定规则后点评，再打分”

  2025年4月6日

  技术笔记

  现在大语言模型（LLM）是越来越火，能力也越来越强。

• 不需要人类教练的 o3：OpenAI 用强化学习训练出编程"六边形战士"

  2025年2月17日

  技术笔记

  OpenAI 在最近的发表的对比研究中发现：在编程竞赛任务中，人类精心设计的策略败给了强化学习训练的通用模型。

• ChatGPT 文本生成的工程原理分析与代码示例

  2023年11月25日

  技术笔记

  之前 ChatGPT 刚出来的时候大家都在研究 GPT 模型，有很多的科普文章都说 GPT 模型其实就是在做文字接龙，根据前面的文本预测下一个字。