文章

按时间倒序整理的全部文章。

• 一年花一万二，盘点 2025 年我订阅的 AI 产品

  2026年1月2日

  随笔

  2025 年真的是 AI 产品爆发的一年，24 年我只订阅了 Monica，但在 25 年，我居然为十多款 AI 产品付过费了。

• 从零实现 vLLM (1.4）：RMSNorm 如何解决训练不稳定

  2025年10月19日

  技术笔记

  在上篇文章《从零实现 vLLM（1.3）：如何加速 Attention 计算》中，我们深入分析了 Qwen3Attention 组件，学习了 FlashAttention 如何通过在线 Softmax 和分块计算技术。

• 从零实现 vLLM (1.3）：如何加速 Attention 计算

  2025年9月14日

  技术笔记

  在上篇文章《从零实现 vLLM (1.2）：如何实现张量并行》中，我们深入到 Qwen3DecoderLayer 的第一个核心组件：Qwen3Attention。

• 大模型分布式训练（1）：FSDP 的原理与实践

  2025年8月17日

  技术笔记

  在大模型出现之前，分布式训练最常用的技术是 数据并行（Data Parallelism, DP） 。

• 从零实现 vLLM (1.2）：如何实现张量并行

  2025年7月26日

  技术笔记

  在上篇文章《从零实现 vLLM (1.1）：并行词嵌入 VocabParallelEmbedding》中，我们分析了 Qwen3Model 模型中第一个组件：VocabParallelEmbedding 的源码。

• 从零实现 vLLM (1.1）：并行词嵌入 VocabParallelEmbedding

  2025年7月20日

  技术笔记

  我一直都喜欢通过代码学习各种技术，特别是各种从零开始实现 XX 的。

• AI 编程：找轮子，别造轮子

  2025年7月13日

  随笔

  我最近用 AI 写了一个导出 Gemini 聊天记录的插件，我把 Gemini 网页的源码粘贴给它之后，告诉它要把网页中的聊天记录导出成 markdown，然后它很快就写完了。

• 从软件工程到上下文工程：AI 时代的开发者新范式

  2025年7月6日

  随笔

  或许你也有过这样的时刻：在代码评审会议上，同事用 AI 助手几分钟就重构了一个你花了几天才完成的微服务架构；又或者，在日常开发中，你发现团队里的新人正在用 AI 编程助手，轻松地处理那些曾经需要反复查阅文档和调试的复杂任务。

• DeepSeek 新论文 SPCT：让奖励模型学会“先定规则后点评，再打分”

  2025年4月6日

  技术笔记

  现在大语言模型（LLM）是越来越火，能力也越来越强。

• AutoGLM 技术探秘：让 AI 学会“点点点”的挑战与策略

  2025年4月1日

  技术笔记

  最近 AI 领域有个挺火的方向，就是让 AI 像人一样去操作图形界面（GUI），比如自动帮你订外卖、处理邮件等等。