Transformer 架构基本原理：Encoder、Decoder 和 Attention 在做什么

一、一句话讲清 TransformerTransformer 是一种处理序列数据的神经网络架构。它最关键的设计是 Self-Attention：让一句话里的每个 token 都能直接和其他 token 建立联系，再按重要程度聚合信息。这和 RNN 的思路完全不同。

闵浮龙

左边理解 右边生成，Transformer是怎么一步步缩成今天这个模样的

学完一遍 Attention 之后，我以为自己把 Transformer 摸透了。

AI码韵匠道

学 AI 第十二天，我才明白 GPT 为什么坚持 decoder-only

学 AI 第十二天，我开始理解 GPT 为什么会走向 decoder-only。前一天讲 BERT 和 GPT 的差异时，我只记住了一个粗略判断：BERT 更像阅读理解器。GPT 更像续写生成器。

白沙问道

Kabir GPT：从零读懂一个小型 Transformer 源码

Kabir GPT 不该被当成又一个聊天模型。它更适合收藏起来读源码：用很小的 PyTorch 项目，把 GPT 的几个核心部件顺着搭了一遍。如果你想看懂 GPT 的基本骨架，但又不想一上来啃大模型工程，Kabir GPT 是一个合适的小样本。

梦飞来晚了

ChatGPT 的底层,到底是怎么"读懂"一句话的?一篇讲透 Transformer

先做一道小学英语题。"The keys to the cabinet near the door ____"(钥匙放在门边的柜子里),空格里该填 is 还是 are?答案是 are。主语是 keys(复数),哪怕离空格最近的 cabinet 和 door 都是单数。

人工智能研究所

同样的Transformer模型，为什么有不同的AI能力

一、各家大模型底层原理，是否都源自谷歌论文？1.

未来之光wky

图解 BERT 和 Transformer,一次讲清楚它俩到底什么关系

想必不少小伙伴面试过程中,会遇到这道题,「说说 BERT 和 Transformer 的区别」。还别说,这问题真挺常问的。前几天有读者私信我说,面试官问了这题,他答了「BERT 用了 Transformer 的架构」,面试官追问「具体用了哪部分,为什么只用那部分」,他就卡住了。

小盒子的技术分享

Transformer是什么？为什么它能成为大模型的核心架构？

现在我们使用的ChatGPT、DeepSeek、通义千问、豆包等大语言模型，背后都有一个非常重要的技术基础：Transformer。很多人知道大模型参数量有几十亿、几百亿，知道模型需要GPU才能运行，但不一定了解一个问题：大模型究竟是如何理解一句话的？

暖阳小北的小确幸