AI技術(shù)總監(jiān)級(jí)拆解大模型第10講Attention 與 Transformer 到底在算什么Q、K、V 一次講明白AI 學(xué)習(xí)系列第10講 / 共26講前面第09講講了RNN ↓ LSTM ↓ Seq2Seq ↓ 固定 Context 瓶頸這一講正式進(jìn)入今天大模型最核心的計(jì)算機(jī)制Attention ↓ Transformer ↓ GPT / LLM01為什么需要 Attention先回顧 RNN / LSTMx1 → h1 → h2 → h3 → h4問(wèn)題是必須按順序處理 遠(yuǎn)距離信息傳遞困難Seq2Seq 又把輸入壓進(jìn)一個(gè)固定長(zhǎng)度 Context很長(zhǎng)的輸入 ↓ 一個(gè) Context ↓ Decoder于是出現(xiàn)信息瓶頸。Attention 的核心思路非常簡(jiǎn)單當(dāng)前計(jì)算需要什么信息就去已有信息里找什么信息。02Attention 不是什么“神秘機(jī)制”可以先把它看成當(dāng)前問(wèn)題 ↓ 找誰(shuí)與我最相關(guān) ↓ 給相關(guān)位置更高權(quán)重 ↓ 把相關(guān)內(nèi)容加權(quán)拿回來(lái)例如一句話我 喜歡 學(xué)習(xí) 人工智能當(dāng)前處理“它”時(shí)不同位置可能得到不同關(guān)注程度我 0.05 喜歡 0.08 學(xué)習(xí) 0.12 人工智能 0.75Attention 做的事情就是按照相關(guān)程度重新組合已有信息。03Attention 最核心的公式Scaled Dot-Product Attention[\operatorname{Attention}(Q,K,V)\operatorname{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V]第一次看到不用怕。整個(gè)公式實(shí)際上只有四步① Q 和 K 做匹配 ↓ ② 除以 √d_k ↓ ③ Softmax 變成權(quán)重 ↓ ④ 用權(quán)重加權(quán) V04Q、K、V 到底是什么最簡(jiǎn)單的理解QQuery我現(xiàn)在想找什么KKey我這里有什么特征可以被你匹配VValue匹配以后真正拿回去的內(nèi)容是什么可以類比一個(gè)數(shù)據(jù)庫(kù)Query 我要查什么 Key 用什么字段匹配 Value 真正返回的數(shù)據(jù)因此Q ↓ 和所有 K 比較 ↓ 找到相關(guān)位置 ↓ 取對(duì)應(yīng) V05Q、K、V 從哪里來(lái)輸入[X]經(jīng)過(guò)三個(gè)不同的線性變換[QXW_Q][KXW_K][VXW_V]注意不是三個(gè)完全不同的輸入而是同一個(gè)輸入 X通過(guò)三組不同參數(shù)得到三種角色。06第一步QK? 到底在算什么假設(shè)[Q\begin{bmatrix}10\end{bmatrix}][K\begin{bmatrix}10\01\end{bmatrix}]那么[QK^T\begin{bmatrix}10\end{bmatrix}\begin{bmatrix}10\01\end{bmatrix}\begin{bmatrix}10\end{bmatrix}]實(shí)際上就是在做Q 與每一個(gè) K 的點(diǎn)積。點(diǎn)積越大方向越匹配 ↓ 相關(guān)性通常越高07為什么要除以 √d_k公式[\frac{QK^T}{\sqrt{d_k}}]這里[d_k]是 Key 向量的維度。為什么要縮放因?yàn)榫S度變大以后點(diǎn)積的數(shù)值尺度可能變大。如果直接把很大的分?jǐn)?shù)送進(jìn) Softmax一個(gè)特別大 其他特別小Softmax 可能變得過(guò)于尖銳。因此除以 (\sqrt{d_k}) 是為了控制點(diǎn)積的數(shù)值尺度。08Softmax把分?jǐn)?shù)變成權(quán)重假設(shè)匹配分?jǐn)?shù)[1, 2, 4]經(jīng)過(guò) Softmax 后會(huì)變成[較小, 較小, 最大]而且所有權(quán)重加起來(lái)[\sum_i\alpha_i1]所以可以把它理解成匹配分?jǐn)?shù) ↓ 歸一化 ↓ 注意力權(quán)重09最后一步加權(quán)求和 V假設(shè)V1 [10,0] V2 [0,20]Attention 權(quán)重[0.8, 0.2]那么輸出[0.8V_10.2V_2]得到[[8,4]]所以 Attention 的最后一步其實(shí)很樸素按相關(guān)程度對(duì) Value 做加權(quán)平均式組合。10所以 Attention 到底在做什么把公式完整翻譯成人話[\operatorname{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V]就是Q ↓ 我現(xiàn)在需要什么 K ↓ 誰(shuí)和我的需求最匹配 Softmax ↓ 分別給多少權(quán)重 V ↓ 把相關(guān)內(nèi)容拿回來(lái) 加權(quán)求和 ↓ 形成新的表示所以Attention 根據(jù)當(dāng)前需求動(dòng)態(tài)從已有信息中讀取相關(guān)內(nèi)容。11Self-Attention 是什么Self-Attention 的特點(diǎn)是Q K V都來(lái)自同一個(gè)輸入序列也就是[QXW_Q][KXW_K][VXW_V]所以一句話Self-Attention 讓序列中的每個(gè)位置都能夠根據(jù)自身需求訪問(wèn)其他位置的信息。12為什么這比 RNN 不一樣RNNx1 ↓ x2 ↓ x3 ↓ x4信息主要通過(guò)h1 → h2 → h3 → h4逐步傳播。Self-Attentionx1 ─┐ x2 ─┼→ 兩兩計(jì)算相關(guān)性 x3 ─┤ x4 ─┘一個(gè)位置可以直接訪問(wèn)其他位置。所以長(zhǎng)距離依賴不再必須經(jīng)過(guò)很多個(gè)遞歸狀態(tài)。而且整個(gè)序列的 Attention 計(jì)算可以組織成大矩陣運(yùn)算。這非常適合 GPU。13Multi-Head Attention為什么不是只做一次 Attention一個(gè) Attention 頭只能從一種表示空間觀察關(guān)系。Multi-HeadHead 1 Head 2 Head 3 …… Head h讓不同 Head 在不同參數(shù)空間里學(xué)習(xí)不同關(guān)系。例如一個(gè) Head 可能更關(guān)注主語(yǔ) ? 動(dòng)詞另一個(gè)可能更關(guān)注代詞 ? 指代對(duì)象另一個(gè)可能關(guān)注局部鄰近關(guān)系注意具體每個(gè) Head 學(xué)到什么并不是人為固定的而是訓(xùn)練形成的。14Multi-Head 的結(jié)構(gòu)可以理解成輸入 X ↓ ┌───────┬───────┬───────┐ Head 1 Head 2 Head 3 ... ↓ ↓ ↓ Attention Attention Attention └───────┴───────┴───────┘ ↓ Concat ↓ Linear Projection ↓ 輸出因此Multi-Head Attention 并行地從多個(gè)表示子空間學(xué)習(xí)信息關(guān)系。15為什么需要 PositionAttention 本身只根據(jù)內(nèi)容關(guān)系計(jì)算。如果輸入A B C和C B A沒(méi)有額外位置信息模型很難只靠集合關(guān)系區(qū)分順序。所以 Transformer 需要Position Information經(jīng)典 Transformer 使用 Positional Encoding?，F(xiàn)代模型還存在RoPE 其他位置編碼方案因此不要把位置編碼只理解為一種固定公式。真正要記的是模型必須獲得“位置”信息否則只看內(nèi)容關(guān)系不足以完整表達(dá)序列順序。16Transformer Block 到底有什么一個(gè)經(jīng)典 Transformer Block 可以理解為輸入 ↓ Multi-Head Self-Attention ↓ Residual Connection ↓ LayerNorm ↓ Feed Forward Network ↓ Residual Connection ↓ LayerNorm ↓ 輸出現(xiàn)代架構(gòu)在具體的 Norm 順序、位置和實(shí)現(xiàn)上有不同變體。但核心組件仍然圍繞Attention Feed Forward Residual Normalization17Residual Connection 為什么存在最簡(jiǎn)單[yF(x)x]也就是原輸入 網(wǎng)絡(luò)處理結(jié)果 ↓ 輸出它給信息提供了一條直接路徑x ──────────────┐ x → F(x) ────────┘好處之一更容易進(jìn)行深層網(wǎng)絡(luò)中的信息和梯度傳播。不是“徹底解決梯度問(wèn)題”而是提供了更直接的路徑。18LayerNorm 是干什么的LayerNorm 可以理解成對(duì)一個(gè)樣本內(nèi)部的特征進(jìn)行歸一化處理。目的之一是讓各層輸入的數(shù)值尺度更穩(wěn)定 ↓ 訓(xùn)練更容易和 BatchNorm 不同LayerNorm 不依賴 batch 維度統(tǒng)計(jì)。這也是 Transformer 常見(jiàn)的歸一化方式。19Feed Forward Network 是什么Transformer Block 里除了 Attention還有 FFN。最簡(jiǎn)單形式[FFN(x)W_2\sigma(W_1xb_1)b_2]它實(shí)際上就是Linear ↓ Activation ↓ Linear作用可以理解成對(duì)每個(gè)位置的表示進(jìn)行進(jìn)一步的非線性變換。所以 Transformer Block 不只是 Attention。20Transformer 為什么適合大規(guī)模訓(xùn)練核心原因之一RNN ↓ 時(shí)間維串行 Transformer ↓ 大量矩陣運(yùn)算 ↓ 可以更充分利用 GPU 并行尤其訓(xùn)練階段Self-Attention 可以對(duì)整個(gè)序列批量計(jì)算。因此Transformer GPU 大數(shù)據(jù) 大參數(shù)量形成了現(xiàn)代大模型規(guī)?；幕A(chǔ)。21一個(gè)完整的 Transformer 思維圖Token ↓ Embedding Position Information ↓ X ↓ Q / K / V ↓ QK? ↓ Scale ↓ Softmax ↓ Attention Weights ↓ Weighted Sum ↓ Multi-Head Attention ↓ Residual Norm ↓ FFN ↓ Residual Norm ↓ Transformer Block ↓ 重復(fù)很多層 ↓ Transformer22Attention 最重要的公式[QXW_Q][KXW_K][VXW_V][\operatorname{Attention}(Q,K,V)\operatorname{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V]真正需要記住的是Q 我想找什么 K 什么可以和我匹配 V 匹配以后拿什么回來(lái)23一句話理解 TransformerTransformer 把“序列中的信息怎么相互訪問(wèn)”變成了 Attention再用殘差、歸一化和前饋網(wǎng)絡(luò)組成可堆疊的 Block最后通過(guò)大量堆疊形成能夠大規(guī)模訓(xùn)練的序列模型。24第10講最重要的技術(shù)演化RNN ↓ 狀態(tài)傳遞 ↓ 串行 ↓ LSTM ↓ 更穩(wěn)定的記憶 ↓ 但仍然串行 ↓ Seq2Seq ↓ 固定 Context ↓ 信息瓶頸 ↓ Attention ↓ 動(dòng)態(tài)訪問(wèn)信息 ↓ Transformer ↓ 大規(guī)模矩陣運(yùn)算 ↓ GPU ↓ 規(guī)?；?xùn)練 ↓ GPT / LLM25第10講一句話Attention 解決的是“當(dāng)前計(jì)算應(yīng)該從哪些已有信息中讀取內(nèi)容”Transformer 則把 Attention、前饋網(wǎng)絡(luò)、殘差和歸一化組織成可以重復(fù)堆疊、適合大規(guī)模 GPU 訓(xùn)練的模型結(jié)構(gòu)。下一講第11講Tokenizer、語(yǔ)言模型與 GPT為什么“預(yù)測(cè)下一個(gè) Token”足夠強(qiáng)下一講開(kāi)始正式回答文字 ↓ Tokenizer ↓ Token ID ↓ Embedding ↓ Transformer ↓ Logits ↓ Softmax ↓ 下一個(gè) Token 概率 ↓ 采樣 / 選擇 ↓ 生成文本也就是GPT 到底怎樣從一串 Token一步一步生成我們今天看到的文字、代碼和答案。附錄第0110講最低成本快速理解版這一部分只做一件事讓第一次接觸本系列的讀者用最低閱讀成本建立第0110講的完整技術(shù)框架。第01講現(xiàn)代 AI 為什么會(huì)走到今天解決為什么今天的大模型會(huì)有這么多能力規(guī)則 ↓ 機(jī)器學(xué)習(xí) ↓ 神經(jīng)網(wǎng)絡(luò) ↓ 表示學(xué)習(xí) ↓ Transformer ↓ 大規(guī)模預(yù)訓(xùn)練 ↓ 后訓(xùn)練 ↓ LLM一句話今天的 AI 不是突然出現(xiàn)而是一系列技術(shù)瓶頸被連續(xù)解除的結(jié)果。第02講向量、矩陣與線性變換解決AI 內(nèi)部拿什么東西進(jìn)行計(jì)算向量 一組數(shù)字 矩陣 對(duì)數(shù)字做有結(jié)構(gòu)的變換 矩陣乘法 批量執(zhí)行這種變換一句話現(xiàn)代 AI 的大量核心計(jì)算本質(zhì)建立在線性代數(shù)之上。第03講概率、信息論與損失函數(shù)解決模型怎樣判斷自己預(yù)測(cè)得好不好Logits ↓ 概率 ↓ Cross-Entropy / NLL ↓ Loss一句話Loss 把“預(yù)測(cè)好不好”變成一個(gè)可以被優(yōu)化的數(shù)字。第04講導(dǎo)數(shù)、梯度與優(yōu)化解決模型錯(cuò)了以后怎么改參數(shù)[\theta_{t1}\theta_t-\eta\nabla_\theta L]一句話梯度告訴模型往哪里改Optimizer 決定具體怎么改。第05講機(jī)器學(xué)習(xí)、泛化與過(guò)擬合解決為什么訓(xùn)練集很好真實(shí)數(shù)據(jù)卻可能很差訓(xùn)練集表現(xiàn)好 ≠ 真正學(xué)會(huì)規(guī)律一句話真正重要的是泛化能力而不是把訓(xùn)練數(shù)據(jù)背熟。第06講神經(jīng)網(wǎng)絡(luò)、Forward、Backward 與 BP解決怎樣把“計(jì)算→犯錯(cuò)→修正”變成可訓(xùn)練網(wǎng)絡(luò)Forward ↓ Loss ↓ Backward ↓ Gradient ↓ Update ↓ Repeat一句話神經(jīng)網(wǎng)絡(luò)通過(guò)反向傳播得到梯度再不斷更新參數(shù)。第07講表示學(xué)習(xí)與 Embedding解決離散符號(hào)怎樣變成可計(jì)算的連續(xù)表示Token ↓ Embedding ↓ Vector一句話Embedding 把離散世界轉(zhuǎn)換成連續(xù)向量空間。第08講CNN 與視覺(jué)表示解決圖片有空間結(jié)構(gòu)為什么不能粗暴全連接局部連接 參數(shù)共享 ↓ 卷積 ↓ Feature Map ↓ 層級(jí)視覺(jué)特征一句話CNN 把圖像的空間結(jié)構(gòu)直接寫(xiě)進(jìn)網(wǎng)絡(luò)。第09講RNN、LSTM、Seq2Seq解決文本有順序模型怎樣帶著過(guò)去的信息往前走RNN ↓ 狀態(tài)保存過(guò)去 LSTM ↓ 門控管理記憶 Seq2Seq ↓ Encoder → Context → Decoder最終問(wèn)題固定 Context ↓ 信息瓶頸一句話RNN 負(fù)責(zé)記過(guò)去LSTM 負(fù)責(zé)管記憶Seq2Seq 負(fù)責(zé)序列到序列固定 Context 最終把問(wèn)題推向 Attention。第10講Attention 與 Transformer解決當(dāng)前計(jì)算能不能直接去已有信息里找自己需要的內(nèi)容[Attention(Q,K,V)softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V]直接翻譯Q → 我想找什么 K → 誰(shuí)最匹配 Softmax → 給多少權(quán)重 V → 拿什么回來(lái) 加權(quán)求和 → 得到新的表示然后Attention FFN Residual LayerNorm ↓ Transformer Block ↓ 多層堆疊 ↓ GPT / LLM一句話Attention 負(fù)責(zé)動(dòng)態(tài)讀取信息Transformer 把這種信息交互組織成可以規(guī)?；?xùn)練的模型結(jié)構(gòu)。第0110講一條線串起來(lái)01 AI 為什么走到今天 ↓ 02 AI 用什么數(shù)學(xué)對(duì)象計(jì)算 ↓ 03 怎么衡量預(yù)測(cè)錯(cuò)多少 ↓ 04 怎么根據(jù)錯(cuò)誤修改參數(shù) ↓ 05 怎么確保模型能泛化 ↓ 06 怎么把這些東西組成神經(jīng)網(wǎng)絡(luò) ↓ 07 怎么把離散信息變成向量 ↓ 08 怎么利用圖像的局部結(jié)構(gòu) ↓ 09 怎么利用序列的歷史信息 ↓ 10 怎么讓不同位置動(dòng)態(tài)交換信息最終向量 ↓ Loss ↓ Gradient ↓ Neural Network ↓ Embedding ↓ CNN / RNN ↓ Attention ↓ Transformer ↓ GPT ↓ LLM最低成本記住前10講1. AI 是在數(shù)據(jù)上學(xué)習(xí)參數(shù)化函數(shù)。 2. 向量和矩陣是 AI 的基礎(chǔ)計(jì)算語(yǔ)言。 3. Loss 用來(lái)衡量模型預(yù)測(cè)得有多差。 4. Gradient 告訴模型參數(shù)往哪里改。 5. 泛化比“背訓(xùn)練數(shù)據(jù)”更重要。 6. 神經(jīng)網(wǎng)絡(luò)通過(guò) Forward → Loss → Backward → Update 學(xué)習(xí)。 7. Embedding 把離散信息變成向量。 8. CNN 利用圖像的局部結(jié)構(gòu)和參數(shù)共享。 9. RNN/LSTM 利用狀態(tài)處理序列但存在遞歸與長(zhǎng)距離依賴問(wèn)題。 10. Attention 讓每個(gè)位置可以動(dòng)態(tài)訪問(wèn)其他位置的信息Transformer 則把這種機(jī)制規(guī)?；?。到第10講為止本系列已經(jīng)完成了從“AI 為什么能學(xué)習(xí)”到“現(xiàn)代大模型為什么使用 Transformer”的完整主干。