訓(xùn)練深度拆解：數(shù)據(jù)管道、Loss曲線與超參調(diào)優(yōu)實(shí)戰(zhàn))
這兩天技術(shù)圈最熱的一件事莫過(guò)于一個(gè) 535B 參數(shù)的大模型項(xiàng)目把訓(xùn)練過(guò)程“直播”了三個(gè)月代碼、數(shù)據(jù)集、Loss 曲線全部公開(kāi)連吳恩達(dá)都公開(kāi)表達(dá)了支持。所謂“直播訓(xùn)練”不是真的開(kāi)一個(gè)視頻流對(duì)著機(jī)房拍而是把整個(gè)訓(xùn)練過(guò)程變成可圍觀、可復(fù)現(xiàn)、可審查的開(kāi)放項(xiàng)目。你可以在訓(xùn)練過(guò)程中實(shí)時(shí)看到 Loss 曲線如何波動(dòng)、數(shù)據(jù)管道怎么處理、訓(xùn)練腳本怎么調(diào)度甚至把 checkpoint 拿下來(lái)自己做評(píng)測(cè)。這篇文章我想換個(gè)角度不單純復(fù)述新聞而是把這件熱點(diǎn)事件拆成一套可以遷移到日常大模型訓(xùn)練中的方法論大規(guī)模訓(xùn)練的數(shù)據(jù)管道到底怎么搭訓(xùn)練配置中的關(guān)鍵參數(shù)為什么重要Loss 曲線出現(xiàn)波動(dòng)、尖刺、不下降時(shí)該怎么排查普通開(kāi)發(fā)者在有限資源下怎么復(fù)現(xiàn)和借鑒這套流程。無(wú)論你是剛接觸大模型訓(xùn)練的新手還是已經(jīng)在做微調(diào)和預(yù)訓(xùn)練這篇內(nèi)容都能幫你把“公開(kāi)訓(xùn)練”背后的工程細(xì)節(jié)理清楚。1. 背景與核心概念1.1 什么是“直播”訓(xùn)練傳統(tǒng)大模型訓(xùn)練往往是一個(gè)黑盒公司或研究機(jī)構(gòu)在內(nèi)部集群上訓(xùn)練外界看不到過(guò)程只能在發(fā)布時(shí)看到一個(gè)最終模型和一份技術(shù)報(bào)告。而“直播”訓(xùn)練模式指的是把訓(xùn)練過(guò)程中的代碼倉(cāng)庫(kù)、數(shù)據(jù)集制作流程、模型結(jié)構(gòu)配置、訓(xùn)練日志、Loss 曲線、checkpoint 甚至中間評(píng)估結(jié)果全部公開(kāi)。開(kāi)發(fā)者可以隨時(shí)查看訓(xùn)練到了第幾天、Loss 降到了多少、學(xué)習(xí)率調(diào)度到哪個(gè)階段。這類工作最典型的價(jià)值有三個(gè)可復(fù)現(xiàn)別人拿到同樣的代碼、數(shù)據(jù)、超參理論上能訓(xùn)練出效果接近的模型可審計(jì)數(shù)據(jù)是否合規(guī)、是否去重、是否有污染全程透明可學(xué)習(xí)普通開(kāi)發(fā)者不需要自己花百萬(wàn)成本跑千卡集群也能通過(guò)公開(kāi)日志學(xué)到工業(yè)級(jí)訓(xùn)練的工程細(xì)節(jié)。那為什么 535B 這個(gè)規(guī)模會(huì)引起關(guān)注因?yàn)槌^(guò) 500B 參數(shù)的模型訓(xùn)練成本極高通常涉及上千張 GPU、數(shù)周甚至數(shù)月的連續(xù)運(yùn)行。在過(guò)去這類訓(xùn)練細(xì)節(jié)幾乎不可能公開(kāi)所以這次公開(kāi)日志的參考價(jià)值非常大。1.2 “全公開(kāi)”到底公開(kāi)了什么從社區(qū)公開(kāi)的信息來(lái)看這類項(xiàng)目通常公開(kāi)四類內(nèi)容公開(kāi)內(nèi)容具體形式對(duì)開(kāi)發(fā)者的價(jià)值代碼訓(xùn)練腳本、并行策略、數(shù)據(jù)加載代碼可以學(xué)習(xí)大規(guī)模訓(xùn)練工程實(shí)現(xiàn)數(shù)據(jù)數(shù)據(jù)來(lái)源、清洗流程、去重規(guī)則可以了解數(shù)據(jù)處理 pipelineLoss 與日志實(shí)時(shí)訓(xùn)練曲線、評(píng)估指標(biāo)可以學(xué)習(xí)如何判斷訓(xùn)練狀態(tài)Checkpoint中間權(quán)重或最終權(quán)重可以直接加載做評(píng)測(cè)或微調(diào)與以往“開(kāi)源權(quán)重”不同這次連訓(xùn)練過(guò)程本身都開(kāi)放了這才是重點(diǎn)。1.3 為什么吳恩達(dá)會(huì)支持這件事吳恩達(dá)長(zhǎng)期推動(dòng) AI 教育的普及和開(kāi)放研究。他支持這類公開(kāi)訓(xùn)練項(xiàng)目背后邏輯并不難理解大模型研究如果長(zhǎng)期被少數(shù)機(jī)構(gòu)壟斷整個(gè)生態(tài)的創(chuàng)新會(huì)被限制公開(kāi)訓(xùn)練過(guò)程能讓學(xué)術(shù)界、中小團(tuán)隊(duì)和個(gè)人開(kāi)發(fā)者更深入理解模型是怎么“長(zhǎng)出來(lái)”的透明化訓(xùn)練也有助于發(fā)現(xiàn)數(shù)據(jù)偏見(jiàn)、訓(xùn)練不穩(wěn)定等問(wèn)題。對(duì)我們這些普通開(kāi)發(fā)者來(lái)說(shuō)與其爭(zhēng)論這個(gè)項(xiàng)目是不是“開(kāi)源最強(qiáng)”不如抓緊機(jī)會(huì)把公開(kāi)的代碼和日志當(dāng)作學(xué)習(xí)材料研究里面的工程決策。2. 環(huán)境準(zhǔn)備與版本說(shuō)明在開(kāi)始復(fù)現(xiàn)和實(shí)驗(yàn)之前先把環(huán)境問(wèn)題講清楚。這里要特別說(shuō)明不同項(xiàng)目的環(huán)境依賴差異很大下面的版本建議是常見(jiàn)組合實(shí)際操作時(shí)一定要根據(jù)你拉取的代碼倉(cāng)庫(kù) requirements 文件來(lái)調(diào)整。2.1 基礎(chǔ)環(huán)境一個(gè)典型的大模型訓(xùn)練/微調(diào)環(huán)境包含以下組件操作系統(tǒng)Ubuntu 20.04 / 22.04或者 CentOS 7GPUNVIDIA 顯卡顯存至少 16GB做小規(guī)模實(shí)驗(yàn)大規(guī)模預(yù)訓(xùn)練則需要多卡集群CUDA建議 11.8 或 12.x具體看 PyTorch 版本Python3.9 / 3.10深度學(xué)習(xí)框架PyTorch 2.x搭配 Transformers、Accelerate、DeepSpeed 或 Megatron-LM。如果你只是想在本地跑通一個(gè)簡(jiǎn)化版訓(xùn)練流程可以不用追求多卡單卡也能復(fù)現(xiàn)大部分流程。2.2 核心依賴安裝下面是一個(gè)常見(jiàn)依賴組合的安裝命令用pip即可pip install torch2.1.2 transformers4.38.2 datasets2.17.1 \ accelerate0.27.2 deepspeed0.14.2 tensorboard2.16.2這里需要解釋幾個(gè)庫(kù)的作用datasets用來(lái)加載和處理數(shù)據(jù)集accelerate用來(lái)簡(jiǎn)化分布式訓(xùn)練deepspeed是顯存優(yōu)化和分布式訓(xùn)練的核心工具tensorboard用來(lái)記錄和可視化 Loss 曲線。如果你的網(wǎng)絡(luò)環(huán)境拉取模型和數(shù)據(jù)集比較慢可以考慮設(shè)置 Hugging Face 鏡像但不涉及任何訪問(wèn)外網(wǎng)的特殊工具只做正常的鏡像配置。2.3 示例項(xiàng)目結(jié)構(gòu)為了方便后續(xù)實(shí)戰(zhàn)我們需要建一個(gè)清晰的項(xiàng)目目錄llm-training-demo/ ├── configs/ │ ├── train_config.yaml │ └── deepspeed_config.json ├── data/ │ └── prepare_data.py ├── scripts/ │ └── train.py ├── logs/ │ └── .gitkeep └── README.md這個(gè)結(jié)構(gòu)把配置、數(shù)據(jù)準(zhǔn)備、訓(xùn)練腳本、日志分開(kāi)后續(xù)在做大規(guī)模訓(xùn)練時(shí)這種分離會(huì)大大提升實(shí)驗(yàn)管理效率。3. 數(shù)據(jù)管道大模型訓(xùn)練的“隱形地基”任何一個(gè)預(yù)訓(xùn)練項(xiàng)目的成功數(shù)據(jù)質(zhì)量都比模型結(jié)構(gòu)更關(guān)鍵。公開(kāi)訓(xùn)練日志里最有價(jià)值的一部分就是數(shù)據(jù)管道是怎么搭的。3.1 數(shù)據(jù)來(lái)源與清洗大模型預(yù)訓(xùn)練數(shù)據(jù)通常來(lái)自互聯(lián)網(wǎng)爬蟲、開(kāi)源語(yǔ)料庫(kù)、書籍、論文等。這些數(shù)據(jù)無(wú)法直接使用必須經(jīng)過(guò)清洗去重互聯(lián)網(wǎng)上相似文本非常多重復(fù)數(shù)據(jù)會(huì)讓模型浪費(fèi)容量過(guò)濾去掉低質(zhì)量、機(jī)器生成、包含惡意代碼或敏感信息的文本語(yǔ)言識(shí)別根據(jù)目標(biāo)模型的語(yǔ)言分布過(guò)濾語(yǔ)種正文抽取把網(wǎng)頁(yè)中的導(dǎo)航、廣告、腳本等噪音去掉。下面是一個(gè)簡(jiǎn)單的數(shù)據(jù)清洗示例# 文件路徑data/prepare_data.py import re from datasets import load_dataset def clean_text(text: str) - str: # 去掉 HTML 標(biāo)簽 text re.sub(r[^], , text) # 去掉多余空白 text re.sub(r\s, , text).strip() # 去掉過(guò)短的無(wú)效內(nèi)容 if len(text) 50: return return text def dedup_texts(texts): seen set() unique_texts [] for text in texts: # 用前 100 個(gè)字符做粗粒度去重 signature text[:100] if signature in seen: continue seen.add(signature) unique_texts.append(text) return unique_texts if __name__ __main__: # 以開(kāi)源數(shù)據(jù)集為例 dataset load_dataset(json, data_filesraw_data.jsonl, splittrain) cleaned [] for sample in dataset: text clean_text(sample[text]) if text: cleaned.append(text) cleaned dedup_texts(cleaned) print(f清洗前: {len(dataset)} 條, 清洗后: {len(cleaned)} 條)注意這里用“前 100 個(gè)字符”做去重只是一個(gè)粗糙策略。工業(yè)級(jí)去重通常用 MinHash LSH 在全文級(jí)別做但原理是類似的去掉相似內(nèi)容保留信息增量。3.2 Tokenization 與序列長(zhǎng)度清洗完成后的文本需要被 tokenizer 切成 token。對(duì)于中文語(yǔ)料可能需要選擇合適的 tokenizer對(duì)于英文通常使用 BPE 或 SentencePiece。在預(yù)訓(xùn)練階段序列長(zhǎng)度通常設(shè)置為 2048 或 4096。越長(zhǎng)的序列意味著單條樣本上下文更完整但顯存占用也會(huì)更高。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) def tokenize_function(examples): # truncation 會(huì)丟棄超過(guò) max_length 的部分 return tokenizer( examples[text], truncationTrue, max_length2048, return_overflowing_tokensFalse )有一個(gè)容易踩的坑如果同一批樣本長(zhǎng)短差異很大直接 padding 會(huì)浪費(fèi)大量計(jì)算量。工業(yè)做法通常是先按長(zhǎng)度分桶再把長(zhǎng)度相近的樣本放到同一個(gè) batch。3.3 數(shù)據(jù)混入比例預(yù)訓(xùn)練數(shù)據(jù)往往由多個(gè)來(lái)源組成網(wǎng)頁(yè)文本、百科、書籍、代碼、論文等。不同來(lái)源需要按一定比例混合。比如代碼數(shù)據(jù)占比高模型的代碼能力會(huì)更強(qiáng)書籍占比高長(zhǎng)文本能力和知識(shí)密度可能會(huì)更好。在公開(kāi)訓(xùn)練項(xiàng)目中這類比例通常會(huì)在技術(shù)報(bào)告中說(shuō)明。你在自己訓(xùn)練時(shí)可以按下面思路調(diào)整數(shù)據(jù)來(lái)源建議初始比例說(shuō)明網(wǎng)頁(yè)文本60% - 70%覆蓋面廣知識(shí)量大的主體書籍/長(zhǎng)文本10% - 15%提升長(zhǎng)上下文能力代碼10% - 20%增強(qiáng)邏輯推理和代碼能力百科/論文5% - 10%提升知識(shí)準(zhǔn)確性注意這些比例不是固定的不同模型定位不同混入比例要配合評(píng)測(cè)結(jié)果迭代。3.4 流式數(shù)據(jù)加載幾百 GB 甚至幾 TB 的文本無(wú)法一次性加載到內(nèi)存工業(yè)場(chǎng)景幾乎都采用流式加載from datasets import load_dataset # streamingTrue 時(shí)不會(huì)把所有數(shù)據(jù)加載到內(nèi)存 dataset load_dataset(json, data_filesprocessed_data.jsonl, splittrain, streamingTrue) for i, sample in enumerate(dataset): # 訓(xùn)練循環(huán)里逐步消費(fèi)數(shù)據(jù) if i 10000: break process_sample(sample)流式加載配合多進(jìn)程預(yù)處理是大規(guī)模訓(xùn)練的標(biāo)準(zhǔn)做法。如果數(shù)據(jù)讀取速度跟不上 GPU 消費(fèi)速度再?gòu)?qiáng)的算力也會(huì)被卡在 I/O 上。4. 模型結(jié)構(gòu)與訓(xùn)練策略拆解4.1 模型架構(gòu)選擇535B 這個(gè)規(guī)模的項(xiàng)目通常沿用類似 LLaMA 的 Decoder-only 架構(gòu)核心結(jié)構(gòu)包括RMSNorm代替 LayerNorm訓(xùn)練更穩(wěn)定Rotary Embedding替代絕對(duì)位置編碼外推性更好SwiGLU 激活函數(shù)提升表達(dá)能力GQAGrouped Query Attention降低推理顯存和帶寬壓力。我們?cè)谛∫?guī)模復(fù)現(xiàn)時(shí)不必把架構(gòu)改得很復(fù)雜基于 Transformers 庫(kù)直接使用AutoModelForCausalLM即可。4.2 超參數(shù)配置與解釋下面是一個(gè)典型的預(yù)訓(xùn)練/繼續(xù)預(yù)訓(xùn)練超參配置# 文件路徑configs/train_config.yaml model_name: gpt2 # 示例用小模型替換成你的基座 batch_size: 8 gradient_accumulation_steps: 16 learning_rate: 2e-4 warmup_steps: 2000 max_steps: 50000 weight_decay: 0.1 lr_scheduler_type: cosine bf16: true logging_steps: 50 save_steps: 2000逐行解釋關(guān)鍵參數(shù)batch_size單張 GPU 上的 batch 大小gradient_accumulation_steps梯度累積步數(shù)實(shí)際 batch 大小等于兩者相乘learning_rate預(yù)訓(xùn)練大模型通常用 1e-4 到 3e-4 的量級(jí)warmup_steps學(xué)習(xí)率預(yù)熱防止訓(xùn)練初期 Loss 劇烈震蕩cosine學(xué)習(xí)率按余弦曲線衰減到接近 0bf16BF16 混合精度訓(xùn)練能有效避免 loss 變成 NaN。4.3 混合精度與并行策略大規(guī)模訓(xùn)練的顯存壓力非常大核心優(yōu)化手段包括混合精度# deepspeed 配置支持 fp16 或 bf16 fp16: enabled: true loss_scale: 0 loss_scale_window: 1000 bf16: enabled: trueFP16 訓(xùn)練速度快但容易出現(xiàn)精度溢出BF16 的指數(shù)范圍更大訓(xùn)練更穩(wěn)定是目前大模型預(yù)訓(xùn)練的主流選擇。并行策略數(shù)據(jù)并行每個(gè) GPU 分到不同的數(shù)據(jù)梯度同步更新張量并行把單個(gè) Transformer 層切分到多張 GPU流水線并行把不同層分到不同 GPU按階段接力計(jì)算ZeRO把優(yōu)化器狀態(tài)、梯度、參數(shù)分片存儲(chǔ)降低顯存冗余。通過(guò) DeepSpeed 可以方便地啟用 ZeRO 和混合精度{ zero_optimization: { stage: 2, offload_optimizer: { device: cpu } }, bf16: { enabled: true }, train_batch_size: 128, gradient_accumulation_steps: 16, gradient_clipping: 1.0 }對(duì)于單卡訓(xùn)練ZeRO-2 已經(jīng)能省下大量顯存多卡訓(xùn)練則可以升級(jí)到 ZeRO-3把參數(shù)也分片到多卡。4.4 訓(xùn)練循環(huán)中的日志記錄訓(xùn)練日志是“直播”的基礎(chǔ)。在腳本中用 TensorBoard 記錄 Loss、學(xué)習(xí)率、梯度范數(shù)等指標(biāo)可以幫助你實(shí)時(shí)判斷訓(xùn)練狀態(tài)。from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(log_dirlogs/) # 在訓(xùn)練循環(huán)中 for step, batch in enumerate(train_dataloader): outputs model(**batch) loss outputs.loss loss.backward() optimizer.step() scheduler.step() optimizer.zero_grad() if step % logging_steps 0: writer.add_scalar(train/loss, loss.item(), step) writer.add_scalar(train/lr, scheduler.get_last_lr()[0], step)記錄 Loss 不要只記當(dāng)前 step 的瞬時(shí)值。因?yàn)橛?xùn)練中 Loss 抖動(dòng)是正常的更好的做法是記錄平滑后的移動(dòng)平均 Loss這樣曲線更容易看出整體趨勢(shì)。5. Loss 曲線怎么讀、怎么排查、怎么判斷訓(xùn)練正常Loss 是訓(xùn)練過(guò)程最核心的“體征信號(hào)”。在公開(kāi)訓(xùn)練日志中大家最關(guān)注的就是 Loss 曲線。5.1 一條“正?！钡?Loss 曲線長(zhǎng)什么樣正常的預(yù)訓(xùn)練 Loss 曲線有幾個(gè)特點(diǎn)初期快速下降學(xué)習(xí)率 warmup 階段曲線會(huì)有一個(gè)明顯的“下坡”中期平穩(wěn)下降下降速度逐漸變慢伴隨一定波動(dòng)后期接近收斂Loss 在某個(gè)區(qū)間內(nèi)緩慢下降波動(dòng)幅度變小學(xué)習(xí)率按 cosine 衰減到接近 0 時(shí)Loss 會(huì)有一小段加速下降這是正?，F(xiàn)象。如果你的曲線整體趨勢(shì)符合上述描述哪怕有小幅震蕩也說(shuō)明訓(xùn)練基本正常。5.2 Loss 不下降怎么辦這是最常遇到的問(wèn)題?？赡茉蚝团挪樗悸啡缦聠?wèn)題現(xiàn)象可能原因排查與解決Loss 始終不變學(xué)習(xí)率過(guò)低調(diào)大學(xué)習(xí)率檢查 warmup 是否過(guò)長(zhǎng)Loss 快速發(fā)散學(xué)習(xí)率過(guò)高降低學(xué)習(xí)率檢查是否出現(xiàn) NaNLoss 下降很慢數(shù)據(jù)質(zhì)量差檢查數(shù)據(jù)清洗和 tokenize 是否正確Loss 震蕩劇烈batch size 太小增大梯度累積步數(shù)提高有效 batch sizeLoss 正常但評(píng)測(cè)不漲評(píng)測(cè)集和訓(xùn)練集分布不匹配檢查評(píng)測(cè)集或增加相關(guān)數(shù)據(jù)比例5.3 如何用損失函數(shù)判斷是否過(guò)擬合預(yù)訓(xùn)練階段訓(xùn)練數(shù)據(jù)通常是幾個(gè) epoch 甚至不到一個(gè) epoch所以過(guò)擬合風(fēng)險(xiǎn)相對(duì)低。但微調(diào)階段很容易過(guò)擬合。判斷方式很簡(jiǎn)單觀察驗(yàn)證集 Loss。如果訓(xùn)練 Loss 持續(xù)下降但驗(yàn)證 Loss 不再下降甚至上升就說(shuō)明模型開(kāi)始過(guò)擬合了。應(yīng)對(duì)策略增加數(shù)據(jù)增強(qiáng)或增加更多領(lǐng)域數(shù)據(jù)降低訓(xùn)練輪數(shù)加 Dropout使用早停early stopping減小模型容量或降學(xué)習(xí)率。5.4 Loss 中出現(xiàn)尖刺Spike怎么辦Loss 曲線突然出現(xiàn)一個(gè)很高的尖峰通常是因?yàn)槟硞€(gè) batch 的數(shù)據(jù)有問(wèn)題或者訓(xùn)練狀態(tài)崩了。常見(jiàn)處理方式查看梯度范數(shù)如果尖刺瞬間梯度范數(shù)異常大打開(kāi)梯度裁剪gradient clipping檢查數(shù)據(jù)定位尖刺對(duì)應(yīng)的 batch確認(rèn)是否有異常文本恢復(fù) checkpoint從尖刺前的 checkpoint 重新開(kāi)始訓(xùn)練只跳過(guò)出問(wèn)題的數(shù)據(jù)。在 DeepSpeed 配置中梯度裁剪已經(jīng)設(shè)了gradient_clipping: 1.0這能有效降低尖刺出現(xiàn)的概率。5.5 Loss 變成 NaNLoss 變成 NaN 是非常嚴(yán)重的問(wèn)題常見(jiàn)原因包括學(xué)習(xí)率過(guò)高導(dǎo)致梯度爆炸FP16 精度溢出數(shù)據(jù)中存在 NaN 值模型初始化不穩(wěn)定。排查順序1. 檢查輸入數(shù)據(jù)是否含有 NaN 2. 切換到 BF16 或關(guān)閉 AMP 3. 降低學(xué)習(xí)率 4. 檢查優(yōu)化器參數(shù)和 warmup 設(shè)置 5. 加載最近一個(gè)正常 checkpoint 重新訓(xùn)練這也是為什么在公開(kāi)訓(xùn)練項(xiàng)目中定期保存 checkpoint是剛需。如果不保存一旦發(fā)生 NaN幾天的算力就白費(fèi)了。6. 完整實(shí)戰(zhàn)在大模型訓(xùn)練中復(fù)現(xiàn)公開(kāi)訓(xùn)練日志現(xiàn)在我們一起來(lái)做一個(gè)簡(jiǎn)化版的“公開(kāi)訓(xùn)練”——用一個(gè)小模型完成訓(xùn)練并把 Loss、學(xué)習(xí)率、評(píng)估指標(biāo)全部記錄到 TensorBoard。這個(gè)流程和 535B 項(xiàng)目的核心流程是一致的只是規(guī)?？s小到單卡可運(yùn)行。6.1 創(chuàng)建項(xiàng)目結(jié)構(gòu)按照前面規(guī)劃的結(jié)構(gòu)創(chuàng)建目錄mkdir -p llm-training-demo/{configs,data,scripts,logs}6.2 準(zhǔn)備訓(xùn)練數(shù)據(jù)為了演示效果我們使用一個(gè)較小的開(kāi)源數(shù)據(jù)集并在本地構(gòu)建一個(gè)簡(jiǎn)單的預(yù)處理腳本# 文件路徑data/prepare_data.py from datasets import load_dataset from transformers import AutoTokenizer dataset load_dataset(wikitext, wikitext-2-raw-v1, splittrain) tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) def tokenize_function(examples): return tokenizer(examples[text], truncationTrue, max_length512, paddingmax_length) # 這里只取少量數(shù)據(jù)用于演示 small_dataset dataset.select(range(2000)) tokenized_dataset small_dataset.map(tokenize_function, batchedTrue, remove_columns[text]) tokenized_dataset.save_to_disk(data/tokenized_data) print(數(shù)據(jù)準(zhǔn)備完成)運(yùn)行命令python data/prepare_data.py6.3 編寫訓(xùn)練腳本下面是一個(gè)基于Trainer的訓(xùn)練腳本方便大家直接復(fù)制使用# 文件路徑scripts/train.py from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, ) import torch from datasets import load_from_disk # 加載數(shù)據(jù) tokenized_dataset load_from_disk(data/tokenized_data) # 用小模型示例可以替換成更大的模型 model_name gpt2 tokenizer AutoTokenizer.from_pretrained(model_name) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained(model_name) # 訓(xùn)練參數(shù) training_args TrainingArguments( output_dirlogs/checkpoints, num_train_epochs3, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate5e-5, warmup_steps100, logging_dirlogs/tensorboard, logging_steps10, save_steps200, save_total_limit2, prediction_loss_onlyTrue, remove_unused_columnsFalse, fp16True, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, tokenizertokenizer, ) trainer.train()注意trainer.train()執(zhí)行時(shí)會(huì)自動(dòng)保存 checkpoint并把 Loss 寫入 TensorBoard。這就是“訓(xùn)練日志”的雛形。6.4 保存并查看 TensorBoard訓(xùn)練完成后在項(xiàng)目根目錄運(yùn)行tensorboard --logdir logs/tensorboard瀏覽器打開(kāi)終端提示的地址通常是http://localhost:6006你就能看到 Loss 曲線、學(xué)習(xí)率變化曲線。這里有一個(gè)小技巧在TrainingArguments中增加report_totensorboard可以確保指標(biāo)寫入正確。6.5 結(jié)果說(shuō)明正常訓(xùn)練時(shí)你會(huì)看到 Loss 曲線先快速下降然后趨于平穩(wěn)。如果 FP16 訓(xùn)練時(shí)出現(xiàn) Loss NaN考慮關(guān)掉fp16改成bf16True需要 Ampere 架構(gòu)以上的 GPU或者在TrainingArguments中設(shè)置fp16_opt_levelO1。這個(gè)簡(jiǎn)化流程的核心意義在于記錄日志、保存 checkpoint、可視化訓(xùn)練曲線和 535B 公開(kāi)訓(xùn)練項(xiàng)目的動(dòng)作本質(zhì)上是一樣的只是規(guī)模不同。7. 常見(jiàn)問(wèn)題與排查思路7.1 訓(xùn)練啟動(dòng)失敗顯存不足這是最常見(jiàn)的錯(cuò)誤提示一般類似RuntimeError: CUDA out of memory.解決方向減小per_device_train_batch_size增大gradient_accumulation_steps開(kāi)啟 DeepSpeed ZeRO-offload使用bf16或fp16混合精度減小max_length或使用序列打包。7.2 模型加載卡住或下載慢大模型權(quán)重文件很大加載緩慢很正常。建議優(yōu)先使用本地緩存指定HF_HOME環(huán)境變量統(tǒng)一管理緩存使用model AutoModelForCausalLM.from_pretrained(model_name, cache_dir./cache)把權(quán)重保存到項(xiàng)目目錄。7.3 訓(xùn)練中斷如何從 checkpoint 恢復(fù)在 Trainer 中恢復(fù)訓(xùn)練非常簡(jiǎn)單trainer.train(resume_from_checkpointlogs/checkpoints/checkpoint-1000)公開(kāi)訓(xùn)練項(xiàng)目能持續(xù)“直播”三個(gè)月背后的核心能力就是checkpoint 管理和自動(dòng)化恢復(fù)機(jī)制。7.4 多卡訓(xùn)練時(shí) Loss 不一致多卡訓(xùn)練時(shí)不同卡打印的 Loss 可能略有不同這是正?，F(xiàn)象。由于梯度同步和 batch 劃分差異每個(gè) step 的 Loss 不一定完全一致。關(guān)注整體趨勢(shì)即可。7.5 常見(jiàn)問(wèn)題匯總表問(wèn)題現(xiàn)象常見(jiàn)原因解決思路CUDA OOMbatch_size 過(guò)大調(diào)小 batch開(kāi)啟梯度累積Loss 恒為常數(shù)學(xué)習(xí)率過(guò)低或數(shù)據(jù)全是 padding檢查數(shù)據(jù)調(diào)大學(xué)習(xí)率Loss 出現(xiàn) NaNFP16 溢出改用 BF16 或降低學(xué)習(xí)率訓(xùn)練速度過(guò)慢數(shù)據(jù)加載瓶頸使用流式加載增加 num_workers多卡訓(xùn)練卡死通信庫(kù)版本不一致檢查 NCCL 和 PyTorch 版本checkpoint 無(wú)法恢復(fù)配置不一致保持模型結(jié)構(gòu)和參數(shù)不變8. 最佳實(shí)踐與工程建議8.1 實(shí)驗(yàn)管理看過(guò) 535B 項(xiàng)目公開(kāi)的日志你會(huì)發(fā)現(xiàn)他們不只是記錄一個(gè) Loss 數(shù)字而是把每次實(shí)驗(yàn)的配置、數(shù)據(jù)版本、模型 checkpoint、評(píng)測(cè)結(jié)果都關(guān)聯(lián)起來(lái)。推薦做法每次實(shí)驗(yàn)前生成一個(gè)唯一實(shí)驗(yàn) ID把訓(xùn)練參數(shù)以 yaml 文件形式保存到日志目錄定期保存 checkpoint并刪除舊的 checkpoint 控制磁盤占用記錄數(shù)據(jù)集的版本和清洗腳本版本保證可回溯。8.2 安全與合規(guī)大模型訓(xùn)練涉及數(shù)據(jù)和模型的合規(guī)問(wèn)題這里必須提醒幾點(diǎn)訓(xùn)練數(shù)據(jù)必須確認(rèn)版權(quán)和使用權(quán)限涉及用戶隱私或敏感信息的數(shù)據(jù)不得用于訓(xùn)練在正式環(huán)境進(jìn)行任何訓(xùn)練、微調(diào)或部署前先在測(cè)試環(huán)境驗(yàn)證生產(chǎn)環(huán)境操作要遵循最小權(quán)限原則使用獨(dú)立的服務(wù)賬號(hào)涉及模型發(fā)布時(shí)要評(píng)估生成內(nèi)容的安全性和偏見(jiàn)風(fēng)險(xiǎn)。8.3 成本控制與算力規(guī)劃預(yù)訓(xùn)練 535B 模型的成本極高普通團(tuán)隊(duì)不一定承受得起。工程上建議采用“小規(guī)模試點(diǎn) 逐步放大”的策略1 億參數(shù)試點(diǎn) → 13 億參數(shù)驗(yàn)證 → 70 億參數(shù)規(guī)模化 → 更大規(guī)模每一階段的超參數(shù)、數(shù)據(jù)配比都可以從小模型中遷移。先在小模型上找到穩(wěn)定的 Loss 下降曲線再放大到大規(guī)模訓(xùn)練能省下大量試錯(cuò)成本。8.4 可復(fù)現(xiàn)性公開(kāi)訓(xùn)練的核心價(jià)值在于“可復(fù)現(xiàn)”。實(shí)際開(kāi)發(fā)中要做到可復(fù)現(xiàn)需要固定隨機(jī)種子記錄代碼版本Git commit 號(hào)固定依賴版本保存 tokenizer 狀態(tài)記錄每次 checkpoint 的精確訓(xùn)練步數(shù)。下面是一個(gè)固定隨機(jī)種子的示例import random import numpy as np import torch def set_seed(seed: int 42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) set_seed(42)8.5 工程化監(jiān)控在大規(guī)模訓(xùn)練中Loss 日志只是最低要求。更完整的監(jiān)控體系應(yīng)該包括每小時(shí)的訓(xùn)練吞吐量GPU 利用率、顯存占用網(wǎng)絡(luò)通信耗時(shí)數(shù)據(jù)加載耗時(shí)梯度范數(shù)的變化。這樣一旦出現(xiàn)問(wèn)題可以快速定位是算力瓶頸、I/O 瓶頸還是訓(xùn)練狀態(tài)異常。9. 總結(jié)與學(xué)習(xí)路線535B 大模型的“直播”訓(xùn)練給整個(gè) AI 社區(qū)提供了一個(gè)難得的觀察窗口。透過(guò)這扇窗你可以看到工業(yè)級(jí)預(yù)訓(xùn)練真實(shí)的數(shù)據(jù)處理流程、超參數(shù)選擇邏輯、訓(xùn)練穩(wěn)定性控制方法以及工程管理細(xì)節(jié)。對(duì)普通開(kāi)發(fā)者來(lái)說(shuō)沒(méi)有必要一上來(lái)就追求復(fù)現(xiàn) 535B 模型。更務(wù)實(shí)的路線是先在小模型上跑通訓(xùn)練流程 → 學(xué)會(huì)解讀 Loss 曲線 → 掌握數(shù)據(jù)清洗和采樣方法 → 理解混合精度和分布式訓(xùn)練 → 再逐步擴(kuò)大模型規(guī)模這篇文章里給出的代碼和配置就是這條路線的最小起步集。建議你動(dòng)手跑一遍 6.3 節(jié)中的訓(xùn)練腳本把小模型的 Loss 曲線觀察一遍體會(huì) Loss 在不同階段的下降節(jié)奏。只有親手看過(guò)正常曲線遇到異常曲線時(shí)才能快速定位問(wèn)題。接下來(lái)可以繼續(xù)深入學(xué)習(xí)大模型微調(diào)、LoRA、模型量化、部署推理等方向。如果文章對(duì)你有幫助建議收藏備用后續(xù)訓(xùn)練遇到問(wèn)題時(shí)再回來(lái)看一遍排查表格。也歡迎在評(píng)論區(qū)分享你自己的訓(xùn)練經(jīng)驗(yàn)和踩坑記錄互相交流進(jìn)步。 535B大模型公開(kāi)訓(xùn)練深度拆解：數(shù)據(jù)管道、Loss曲線與超參調(diào)優(yōu)實(shí)戰(zhàn)
這兩天技術(shù)圈最熱的一件事莫過(guò)于一個(gè) 535B 參數(shù)的大模型項(xiàng)目把訓(xùn)練過(guò)程“直播”了三個(gè)月代碼、數(shù)據(jù)集、Loss 曲線全部公開(kāi)連吳恩達(dá)都公開(kāi)表達(dá)了支持。所謂“直播訓(xùn)練”不是真的開(kāi)一個(gè)視頻流對(duì)著機(jī)房拍而是把整個(gè)訓(xùn)練過(guò)程變成可圍觀、可復(fù)現(xiàn)、可審查的開(kāi)放項(xiàng)目。你可以在訓(xùn)練過(guò)程中實(shí)時(shí)看到 Loss 曲線如何波動(dòng)、數(shù)據(jù)管道怎么處理、訓(xùn)練腳本怎么調(diào)度甚至把 checkpoint 拿下來(lái)自己做評(píng)測(cè)。這篇文章我想換個(gè)角度不單純復(fù)述新聞而是把這件熱點(diǎn)事件拆成一套可以遷移到日常大模型訓(xùn)練中的方法論大規(guī)模訓(xùn)練的數(shù)據(jù)管道到底怎么搭訓(xùn)練配置中的關(guān)鍵參數(shù)為什么重要Loss 曲線出現(xiàn)波動(dòng)、尖刺、不下降時(shí)該怎么排查普通開(kāi)發(fā)者在有限資源下怎么復(fù)現(xiàn)和借鑒這套流程。無(wú)論你是剛接觸大模型訓(xùn)練的新手還是已經(jīng)在做微調(diào)和預(yù)訓(xùn)練這篇內(nèi)容都能幫你把“公開(kāi)訓(xùn)練”背后的工程細(xì)節(jié)理清楚。1. 背景與核心概念1.1 什么是“直播”訓(xùn)練傳統(tǒng)大模型訓(xùn)練往往是一個(gè)黑盒公司或研究機(jī)構(gòu)在內(nèi)部集群上訓(xùn)練外界看不到過(guò)程只能在發(fā)布時(shí)看到一個(gè)最終模型和一份技術(shù)報(bào)告。而“直播”訓(xùn)練模式指的是把訓(xùn)練過(guò)程中的代碼倉(cāng)庫(kù)、數(shù)據(jù)集制作流程、模型結(jié)構(gòu)配置、訓(xùn)練日志、Loss 曲線、checkpoint 甚至中間評(píng)估結(jié)果全部公開(kāi)。開(kāi)發(fā)者可以隨時(shí)查看訓(xùn)練到了第幾天、Loss 降到了多少、學(xué)習(xí)率調(diào)度到哪個(gè)階段。這類工作最典型的價(jià)值有三個(gè)可復(fù)現(xiàn)別人拿到同樣的代碼、數(shù)據(jù)、超參理論上能訓(xùn)練出效果接近的模型可審計(jì)數(shù)據(jù)是否合規(guī)、是否去重、是否有污染全程透明可學(xué)習(xí)普通開(kāi)發(fā)者不需要自己花百萬(wàn)成本跑千卡集群也能通過(guò)公開(kāi)日志學(xué)到工業(yè)級(jí)訓(xùn)練的工程細(xì)節(jié)。那為什么 535B 這個(gè)規(guī)模會(huì)引起關(guān)注因?yàn)槌^(guò) 500B 參數(shù)的模型訓(xùn)練成本極高通常涉及上千張 GPU、數(shù)周甚至數(shù)月的連續(xù)運(yùn)行。在過(guò)去這類訓(xùn)練細(xì)節(jié)幾乎不可能公開(kāi)所以這次公開(kāi)日志的參考價(jià)值非常大。1.2 “全公開(kāi)”到底公開(kāi)了什么從社區(qū)公開(kāi)的信息來(lái)看這類項(xiàng)目通常公開(kāi)四類內(nèi)容公開(kāi)內(nèi)容具體形式對(duì)開(kāi)發(fā)者的價(jià)值代碼訓(xùn)練腳本、并行策略、數(shù)據(jù)加載代碼可以學(xué)習(xí)大規(guī)模訓(xùn)練工程實(shí)現(xiàn)數(shù)據(jù)數(shù)據(jù)來(lái)源、清洗流程、去重規(guī)則可以了解數(shù)據(jù)處理 pipelineLoss 與日志實(shí)時(shí)訓(xùn)練曲線、評(píng)估指標(biāo)可以學(xué)習(xí)如何判斷訓(xùn)練狀態(tài)Checkpoint中間權(quán)重或最終權(quán)重可以直接加載做評(píng)測(cè)或微調(diào)與以往“開(kāi)源權(quán)重”不同這次連訓(xùn)練過(guò)程本身都開(kāi)放了這才是重點(diǎn)。1.3 為什么吳恩達(dá)會(huì)支持這件事吳恩達(dá)長(zhǎng)期推動(dòng) AI 教育的普及和開(kāi)放研究。他支持這類公開(kāi)訓(xùn)練項(xiàng)目背后邏輯并不難理解大模型研究如果長(zhǎng)期被少數(shù)機(jī)構(gòu)壟斷整個(gè)生態(tài)的創(chuàng)新會(huì)被限制公開(kāi)訓(xùn)練過(guò)程能讓學(xué)術(shù)界、中小團(tuán)隊(duì)和個(gè)人開(kāi)發(fā)者更深入理解模型是怎么“長(zhǎng)出來(lái)”的透明化訓(xùn)練也有助于發(fā)現(xiàn)數(shù)據(jù)偏見(jiàn)、訓(xùn)練不穩(wěn)定等問(wèn)題。對(duì)我們這些普通開(kāi)發(fā)者來(lái)說(shuō)與其爭(zhēng)論這個(gè)項(xiàng)目是不是“開(kāi)源最強(qiáng)”不如抓緊機(jī)會(huì)把公開(kāi)的代碼和日志當(dāng)作學(xué)習(xí)材料研究里面的工程決策。2. 環(huán)境準(zhǔn)備與版本說(shuō)明在開(kāi)始復(fù)現(xiàn)和實(shí)驗(yàn)之前先把環(huán)境問(wèn)題講清楚。這里要特別說(shuō)明不同項(xiàng)目的環(huán)境依賴差異很大下面的版本建議是常見(jiàn)組合實(shí)際操作時(shí)一定要根據(jù)你拉取的代碼倉(cāng)庫(kù) requirements 文件來(lái)調(diào)整。2.1 基礎(chǔ)環(huán)境一個(gè)典型的大模型訓(xùn)練/微調(diào)環(huán)境包含以下組件操作系統(tǒng)Ubuntu 20.04 / 22.04或者 CentOS 7GPUNVIDIA 顯卡顯存至少 16GB做小規(guī)模實(shí)驗(yàn)大規(guī)模預(yù)訓(xùn)練則需要多卡集群CUDA建議 11.8 或 12.x具體看 PyTorch 版本Python3.9 / 3.10深度學(xué)習(xí)框架PyTorch 2.x搭配 Transformers、Accelerate、DeepSpeed 或 Megatron-LM。如果你只是想在本地跑通一個(gè)簡(jiǎn)化版訓(xùn)練流程可以不用追求多卡單卡也能復(fù)現(xiàn)大部分流程。2.2 核心依賴安裝下面是一個(gè)常見(jiàn)依賴組合的安裝命令用pip即可pip install torch2.1.2 transformers4.38.2 datasets2.17.1 \ accelerate0.27.2 deepspeed0.14.2 tensorboard2.16.2這里需要解釋幾個(gè)庫(kù)的作用datasets用來(lái)加載和處理數(shù)據(jù)集accelerate用來(lái)簡(jiǎn)化分布式訓(xùn)練deepspeed是顯存優(yōu)化和分布式訓(xùn)練的核心工具tensorboard用來(lái)記錄和可視化 Loss 曲線。如果你的網(wǎng)絡(luò)環(huán)境拉取模型和數(shù)據(jù)集比較慢可以考慮設(shè)置 Hugging Face 鏡像但不涉及任何訪問(wèn)外網(wǎng)的特殊工具只做正常的鏡像配置。2.3 示例項(xiàng)目結(jié)構(gòu)為了方便后續(xù)實(shí)戰(zhàn)我們需要建一個(gè)清晰的項(xiàng)目目錄llm-training-demo/ ├── configs/ │ ├── train_config.yaml │ └── deepspeed_config.json ├── data/ │ └── prepare_data.py ├── scripts/ │ └── train.py ├── logs/ │ └── .gitkeep └── README.md這個(gè)結(jié)構(gòu)把配置、數(shù)據(jù)準(zhǔn)備、訓(xùn)練腳本、日志分開(kāi)后續(xù)在做大規(guī)模訓(xùn)練時(shí)這種分離會(huì)大大提升實(shí)驗(yàn)管理效率。3. 數(shù)據(jù)管道大模型訓(xùn)練的“隱形地基”任何一個(gè)預(yù)訓(xùn)練項(xiàng)目的成功數(shù)據(jù)質(zhì)量都比模型結(jié)構(gòu)更關(guān)鍵。公開(kāi)訓(xùn)練日志里最有價(jià)值的一部分就是數(shù)據(jù)管道是怎么搭的。3.1 數(shù)據(jù)來(lái)源與清洗大模型預(yù)訓(xùn)練數(shù)據(jù)通常來(lái)自互聯(lián)網(wǎng)爬蟲、開(kāi)源語(yǔ)料庫(kù)、書籍、論文等。這些數(shù)據(jù)無(wú)法直接使用必須經(jīng)過(guò)清洗去重互聯(lián)網(wǎng)上相似文本非常多重復(fù)數(shù)據(jù)會(huì)讓模型浪費(fèi)容量過(guò)濾去掉低質(zhì)量、機(jī)器生成、包含惡意代碼或敏感信息的文本語(yǔ)言識(shí)別根據(jù)目標(biāo)模型的語(yǔ)言分布過(guò)濾語(yǔ)種正文抽取把網(wǎng)頁(yè)中的導(dǎo)航、廣告、腳本等噪音去掉。下面是一個(gè)簡(jiǎn)單的數(shù)據(jù)清洗示例# 文件路徑data/prepare_data.py import re from datasets import load_dataset def clean_text(text: str) - str: # 去掉 HTML 標(biāo)簽 text re.sub(r[^], , text) # 去掉多余空白 text re.sub(r\s, , text).strip() # 去掉過(guò)短的無(wú)效內(nèi)容 if len(text) 50: return return text def dedup_texts(texts): seen set() unique_texts [] for text in texts: # 用前 100 個(gè)字符做粗粒度去重 signature text[:100] if signature in seen: continue seen.add(signature) unique_texts.append(text) return unique_texts if __name__ __main__: # 以開(kāi)源數(shù)據(jù)集為例 dataset load_dataset(json, data_filesraw_data.jsonl, splittrain) cleaned [] for sample in dataset: text clean_text(sample[text]) if text: cleaned.append(text) cleaned dedup_texts(cleaned) print(f清洗前: {len(dataset)} 條, 清洗后: {len(cleaned)} 條)注意這里用“前 100 個(gè)字符”做去重只是一個(gè)粗糙策略。工業(yè)級(jí)去重通常用 MinHash LSH 在全文級(jí)別做但原理是類似的去掉相似內(nèi)容保留信息增量。3.2 Tokenization 與序列長(zhǎng)度清洗完成后的文本需要被 tokenizer 切成 token。對(duì)于中文語(yǔ)料可能需要選擇合適的 tokenizer對(duì)于英文通常使用 BPE 或 SentencePiece。在預(yù)訓(xùn)練階段序列長(zhǎng)度通常設(shè)置為 2048 或 4096。越長(zhǎng)的序列意味著單條樣本上下文更完整但顯存占用也會(huì)更高。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) def tokenize_function(examples): # truncation 會(huì)丟棄超過(guò) max_length 的部分 return tokenizer( examples[text], truncationTrue, max_length2048, return_overflowing_tokensFalse )有一個(gè)容易踩的坑如果同一批樣本長(zhǎng)短差異很大直接 padding 會(huì)浪費(fèi)大量計(jì)算量。工業(yè)做法通常是先按長(zhǎng)度分桶再把長(zhǎng)度相近的樣本放到同一個(gè) batch。3.3 數(shù)據(jù)混入比例預(yù)訓(xùn)練數(shù)據(jù)往往由多個(gè)來(lái)源組成網(wǎng)頁(yè)文本、百科、書籍、代碼、論文等。不同來(lái)源需要按一定比例混合。比如代碼數(shù)據(jù)占比高模型的代碼能力會(huì)更強(qiáng)書籍占比高長(zhǎng)文本能力和知識(shí)密度可能會(huì)更好。在公開(kāi)訓(xùn)練項(xiàng)目中這類比例通常會(huì)在技術(shù)報(bào)告中說(shuō)明。你在自己訓(xùn)練時(shí)可以按下面思路調(diào)整數(shù)據(jù)來(lái)源建議初始比例說(shuō)明網(wǎng)頁(yè)文本60% - 70%覆蓋面廣知識(shí)量大的主體書籍/長(zhǎng)文本10% - 15%提升長(zhǎng)上下文能力代碼10% - 20%增強(qiáng)邏輯推理和代碼能力百科/論文5% - 10%提升知識(shí)準(zhǔn)確性注意這些比例不是固定的不同模型定位不同混入比例要配合評(píng)測(cè)結(jié)果迭代。3.4 流式數(shù)據(jù)加載幾百 GB 甚至幾 TB 的文本無(wú)法一次性加載到內(nèi)存工業(yè)場(chǎng)景幾乎都采用流式加載from datasets import load_dataset # streamingTrue 時(shí)不會(huì)把所有數(shù)據(jù)加載到內(nèi)存 dataset load_dataset(json, data_filesprocessed_data.jsonl, splittrain, streamingTrue) for i, sample in enumerate(dataset): # 訓(xùn)練循環(huán)里逐步消費(fèi)數(shù)據(jù) if i 10000: break process_sample(sample)流式加載配合多進(jìn)程預(yù)處理是大規(guī)模訓(xùn)練的標(biāo)準(zhǔn)做法。如果數(shù)據(jù)讀取速度跟不上 GPU 消費(fèi)速度再?gòu)?qiáng)的算力也會(huì)被卡在 I/O 上。4. 模型結(jié)構(gòu)與訓(xùn)練策略拆解4.1 模型架構(gòu)選擇535B 這個(gè)規(guī)模的項(xiàng)目通常沿用類似 LLaMA 的 Decoder-only 架構(gòu)核心結(jié)構(gòu)包括RMSNorm代替 LayerNorm訓(xùn)練更穩(wěn)定Rotary Embedding替代絕對(duì)位置編碼外推性更好SwiGLU 激活函數(shù)提升表達(dá)能力GQAGrouped Query Attention降低推理顯存和帶寬壓力。我們?cè)谛∫?guī)模復(fù)現(xiàn)時(shí)不必把架構(gòu)改得很復(fù)雜基于 Transformers 庫(kù)直接使用AutoModelForCausalLM即可。4.2 超參數(shù)配置與解釋下面是一個(gè)典型的預(yù)訓(xùn)練/繼續(xù)預(yù)訓(xùn)練超參配置# 文件路徑configs/train_config.yaml model_name: gpt2 # 示例用小模型替換成你的基座 batch_size: 8 gradient_accumulation_steps: 16 learning_rate: 2e-4 warmup_steps: 2000 max_steps: 50000 weight_decay: 0.1 lr_scheduler_type: cosine bf16: true logging_steps: 50 save_steps: 2000逐行解釋關(guān)鍵參數(shù)batch_size單張 GPU 上的 batch 大小gradient_accumulation_steps梯度累積步數(shù)實(shí)際 batch 大小等于兩者相乘learning_rate預(yù)訓(xùn)練大模型通常用 1e-4 到 3e-4 的量級(jí)warmup_steps學(xué)習(xí)率預(yù)熱防止訓(xùn)練初期 Loss 劇烈震蕩cosine學(xué)習(xí)率按余弦曲線衰減到接近 0bf16BF16 混合精度訓(xùn)練能有效避免 loss 變成 NaN。4.3 混合精度與并行策略大規(guī)模訓(xùn)練的顯存壓力非常大核心優(yōu)化手段包括混合精度# deepspeed 配置支持 fp16 或 bf16 fp16: enabled: true loss_scale: 0 loss_scale_window: 1000 bf16: enabled: trueFP16 訓(xùn)練速度快但容易出現(xiàn)精度溢出BF16 的指數(shù)范圍更大訓(xùn)練更穩(wěn)定是目前大模型預(yù)訓(xùn)練的主流選擇。并行策略數(shù)據(jù)并行每個(gè) GPU 分到不同的數(shù)據(jù)梯度同步更新張量并行把單個(gè) Transformer 層切分到多張 GPU流水線并行把不同層分到不同 GPU按階段接力計(jì)算ZeRO把優(yōu)化器狀態(tài)、梯度、參數(shù)分片存儲(chǔ)降低顯存冗余。通過(guò) DeepSpeed 可以方便地啟用 ZeRO 和混合精度{ zero_optimization: { stage: 2, offload_optimizer: { device: cpu } }, bf16: { enabled: true }, train_batch_size: 128, gradient_accumulation_steps: 16, gradient_clipping: 1.0 }對(duì)于單卡訓(xùn)練ZeRO-2 已經(jīng)能省下大量顯存多卡訓(xùn)練則可以升級(jí)到 ZeRO-3把參數(shù)也分片到多卡。4.4 訓(xùn)練循環(huán)中的日志記錄訓(xùn)練日志是“直播”的基礎(chǔ)。在腳本中用 TensorBoard 記錄 Loss、學(xué)習(xí)率、梯度范數(shù)等指標(biāo)可以幫助你實(shí)時(shí)判斷訓(xùn)練狀態(tài)。from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(log_dirlogs/) # 在訓(xùn)練循環(huán)中 for step, batch in enumerate(train_dataloader): outputs model(**batch) loss outputs.loss loss.backward() optimizer.step() scheduler.step() optimizer.zero_grad() if step % logging_steps 0: writer.add_scalar(train/loss, loss.item(), step) writer.add_scalar(train/lr, scheduler.get_last_lr()[0], step)記錄 Loss 不要只記當(dāng)前 step 的瞬時(shí)值。因?yàn)橛?xùn)練中 Loss 抖動(dòng)是正常的更好的做法是記錄平滑后的移動(dòng)平均 Loss這樣曲線更容易看出整體趨勢(shì)。5. Loss 曲線怎么讀、怎么排查、怎么判斷訓(xùn)練正常Loss 是訓(xùn)練過(guò)程最核心的“體征信號(hào)”。在公開(kāi)訓(xùn)練日志中大家最關(guān)注的就是 Loss 曲線。5.1 一條“正?！钡?Loss 曲線長(zhǎng)什么樣正常的預(yù)訓(xùn)練 Loss 曲線有幾個(gè)特點(diǎn)初期快速下降學(xué)習(xí)率 warmup 階段曲線會(huì)有一個(gè)明顯的“下坡”中期平穩(wěn)下降下降速度逐漸變慢伴隨一定波動(dòng)后期接近收斂Loss 在某個(gè)區(qū)間內(nèi)緩慢下降波動(dòng)幅度變小學(xué)習(xí)率按 cosine 衰減到接近 0 時(shí)Loss 會(huì)有一小段加速下降這是正?，F(xiàn)象。如果你的曲線整體趨勢(shì)符合上述描述哪怕有小幅震蕩也說(shuō)明訓(xùn)練基本正常。5.2 Loss 不下降怎么辦這是最常遇到的問(wèn)題?？赡茉蚝团挪樗悸啡缦聠?wèn)題現(xiàn)象可能原因排查與解決Loss 始終不變學(xué)習(xí)率過(guò)低調(diào)大學(xué)習(xí)率檢查 warmup 是否過(guò)長(zhǎng)Loss 快速發(fā)散學(xué)習(xí)率過(guò)高降低學(xué)習(xí)率檢查是否出現(xiàn) NaNLoss 下降很慢數(shù)據(jù)質(zhì)量差檢查數(shù)據(jù)清洗和 tokenize 是否正確Loss 震蕩劇烈batch size 太小增大梯度累積步數(shù)提高有效 batch sizeLoss 正常但評(píng)測(cè)不漲評(píng)測(cè)集和訓(xùn)練集分布不匹配檢查評(píng)測(cè)集或增加相關(guān)數(shù)據(jù)比例5.3 如何用損失函數(shù)判斷是否過(guò)擬合預(yù)訓(xùn)練階段訓(xùn)練數(shù)據(jù)通常是幾個(gè) epoch 甚至不到一個(gè) epoch所以過(guò)擬合風(fēng)險(xiǎn)相對(duì)低。但微調(diào)階段很容易過(guò)擬合。判斷方式很簡(jiǎn)單觀察驗(yàn)證集 Loss。如果訓(xùn)練 Loss 持續(xù)下降但驗(yàn)證 Loss 不再下降甚至上升就說(shuō)明模型開(kāi)始過(guò)擬合了。應(yīng)對(duì)策略增加數(shù)據(jù)增強(qiáng)或增加更多領(lǐng)域數(shù)據(jù)降低訓(xùn)練輪數(shù)加 Dropout使用早停early stopping減小模型容量或降學(xué)習(xí)率。5.4 Loss 中出現(xiàn)尖刺Spike怎么辦Loss 曲線突然出現(xiàn)一個(gè)很高的尖峰通常是因?yàn)槟硞€(gè) batch 的數(shù)據(jù)有問(wèn)題或者訓(xùn)練狀態(tài)崩了。常見(jiàn)處理方式查看梯度范數(shù)如果尖刺瞬間梯度范數(shù)異常大打開(kāi)梯度裁剪gradient clipping檢查數(shù)據(jù)定位尖刺對(duì)應(yīng)的 batch確認(rèn)是否有異常文本恢復(fù) checkpoint從尖刺前的 checkpoint 重新開(kāi)始訓(xùn)練只跳過(guò)出問(wèn)題的數(shù)據(jù)。在 DeepSpeed 配置中梯度裁剪已經(jīng)設(shè)了gradient_clipping: 1.0這能有效降低尖刺出現(xiàn)的概率。5.5 Loss 變成 NaNLoss 變成 NaN 是非常嚴(yán)重的問(wèn)題常見(jiàn)原因包括學(xué)習(xí)率過(guò)高導(dǎo)致梯度爆炸FP16 精度溢出數(shù)據(jù)中存在 NaN 值模型初始化不穩(wěn)定。排查順序1. 檢查輸入數(shù)據(jù)是否含有 NaN 2. 切換到 BF16 或關(guān)閉 AMP 3. 降低學(xué)習(xí)率 4. 檢查優(yōu)化器參數(shù)和 warmup 設(shè)置 5. 加載最近一個(gè)正常 checkpoint 重新訓(xùn)練這也是為什么在公開(kāi)訓(xùn)練項(xiàng)目中定期保存 checkpoint是剛需。如果不保存一旦發(fā)生 NaN幾天的算力就白費(fèi)了。6. 完整實(shí)戰(zhàn)在大模型訓(xùn)練中復(fù)現(xiàn)公開(kāi)訓(xùn)練日志現(xiàn)在我們一起來(lái)做一個(gè)簡(jiǎn)化版的“公開(kāi)訓(xùn)練”——用一個(gè)小模型完成訓(xùn)練并把 Loss、學(xué)習(xí)率、評(píng)估指標(biāo)全部記錄到 TensorBoard。這個(gè)流程和 535B 項(xiàng)目的核心流程是一致的只是規(guī)?？s小到單卡可運(yùn)行。6.1 創(chuàng)建項(xiàng)目結(jié)構(gòu)按照前面規(guī)劃的結(jié)構(gòu)創(chuàng)建目錄mkdir -p llm-training-demo/{configs,data,scripts,logs}6.2 準(zhǔn)備訓(xùn)練數(shù)據(jù)為了演示效果我們使用一個(gè)較小的開(kāi)源數(shù)據(jù)集并在本地構(gòu)建一個(gè)簡(jiǎn)單的預(yù)處理腳本# 文件路徑data/prepare_data.py from datasets import load_dataset from transformers import AutoTokenizer dataset load_dataset(wikitext, wikitext-2-raw-v1, splittrain) tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) def tokenize_function(examples): return tokenizer(examples[text], truncationTrue, max_length512, paddingmax_length) # 這里只取少量數(shù)據(jù)用于演示 small_dataset dataset.select(range(2000)) tokenized_dataset small_dataset.map(tokenize_function, batchedTrue, remove_columns[text]) tokenized_dataset.save_to_disk(data/tokenized_data) print(數(shù)據(jù)準(zhǔn)備完成)運(yùn)行命令python data/prepare_data.py6.3 編寫訓(xùn)練腳本下面是一個(gè)基于Trainer的訓(xùn)練腳本方便大家直接復(fù)制使用# 文件路徑scripts/train.py from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, ) import torch from datasets import load_from_disk # 加載數(shù)據(jù) tokenized_dataset load_from_disk(data/tokenized_data) # 用小模型示例可以替換成更大的模型 model_name gpt2 tokenizer AutoTokenizer.from_pretrained(model_name) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained(model_name) # 訓(xùn)練參數(shù) training_args TrainingArguments( output_dirlogs/checkpoints, num_train_epochs3, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate5e-5, warmup_steps100, logging_dirlogs/tensorboard, logging_steps10, save_steps200, save_total_limit2, prediction_loss_onlyTrue, remove_unused_columnsFalse, fp16True, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, tokenizertokenizer, ) trainer.train()注意trainer.train()執(zhí)行時(shí)會(huì)自動(dòng)保存 checkpoint并把 Loss 寫入 TensorBoard。這就是“訓(xùn)練日志”的雛形。6.4 保存并查看 TensorBoard訓(xùn)練完成后在項(xiàng)目根目錄運(yùn)行tensorboard --logdir logs/tensorboard瀏覽器打開(kāi)終端提示的地址通常是http://localhost:6006你就能看到 Loss 曲線、學(xué)習(xí)率變化曲線。這里有一個(gè)小技巧在TrainingArguments中增加report_totensorboard可以確保指標(biāo)寫入正確。6.5 結(jié)果說(shuō)明正常訓(xùn)練時(shí)你會(huì)看到 Loss 曲線先快速下降然后趨于平穩(wěn)。如果 FP16 訓(xùn)練時(shí)出現(xiàn) Loss NaN考慮關(guān)掉fp16改成bf16True需要 Ampere 架構(gòu)以上的 GPU或者在TrainingArguments中設(shè)置fp16_opt_levelO1。這個(gè)簡(jiǎn)化流程的核心意義在于記錄日志、保存 checkpoint、可視化訓(xùn)練曲線和 535B 公開(kāi)訓(xùn)練項(xiàng)目的動(dòng)作本質(zhì)上是一樣的只是規(guī)模不同。7. 常見(jiàn)問(wèn)題與排查思路7.1 訓(xùn)練啟動(dòng)失敗顯存不足這是最常見(jiàn)的錯(cuò)誤提示一般類似RuntimeError: CUDA out of memory.解決方向減小per_device_train_batch_size增大gradient_accumulation_steps開(kāi)啟 DeepSpeed ZeRO-offload使用bf16或fp16混合精度減小max_length或使用序列打包。7.2 模型加載卡住或下載慢大模型權(quán)重文件很大加載緩慢很正常。建議優(yōu)先使用本地緩存指定HF_HOME環(huán)境變量統(tǒng)一管理緩存使用model AutoModelForCausalLM.from_pretrained(model_name, cache_dir./cache)把權(quán)重保存到項(xiàng)目目錄。7.3 訓(xùn)練中斷如何從 checkpoint 恢復(fù)在 Trainer 中恢復(fù)訓(xùn)練非常簡(jiǎn)單trainer.train(resume_from_checkpointlogs/checkpoints/checkpoint-1000)公開(kāi)訓(xùn)練項(xiàng)目能持續(xù)“直播”三個(gè)月背后的核心能力就是checkpoint 管理和自動(dòng)化恢復(fù)機(jī)制。7.4 多卡訓(xùn)練時(shí) Loss 不一致多卡訓(xùn)練時(shí)不同卡打印的 Loss 可能略有不同這是正?，F(xiàn)象。由于梯度同步和 batch 劃分差異每個(gè) step 的 Loss 不一定完全一致。關(guān)注整體趨勢(shì)即可。7.5 常見(jiàn)問(wèn)題匯總表問(wèn)題現(xiàn)象常見(jiàn)原因解決思路CUDA OOMbatch_size 過(guò)大調(diào)小 batch開(kāi)啟梯度累積Loss 恒為常數(shù)學(xué)習(xí)率過(guò)低或數(shù)據(jù)全是 padding檢查數(shù)據(jù)調(diào)大學(xué)習(xí)率Loss 出現(xiàn) NaNFP16 溢出改用 BF16 或降低學(xué)習(xí)率訓(xùn)練速度過(guò)慢數(shù)據(jù)加載瓶頸使用流式加載增加 num_workers多卡訓(xùn)練卡死通信庫(kù)版本不一致檢查 NCCL 和 PyTorch 版本checkpoint 無(wú)法恢復(fù)配置不一致保持模型結(jié)構(gòu)和參數(shù)不變8. 最佳實(shí)踐與工程建議8.1 實(shí)驗(yàn)管理看過(guò) 535B 項(xiàng)目公開(kāi)的日志你會(huì)發(fā)現(xiàn)他們不只是記錄一個(gè) Loss 數(shù)字而是把每次實(shí)驗(yàn)的配置、數(shù)據(jù)版本、模型 checkpoint、評(píng)測(cè)結(jié)果都關(guān)聯(lián)起來(lái)。推薦做法每次實(shí)驗(yàn)前生成一個(gè)唯一實(shí)驗(yàn) ID把訓(xùn)練參數(shù)以 yaml 文件形式保存到日志目錄定期保存 checkpoint并刪除舊的 checkpoint 控制磁盤占用記錄數(shù)據(jù)集的版本和清洗腳本版本保證可回溯。8.2 安全與合規(guī)大模型訓(xùn)練涉及數(shù)據(jù)和模型的合規(guī)問(wèn)題這里必須提醒幾點(diǎn)訓(xùn)練數(shù)據(jù)必須確認(rèn)版權(quán)和使用權(quán)限涉及用戶隱私或敏感信息的數(shù)據(jù)不得用于訓(xùn)練在正式環(huán)境進(jìn)行任何訓(xùn)練、微調(diào)或部署前先在測(cè)試環(huán)境驗(yàn)證生產(chǎn)環(huán)境操作要遵循最小權(quán)限原則使用獨(dú)立的服務(wù)賬號(hào)涉及模型發(fā)布時(shí)要評(píng)估生成內(nèi)容的安全性和偏見(jiàn)風(fēng)險(xiǎn)。8.3 成本控制與算力規(guī)劃預(yù)訓(xùn)練 535B 模型的成本極高普通團(tuán)隊(duì)不一定承受得起。工程上建議采用“小規(guī)模試點(diǎn) 逐步放大”的策略1 億參數(shù)試點(diǎn) → 13 億參數(shù)驗(yàn)證 → 70 億參數(shù)規(guī)模化 → 更大規(guī)模每一階段的超參數(shù)、數(shù)據(jù)配比都可以從小模型中遷移。先在小模型上找到穩(wěn)定的 Loss 下降曲線再放大到大規(guī)模訓(xùn)練能省下大量試錯(cuò)成本。8.4 可復(fù)現(xiàn)性公開(kāi)訓(xùn)練的核心價(jià)值在于“可復(fù)現(xiàn)”。實(shí)際開(kāi)發(fā)中要做到可復(fù)現(xiàn)需要固定隨機(jī)種子記錄代碼版本Git commit 號(hào)固定依賴版本保存 tokenizer 狀態(tài)記錄每次 checkpoint 的精確訓(xùn)練步數(shù)。下面是一個(gè)固定隨機(jī)種子的示例import random import numpy as np import torch def set_seed(seed: int 42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) set_seed(42)8.5 工程化監(jiān)控在大規(guī)模訓(xùn)練中Loss 日志只是最低要求。更完整的監(jiān)控體系應(yīng)該包括每小時(shí)的訓(xùn)練吞吐量GPU 利用率、顯存占用網(wǎng)絡(luò)通信耗時(shí)數(shù)據(jù)加載耗時(shí)梯度范數(shù)的變化。這樣一旦出現(xiàn)問(wèn)題可以快速定位是算力瓶頸、I/O 瓶頸還是訓(xùn)練狀態(tài)異常。9. 總結(jié)與學(xué)習(xí)路線535B 大模型的“直播”訓(xùn)練給整個(gè) AI 社區(qū)提供了一個(gè)難得的觀察窗口。透過(guò)這扇窗你可以看到工業(yè)級(jí)預(yù)訓(xùn)練真實(shí)的數(shù)據(jù)處理流程、超參數(shù)選擇邏輯、訓(xùn)練穩(wěn)定性控制方法以及工程管理細(xì)節(jié)。對(duì)普通開(kāi)發(fā)者來(lái)說(shuō)沒(méi)有必要一上來(lái)就追求復(fù)現(xiàn) 535B 模型。更務(wù)實(shí)的路線是先在小模型上跑通訓(xùn)練流程 → 學(xué)會(huì)解讀 Loss 曲線 → 掌握數(shù)據(jù)清洗和采樣方法 → 理解混合精度和分布式訓(xùn)練 → 再逐步擴(kuò)大模型規(guī)模這篇文章里給出的代碼和配置就是這條路線的最小起步集。建議你動(dòng)手跑一遍 6.3 節(jié)中的訓(xùn)練腳本把小模型的 Loss 曲線觀察一遍體會(huì) Loss 在不同階段的下降節(jié)奏。只有親手看過(guò)正常曲線遇到異常曲線時(shí)才能快速定位問(wèn)題。接下來(lái)可以繼續(xù)深入學(xué)習(xí)大模型微調(diào)、LoRA、模型量化、部署推理等方向。如果文章對(duì)你有幫助建議收藏備用后續(xù)訓(xùn)練遇到問(wèn)題時(shí)再回來(lái)看一遍排查表格。也歡迎在評(píng)論區(qū)分享你自己的訓(xùn)練經(jīng)驗(yàn)和踩坑記錄互相交流進(jìn)步。