1. 為什么我們要關心“范數(shù)”這個數(shù)學工具第一次接觸“范數(shù)”這個詞很多人會覺得它離實際開發(fā)很遠像是數(shù)學系課本里才會出現(xiàn)的抽象概念。但如果你做過機器學習、數(shù)值計算、信號處理甚至只是用過正則化去調(diào)一個過擬合的模型那你其實已經(jīng)在和范數(shù)打交道了。范數(shù)本質(zhì)上就是“衡量一個東西有多大”的尺子只不過這把尺子量的不是長度或重量而是向量和矩陣的“大小”。我在實際項目里踩過的最典型的坑就是早期做特征縮放時隨手用了默認的歐氏距離去度量樣本差異結(jié)果在高維稀疏數(shù)據(jù)上效果極差后來換成L1范數(shù)才把問題解決。這件事讓我意識到選錯范數(shù)模型的表現(xiàn)可能天差地別而很多人根本沒意識到自己正在做“范數(shù)選擇”這件事。這篇文章想做的事情很明確把向量范數(shù)和矩陣范數(shù)這兩塊內(nèi)容講透從定義、幾何直覺、計算方式到它們在正則化、數(shù)值穩(wěn)定性、條件數(shù)分析中的實際用途全部拆開講。適合有一定線性代數(shù)基礎、但沒系統(tǒng)梳理過范數(shù)的開發(fā)者也適合正在做機器學習或數(shù)值計算、想搞清楚“為什么這里要用L2而不是L1”的從業(yè)者。讀完你至少能做到三件事第一看到任意一個范數(shù)定義能快速判斷它屬于哪一類第二知道在什么場景下該選哪種范數(shù)第三能手算常見的向量范數(shù)和矩陣范數(shù)并理解背后的計算邏輯。2. 向量范數(shù)從“長度”到“一把可定制的尺子”2.1 向量范數(shù)的三條公理到底在約束什么向量范數(shù)說穿了就是一個函數(shù)輸入一個向量輸出一個非負實數(shù)。但這個函數(shù)不是隨便定義的它必須滿足三條公理這三條公理決定了它能不能被稱為“范數(shù)”。第一條是非負性對任意向量 x都有 ||x|| ≥ 0且 ||x|| 0 當且僅當 x 是零向量。這條看起來廢話但它排除了那些“把非零向量映射成0”的奇怪函數(shù)。第二條是齊次性||αx|| |α| · ||x||也就是說你把向量放大 α 倍范數(shù)也放大 |α| 倍。第三條是三角不等式||x y|| ≤ ||x|| ||y||這條最直觀兩點之間直線最短繞路不會更近。我習慣用一個生活類比來解釋這三條把范數(shù)想象成“快遞計費規(guī)則”。非負性是說運費不能是負數(shù)且只有空包裹才免運費齊次性是說包裹重量翻倍運費也翻倍三角不等式是說把兩個包裹合并成一個寄運費不會比分開寄更貴。這個類比雖然不嚴謹?shù)軒托率挚焖俳⒅庇X。注意很多初學者會把“范數(shù)”和“距離”混為一談。范數(shù)是度量單個向量的大小距離是度量兩個向量之間的差異。距離通常定義為 ||x - y||它是基于范數(shù)導出來的但兩者概念不同。2.2 最常用的三種向量范數(shù)L1、L2、L∞實際工作中99%的場景只會用到三種向量范數(shù)我把它們的定義、計算方式和典型用途整理成一張表方便你隨時對照。范數(shù)類型定義式通俗叫法典型用途L1范數(shù)Σ|x?|曼哈頓范數(shù)、出租車范數(shù)稀疏特征選擇、Lasso正則化L2范數(shù)√(Σx?2)歐氏范數(shù)距離度量、Ridge正則化L∞范數(shù)max|x?|最大范數(shù)、切比雪夫范數(shù)最壞情況分析、魯棒優(yōu)化L1范數(shù)就是把所有分量的絕對值加起來。它的幾何形狀是一個菱形二維情況下這也是為什么L1正則化容易產(chǎn)生稀疏解——菱形的尖角正好落在坐標軸上最優(yōu)解很容易取到某個分量為0的點。L2范數(shù)就是我們中學學的“向量長度”先平方和再開根號。它的幾何形狀是圓形沒有尖角所以L2正則化會讓參數(shù)整體變小但很少直接變成0。L∞范數(shù)取所有分量絕對值的最大值。它衡量的是“最突出的那個分量有多大”在需要控制最壞情況的場景里特別有用。2.3 手算示例三種范數(shù)的實際計算過程光看定義容易飄我們拿一個具體向量來算一遍。假設 x [3, -4, 0, 2]。L1范數(shù)|3| |-4| |0| |2| 3 4 0 2 9。L2范數(shù)√(32 (-4)2 02 22) √(9 16 0 4) √29 ≈5.385。L∞范數(shù)max(|3|, |-4|, |0|, |2|) max(3, 4, 0, 2) 4。這三個結(jié)果告訴我們同一件事的不同側(cè)面L1說“總共有9個單位的量”L2說“直線距離約5.4”L∞說“最大的單個分量是4”。你會發(fā)現(xiàn) L∞ ≤ L2 ≤ L1這不是巧合而是一個普遍成立的不等式關系后面講范數(shù)等價性時會詳細說。2.4 p-范數(shù)把三種范數(shù)統(tǒng)一成一個公式L1、L2、L∞其實都是p-范數(shù)的特例。p-范數(shù)的定義是||x||_p (Σ|x?|^p)^(1/p)當 p1 時就是L1范數(shù)p2 時就是L2范數(shù)。那L∞怎么來的當 p 趨向無窮大時最大的那個分量會主導整個求和其他分量的貢獻被相對稀釋極限情況下就變成了取最大值。這個推導過程我建議你親手推一遍能極大加深理解。p-范數(shù)里有個反直覺的點p 越小范數(shù)的值越大。比如同一個向量L1范數(shù)總是大于等于L2范數(shù)L2又大于等于L∞。這背后的原因是p 越小對大分量的“懲罰”越輕對小分量的“計入”越重所以總和更大。實操心得在特征工程里做歸一化時如果你不確定選哪個范數(shù)先用L2做標準化除以L2范數(shù)這是最穩(wěn)妥的默認選擇。只有當你有明確理由相信特征應該稀疏時才切換到L1。3. 矩陣范數(shù)當“大小”變成一個更復雜的問題3.1 矩陣范數(shù)和向量范數(shù)的本質(zhì)區(qū)別向量范數(shù)好理解因為向量就是一串數(shù)量它的大小很直觀。但矩陣是一個二維數(shù)組它的“大小”到底指什么是元素的最大值是所有元素的總和還是它作為一個線性變換的“放大能力”不同的理解方式導出了不同的矩陣范數(shù)。這是很多人第一次學矩陣范數(shù)時最困惑的地方。我當初也是花了很久才想明白矩陣范數(shù)分兩大類一類是元素級范數(shù)直接把矩陣拉平當成向量來算另一類是誘導范數(shù)也叫算子范數(shù)衡量的是矩陣作為線性變換時對向量長度的最大放大倍數(shù)。這兩類范數(shù)的用途完全不同混用會出大問題。3.2 元素級范數(shù)Frobenius范數(shù)和它的計算最常用的元素級矩陣范數(shù)是Frobenius范數(shù)記作 ||A||_F。它的定義非常直接||A||_F √(Σ?Σ? a??2)就是把矩陣所有元素平方求和再開根號本質(zhì)上就是把矩陣拉成一個長向量然后算L2范數(shù)。舉個例子A [[1, 2], [3, 4]]那么 ||A||_F √(1 4 9 16) √30 ≈ 5.477。Frobenius范數(shù)在機器學習里出現(xiàn)頻率極高比如矩陣分解的損失函數(shù)、神經(jīng)網(wǎng)絡的權重衰減很多時候用的就是它。它的優(yōu)點是計算簡單、可導性好缺點是它忽略了矩陣的結(jié)構(gòu)信息——兩個元素完全相同但排列不同的矩陣Frobenius范數(shù)是一樣的。3.3 誘導范數(shù)矩陣作為“放大器”的度量誘導范數(shù)的定義稍微繞一點。給定一個向量范數(shù) ||·||矩陣A的誘導范數(shù)定義為||A|| max{ ||Ax|| / ||x|| : x ≠ 0 }翻譯成人話就是在所有非零向量里找出被A放大倍數(shù)最大的那個這個最大倍數(shù)就是A的誘導范數(shù)。它衡量的是矩陣作為線性變換的“最大放大能力”。常用的誘導范數(shù)有三種對應向量的L1、L2、L∞范數(shù)誘導范數(shù)計算方法特點1-范數(shù)列和的最大值最大列絕對值和2-范數(shù)最大奇異值計算復雜但理論重要∞-范數(shù)行和的最大值最大行絕對值和1-范數(shù)和∞-范數(shù)的計算有個好記的口訣1-范數(shù)看列∞-范數(shù)看行。因為1橫過來像列∞豎著像行這個記憶法有點牽強但確實好用。2-范數(shù)最特殊它等于矩陣的最大奇異值計算需要做奇異值分解成本較高但在理論分析中地位最高。3.4 手算示例三種誘導范數(shù)的完整計算還是用 A [[1, 2], [3, 4]] 來算。1-范數(shù)先算每列的絕對值和。第一列 |1| |3| 4第二列 |2| |4| 6。取最大值||A||_1 6?！?范數(shù)先算每行的絕對值和。第一行 |1| |2| 3第二行 |3| |4| 7。取最大值||A||_∞ 7。2-范數(shù)需要算 A?A 的最大特征值的平方根。A?A [[10, 14], [14, 20]]特征值是 15 ± √221最大特征值約 29.866開根號約5.465。這三個結(jié)果差異很大說明它們度量的確實是不同的東西。1-范數(shù)關注“哪一列的總量最大”∞-范數(shù)關注“哪一行的總量最大”2-范數(shù)關注“最大的放大倍數(shù)”。注意誘導范數(shù)必須和某個向量范數(shù)綁定才有意義。說“矩陣的2-范數(shù)”時默認是指由向量L2范數(shù)誘導出來的。如果你用的是其他向量范數(shù)結(jié)果會不同。4. 范數(shù)等價性為什么換個范數(shù)結(jié)果不會崩4.1 有限維空間里所有范數(shù)都等價這是范數(shù)理論里最重要的結(jié)論之一在有限維向量空間里任意兩個范數(shù)都是等價的。等價的意思是存在兩個正常數(shù) c 和 C使得對任意向量 x都有c·||x||_a ≤ ||x||_b ≤ C·||x||_a這個結(jié)論的實際意義是如果你用L1范數(shù)判斷一個向量“很大”那用L2范數(shù)判斷它也不會“很小”。它們對“大小”的判斷在定性上是一致的只是定量上有常數(shù)倍的差異。我當初學到這里時有個疑問既然都等價那還分這么多種范數(shù)干嘛后來才明白等價是理論保證但常數(shù) c 和 C 可能相差極大。在高維空間里L1和L2的比值可以差到 √n 倍n 是維度。當 n 是幾萬維時這個差異就完全不能忽略了。4.2 等價常數(shù)的具體推導以L1和L2為例我們可以推導出它們之間的等價關系。一方面||x||_2 ≤ ||x||_1因為平方和小于等于和的平方當所有分量非負時取等號。另一方面||x||_1 ≤ √n · ||x||_2這個用柯西-施瓦茨不等式可以證明。所以 √(1/n) · ||x||_1 ≤ ||x||_2 ≤ ||x||_1等價常數(shù)是 1 和 √n。這個推導過程建議你親手寫一遍它不僅能幫你記住結(jié)論還能讓你理解為什么高維數(shù)據(jù)里L1和L2的行為差異那么大。4.3 等價性在數(shù)值計算中的實際影響等價性在理論上是好事但在實踐中要小心。比如你做梯度下降用L2范數(shù)做梯度裁剪閾值設為1.0。如果換成L1范數(shù)做裁剪同樣的閾值下實際裁剪力度會完全不同因為L1范數(shù)通常比L2范數(shù)大。我在一個項目里就遇到過這個問題團隊里兩個人分別用L1和L2做梯度裁剪結(jié)果模型收斂速度差了一倍。排查了半天才發(fā)現(xiàn)是范數(shù)選擇不一致導致的。統(tǒng)一范數(shù)選擇是團隊協(xié)作里容易被忽視但非常重要的規(guī)范。實操心得在深度學習框架里torch.nn.utils.clip_grad_norm_默認用的是L2范數(shù)。如果你要換成L1記得同步調(diào)整閾值否則裁剪力度會失控。5. 范數(shù)在機器學習中的核心應用5.1 L1和L2正則化稀疏性與平滑性的取舍正則化是范數(shù)最廣為人知的應用。L1正則化Lasso在損失函數(shù)里加上 λ·||w||_1L2正則化Ridge加上 λ·||w||_22。為什么L1產(chǎn)生稀疏解L2不產(chǎn)生幾何解釋是L1的約束區(qū)域是菱形頂點在坐標軸上損失函數(shù)的等高線很容易和菱形在頂點處相切導致某些權重正好為0。L2的約束區(qū)域是圓形沒有尖角相切點一般不會正好落在坐標軸上。從優(yōu)化角度看L1在0點不可導次梯度包含0所以最優(yōu)解可以停在0點。L2在0點可導且導數(shù)為0但損失函數(shù)的梯度在0點通常不為0所以最優(yōu)解很少正好是0。實際選擇時如果你需要特征選擇、想要一個稀疏模型用L1。如果你只是想讓模型別過擬合、權重別太大用L2。兩者也可以結(jié)合就是彈性網(wǎng)絡Elastic Net同時加L1和L2。5.2 譜范數(shù)在對抗樣本和GAN中的應用譜范數(shù)就是矩陣的2-范數(shù)等于最大奇異值。它在深度學習里有個重要應用譜歸一化。在GAN訓練中判別器的 Lipschitz 常數(shù)如果太大訓練會不穩(wěn)定。譜歸一化通過把每層的權重矩陣除以它的譜范數(shù)強制讓每層的 Lipschitz 常數(shù)不超過1從而穩(wěn)定訓練。這個技巧在WGAN-GP等模型里是標配。計算譜范數(shù)需要做奇異值分解成本較高。實踐中常用冪迭代法近似迭代幾次就能得到不錯的估計。這個近似方法我在多個項目里用過收斂速度很快通常5到10次迭代就夠了。5.3 核范數(shù)在矩陣補全中的角色核范數(shù)是矩陣奇異值之和記作 ||A||_*。它是矩陣秩的凸松弛也就是說最小化核范數(shù)近似于最小化矩陣的秩。在推薦系統(tǒng)里用戶-物品評分矩陣通常是低秩的因為用戶偏好可以用少數(shù)幾個隱因子解釋。矩陣補全問題就是已知部分評分預測缺失評分。直接最小化秩是NP難的但最小化核范數(shù)是凸優(yōu)化問題可以高效求解。這個應用我做過一個完整項目用核范數(shù)正則化的矩陣分解做電影推薦效果比單純的Frobenius范數(shù)正則化好不少尤其是在評分數(shù)據(jù)很稀疏的時候。6. 常見問題與排查技巧實錄6.1 范數(shù)計算中的典型錯誤問題現(xiàn)象可能原因排查方法范數(shù)值異常大忘記開根號或用了錯誤的p值檢查公式確認p值矩陣范數(shù)和預期不符混淆了元素級范數(shù)和誘導范數(shù)確認用的是Frobenius還是誘導范數(shù)正則化后模型全零L1正則化系數(shù)λ過大減小λ或改用L2梯度裁剪后不收斂范數(shù)類型和閾值不匹配統(tǒng)一范數(shù)類型重新調(diào)閾值譜范數(shù)計算太慢直接做SVD改用冪迭代近似6.2 數(shù)值穩(wěn)定性問題計算L2范數(shù)時如果向量分量很大平方后可能溢出。穩(wěn)妥的做法是先除以最大分量算完再乘回去。這個技巧在數(shù)值計算庫里有標準實現(xiàn)但如果你手寫代碼很容易忽略。計算Frobenius范數(shù)時如果矩陣很大直接平方求和也可能溢出。可以分塊計算或者用縮放技巧。我在處理大規(guī)模矩陣時一般會用numpy.linalg.norm它內(nèi)部做了數(shù)值優(yōu)化比手寫循環(huán)穩(wěn)得多。6.3 范數(shù)選擇的決策清單面對一個具體問題怎么選范數(shù)我整理了一個簡單的決策流程如果你需要稀疏解選L1。如果你需要平滑解、防止過擬合選L2。如果你關心最壞情況選L∞。如果你處理的是矩陣且關心整體能量選Frobenius。如果你關心矩陣作為變換的放大能力選誘導2-范數(shù)譜范數(shù)。如果你要最小化矩陣的秩選核范數(shù)。這個清單不是絕對的但能覆蓋大部分場景。遇到特殊情況再具體分析。最后分享一個小技巧在調(diào)試正則化相關問題時先把λ設為0確認模型能正常過擬合再逐步增大λ觀察權重范數(shù)的變化。這樣能快速定位是正則化的問題還是模型本身的問題。7. 從理論到代碼范數(shù)計算的實操演示7.1 用NumPy計算各種范數(shù)理論講完了落到代碼上其實很簡單。NumPy提供了numpy.linalg.norm函數(shù)通過ord參數(shù)指定范數(shù)類型。import numpy as np x np.array([3, -4, 0, 2]) # 向量L1范數(shù) l1 np.linalg.norm(x, ord1) # 9.0 # 向量L2范數(shù) l2 np.linalg.norm(x, ord2) # 5.385 # 向量L∞范數(shù) linf np.linalg.norm(x, ordnp.inf) # 4.0 A np.array([[1, 2], [3, 4]]) # Frobenius范數(shù) fro np.linalg.norm(A, ordfro) # 5.477 # 誘導1-范數(shù) norm1 np.linalg.norm(A, ord1) # 6.0 # 誘導∞-范數(shù) norm_inf np.linalg.norm(A, ordnp.inf) # 7.0 # 譜范數(shù)誘導2-范數(shù) spec np.linalg.norm(A, ord2) # 5.465這段代碼我建議你親手跑一遍對照前面的手算結(jié)果確認理解無誤。特別注意ord參數(shù)對矩陣和向量的行為不同對向量ord2是L2范數(shù)對矩陣ord2是譜范數(shù)。7.2 手動實現(xiàn)范數(shù)計算如果你想深入理解可以自己實現(xiàn)一遍。下面是L1、L2、L∞的手動實現(xiàn)def l1_norm(x): return sum(abs(xi) for xi in x) def l2_norm(x): return sum(xi**2 for xi in x) ** 0.5 def linf_norm(x): return max(abs(xi) for xi in x)手動實現(xiàn)的好處是你能完全掌控計算過程也方便加一些特殊處理比如數(shù)值穩(wěn)定性優(yōu)化。但在生產(chǎn)環(huán)境里還是用庫函數(shù)更穩(wěn)妥因為庫函數(shù)經(jīng)過了充分測試和優(yōu)化。7.3 范數(shù)在梯度裁剪中的實際代碼梯度裁剪是范數(shù)最常見的工程應用之一。下面是一個完整的例子import torch def clip_gradients(model, max_norm1.0, norm_type2): total_norm 0.0 for p in model.parameters(): if p.grad is not None: param_norm p.grad.data.norm(norm_type) total_norm param_norm.item() ** norm_type total_norm total_norm ** (1.0 / norm_type) clip_coef max_norm / (total_norm 1e-6) if clip_coef 1: for p in model.parameters(): if p.grad is not None: p.grad.data.mul_(clip_coef) return total_norm這段代碼的關鍵點是1e-6這個極小量防止除以0。另外clip_coef 1的判斷確保只在梯度超過閾值時才裁剪不超過時不動。這個細節(jié)很多人會忽略導致梯度被意外放大。注意PyTorch自帶的clip_grad_norm_已經(jīng)做了這些處理直接用就行。手寫版本主要用于理解原理或者需要自定義范數(shù)類型時使用。8. 范數(shù)選擇的經(jīng)驗法則與避坑指南8.1 高維稀疏數(shù)據(jù)優(yōu)先考慮L1在處理文本、推薦系統(tǒng)、基因數(shù)據(jù)這類高維稀疏數(shù)據(jù)時L1范數(shù)往往比L2更合適。原因是高維空間里L2范數(shù)會被大量小分量主導而L1范數(shù)對大分量更敏感能更好地捕捉稀疏結(jié)構(gòu)。我做過一個文本分類項目特征維度幾萬維用L2正則化效果一般換成L1后不僅準確率提升模型還變得非常稀疏推理速度提升了好幾倍。這個經(jīng)驗在稀疏場景里基本通用。8.2 數(shù)值計算中優(yōu)先用Frobenius范數(shù)如果你只是想知道矩陣的“整體大小”Frobenius范數(shù)是最安全的選擇。它計算簡單、可導性好、數(shù)值穩(wěn)定而且和矩陣的跡有直接關系||A||_F2 trace(A?A)。這個關系在推導梯度時特別有用。誘導范數(shù)雖然理論意義更強但計算成本高而且不可導在最大值點處不適合直接放進損失函數(shù)里優(yōu)化。所以實踐中損失函數(shù)里的矩陣范數(shù)基本都是Frobenius。8.3 譜范數(shù)用于穩(wěn)定性分析當你需要分析模型的穩(wěn)定性、控制Lipschitz常數(shù)時譜范數(shù)是不可替代的工具。它直接給出了矩陣對向量的最大放大倍數(shù)是判斷“梯度會不會爆炸”的關鍵指標。在RNN和GAN的訓練中監(jiān)控譜范數(shù)的變化能幫你提前發(fā)現(xiàn)訓練不穩(wěn)定的苗頭。如果譜范數(shù)持續(xù)增大說明梯度可能會爆炸需要及時調(diào)整學習率或加正則化。8.4 核范數(shù)用于低秩約束當你需要矩陣是低秩的但又不想直接優(yōu)化秩因為非凸核范數(shù)是最佳選擇。它是秩的凸包絡最小化核范數(shù)等價于在凸松弛意義下最小化秩。矩陣補全、魯棒PCA、子空間聚類這些任務里核范數(shù)都是核心工具。不過核范數(shù)的計算需要SVD大規(guī)模矩陣上成本較高實踐中常用隨機化SVD或增量SVD來加速。9. 范數(shù)背后的幾何直覺與深層理解9.1 單位球范數(shù)的幾何可視化每個范數(shù)都對應一個單位球也就是所有范數(shù)等于1的向量組成的集合。L1的單位球是菱形L2的單位球是圓形L∞的單位球是正方形。p-范數(shù)的單位球介于菱形和正方形之間p越小越像菱形p越大越像正方形。單位球的形狀決定了正則化的行為。菱形有尖角所以L1正則化的解容易落在坐標軸上稀疏。圓形光滑所以L2正則化的解均勻收縮。正方形有四個尖角L∞正則化會讓權重趨向于相等。理解單位球的形狀比死記硬背正則化效果要直觀得多。我建議你在紙上畫一畫不同p值的單位球畫完就再也不會忘了。9.2 對偶范數(shù)另一個視角每個范數(shù)都有一個對偶范數(shù)定義為||y||_* max{ y?x : ||x|| ≤ 1 }對偶范數(shù)在優(yōu)化理論里非常重要尤其是在推導對偶問題和分析次梯度時。L1的對偶是L∞L2的對偶是L2自對偶L∞的對偶是L1。這個對偶關系解釋了一個現(xiàn)象L1正則化產(chǎn)生稀疏解等價于在對偶空間里用L∞約束。L∞約束的是最大值所以只有少數(shù)分量能達到約束邊界其余分量為0這就是稀疏性的來源。9.3 范數(shù)和內(nèi)積的關系范數(shù)和內(nèi)積有深刻聯(lián)系。L2范數(shù)可以由內(nèi)積導出||x||_2 √(x?x)。但L1和L∞范數(shù)不能由任何內(nèi)積導出它們不滿足平行四邊形法則。這個區(qū)別很重要由內(nèi)積導出的范數(shù)對應希爾伯特空間有正交性、投影定理等良好性質(zhì)。不能由內(nèi)積導出的范數(shù)對應巴拿赫空間性質(zhì)差一些但在特定場景下更有用。理解這一點你就能明白為什么L2范數(shù)在理論分析里地位特殊——它背后的希爾伯特空間結(jié)構(gòu)太豐富了很多漂亮的結(jié)果都依賴它。10. 寫在最后我踩過的那些范數(shù)坑回過頭看我在范數(shù)上踩的坑主要集中在兩個地方一是混淆了元素級范數(shù)和誘導范數(shù)二是在高維場景下沒意識到L1和L2的巨大差異。第一個坑的教訓是看到“矩陣范數(shù)”這個詞先問清楚是Frobenius還是誘導范數(shù)。這兩個東西的計算方式和用途完全不同混用會導致完全錯誤的結(jié)果。我現(xiàn)在寫代碼時如果用到矩陣范數(shù)一定會在注釋里寫清楚是哪種。第二個坑的教訓是高維數(shù)據(jù)里范數(shù)的選擇不是“隨便選一個都差不多”而是可能帶來數(shù)量級的差異。L1和L2在高維下的比值可以到 √nn是維度。幾萬維的數(shù)據(jù)里這個差異足以改變整個模型的行為。最后一個實用建議如果你不確定該用哪個范數(shù)先做個小實驗把幾個候選范數(shù)都試一遍看哪個在驗證集上表現(xiàn)最好。理論分析能幫你縮小范圍但最終還是要靠實驗說話。范數(shù)選擇沒有銀彈只有適合當前問題的選擇。