存儲原理與IEEE 754標(biāo)準(zhǔn)詳解：從內(nèi)存視角解析float/double)
1. 從一次“詭異”的數(shù)值比較說起前幾天一個剛?cè)胄械耐屡軄碚椅艺f他的程序出了個“靈異事件”。他寫了一段很簡單的C語言代碼比較兩個浮點數(shù)是否相等#include stdio.h int main() { float a 1.2; float b 0.1; b b 1.1; if (a b) { printf(a equals b!\n); } else { printf(a does NOT equal b! a%.10f, b%.10f\n, a, b); } return 0; }他信誓旦旦地跟我說“哥這肯定打印a equals b!啊1.2 怎么可能不等于 0.11.1 呢” 結(jié)果運行出來屏幕上赫然顯示著a does NOT equal b! a1.2000000477, b1.2000000477。他當(dāng)時就懵了兩個數(shù)打印出來一模一樣都是1.2000000477為什么比較的結(jié)果是“不相等”這還不是最離譜的他試著把float換成double結(jié)果竟然就相等了。他懷疑是編譯器有bug或者內(nèi)存被“污染”了。我看著他抓耳撓腮的樣子仿佛看到了十年前的自己。這個看似簡單的“靈異事件”恰恰是理解浮點數(shù)在內(nèi)存中如何存儲的絕佳入口。浮點數(shù)的存儲遠(yuǎn)不是“把小數(shù)點的位置記下來”那么簡單它是一套精密而復(fù)雜的工程妥協(xié)方案背后是IEEE 754標(biāo)準(zhǔn)數(shù)十年的智慧結(jié)晶。今天我們就拋開枯燥的理論從內(nèi)存的視角徹底拆解float和double的里里外外讓你下次遇到類似問題不僅能解決還能清楚地知道為什么。2. IEEE 754浮點數(shù)的“憲法”為什么浮點數(shù)比較會出問題為什么float和double行為不同要回答這些問題我們必須請出計算機(jī)界的“浮點數(shù)憲法”——IEEE 754標(biāo)準(zhǔn)。這套標(biāo)準(zhǔn)定義了浮點數(shù)在內(nèi)存中的表示、運算、舍入以及異常處理的方式確保了不同硬件、不同編譯器之間計算結(jié)果的一致性當(dāng)然是在一定精度和規(guī)則內(nèi)。2.1 核心思想科學(xué)計數(shù)法的二進(jìn)制版本我們?nèi)祟愑檬M(jìn)制科學(xué)計數(shù)法表示很大或很小的數(shù)比如光速大約是3.0 × 10^8m/s。IEEE 754的核心思想就是把這套科學(xué)計數(shù)法搬到二進(jìn)制世界里。一個浮點數(shù)以最常見的單精度float為例在內(nèi)存中被拆解成三個部分總共占據(jù)32位4字節(jié)的空間符號位 (Sign, 1 bit)決定這個數(shù)是正還是負(fù)。0代表正數(shù)1代表負(fù)數(shù)。指數(shù)位 (Exponent, 8 bits)決定這個數(shù)的“規(guī)?！被颉皵?shù)量級”。你可以把它想象成科學(xué)計數(shù)法里的“10的幾次方”中的那個“幾次方”只不過這里是“2的幾次方”。尾數(shù)位/有效數(shù)字位 (Mantissa/Significand, 23 bits)決定這個數(shù)的“精度”或“有效數(shù)字”。它存儲了科學(xué)計數(shù)法里乘號前面的那串?dāng)?shù)字的小數(shù)部分。這就像用三個信息來定位一個數(shù)是正還是負(fù)符號大概有多大指數(shù)具體是多少尾數(shù)。double雙精度的原理完全一樣只是“預(yù)算”更充足它用64位8字節(jié)其中1位符號位11位指數(shù)位52位尾數(shù)位。更多的位數(shù)意味著更大的表示范圍和更高的精度這也是為什么開頭那個例子中double比較通過了而float沒有。2.2 “規(guī)格化”與隱含的“1”這里有一個非常巧妙且容易讓人困惑的設(shè)計尾數(shù)位存儲的并不是完整的有效數(shù)字而是它的小數(shù)部分。在二進(jìn)制科學(xué)計數(shù)法中一個“規(guī)格化”的非零浮點數(shù)其有效數(shù)字部分總是1.xxxxx的形式這里的1是二進(jìn)制的1即十進(jìn)制的1。例如二進(jìn)制數(shù)1011.011可以表示為1.011011 × 2^3。既然整數(shù)部分的“1”總是存在為了節(jié)省一位寶貴的存儲空間IEEE 754規(guī)定在存儲時我們只存小數(shù)部分的xxxxx而那個隱含的“1”并不實際存儲在23位尾數(shù)中。這被稱為“隱含的 leading bit”或“隱藏位”。所以當(dāng)我們從內(nèi)存中讀取浮點數(shù)時需要先在尾數(shù)部分的最前面補(bǔ)上一個“1”然后再與指數(shù)部分一起計算才能得到真正的數(shù)值。這個設(shè)計讓32位的float憑空多出了1位的精度相當(dāng)于用23位存儲了24位的信息。2.3 指數(shù)的“偏置”編碼指數(shù)位也有玄機(jī)。8位指數(shù)位可以表示0到255。但指數(shù)可以是負(fù)的表示非常小的數(shù)比如2^-10。為了同時表示正指數(shù)和負(fù)指數(shù)IEEE 754采用了一種叫“偏置Bias”的編碼方式。對于float偏置值是127。這意味著存儲在指數(shù)位里的值我們稱之為E。真正的指數(shù)值e E - 127。例如如果一個數(shù)的真正指數(shù)是3那么存儲到指數(shù)位里的值E 3 127 130二進(jìn)制10000010。 如果一個數(shù)的真正指數(shù)是-10那么E -10 127 117。這種“偏置”表示法使得所有指數(shù)的比較可以直接用整數(shù)的比較來完成硬件實現(xiàn)起來非常高效。對于double偏置值是1023。3. 深入內(nèi)存拆解一個浮點數(shù)的誕生理論說再多不如親手“拆”一個。讓我們回到開頭的例子看看float a 1.2;在內(nèi)存中究竟變成了什么。3.1 將1.2“翻譯”成IEEE 754格式這個過程是編譯器在編譯時完成的但我們可以手動模擬第一步將十進(jìn)制小數(shù)轉(zhuǎn)換為二進(jìn)制小數(shù)。這是最麻煩的一步因為很多十進(jìn)制小數(shù)無法用有限位的二進(jìn)制小數(shù)精確表示就像1/3無法用有限位十進(jìn)制小數(shù)表示一樣。1.2的十進(jìn)制轉(zhuǎn)二進(jìn)制是一個無限循環(huán)的過程1.2 整數(shù)部分1(二進(jìn)制1) 小數(shù)部分0.2。0.2 * 2 0.4- 整數(shù)部分00.4 * 2 0.8- 整數(shù)部分00.8 * 2 1.6- 整數(shù)部分10.6 * 2 1.2- 整數(shù)部分1 (回到0.2開始循環(huán)) ... 所以0.2的二進(jìn)制是0.001100110011...(循環(huán)節(jié)0011)。 因此1.2的二進(jìn)制近似為1.001100110011001100110011...(無限循環(huán))。第二步規(guī)格化。將二進(jìn)制數(shù)寫成1.xxxx × 2^e的形式。1.001100110011...已經(jīng)是1.xxxx的形式了所以指數(shù)e 0因為不需要移動小數(shù)點。第三步確定內(nèi)存中的三個部分。符號位 S正數(shù)所以S 0。指數(shù)位 E真正指數(shù)e 0float的偏置是127所以E 0 127 127。127的8位二進(jìn)制是01111111。尾數(shù)位 M取規(guī)格化后的小數(shù)部分00110011001100110011001...。由于尾數(shù)位只有23位我們必須進(jìn)行舍入。第24位是1根據(jù)循環(huán)0011之后是0011...第24位是0嗎我們需要精確計算一下1.001100110011001100110011小數(shù)點后第1-23位是00110011001100110011001第24位是10011的第三個1。按照IEEE 754的“向最接近的偶數(shù)舍入”規(guī)則因為第24位是1且后面還有位所以需要進(jìn)位。進(jìn)位后23位尾數(shù)M變成了00110011001100110011010。注意這里的舍入是浮點數(shù)誤差的根本來源之一。計算機(jī)只能用有限的位數(shù)去逼近無限循環(huán)或無理數(shù)這個“逼近”過程必然產(chǎn)生誤差。所以float a 1.2;在內(nèi)存中的32位二進(jìn)制表示從高到低1位符號8位指數(shù)23位尾數(shù)是0 01111111 00110011001100110011010我們可以用一段簡單的C程序來驗證#include stdio.h #include stdint.h int main() { float f 1.2f; uint32_t* p (uint32_t*)f; // 將float的地址解釋為uint32_t的地址 printf(Float 1.2f in memory (hex): 0x%08X\n, *p); // 輸出Float 1.2f in memory (hex): 0x3F99999A // 0x3F99999A 的二進(jìn)制正是 0 01111111 00110011001100110011010 return 0; }3.2 為什么打印出來是1.2000000477當(dāng)我們用printf(“%.10f”, a);打印時程序需要把這個內(nèi)存中的二進(jìn)制表示再轉(zhuǎn)換回十進(jìn)制小數(shù)顯示給我們看。轉(zhuǎn)換過程是上述編碼的逆過程取出符號位0是正數(shù)。取出指數(shù)位01111111 127真正指數(shù)e 127 - 127 0。取出尾數(shù)位00110011001100110011010在前面加上隱含的1.得到1.00110011001100110011010。計算其表示的二進(jìn)制值1.00110011001100110011010(二進(jìn)制)。將這個二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制。由于我們存儲時對原始的1.001100110011...進(jìn)行了舍入從...11001進(jìn)位成了...11010最終得到的十進(jìn)制數(shù)就不再是精確的1.2而是一個極其接近1.2的數(shù)。計算機(jī)會算出這個值是1.2000000476837158203125。printf函數(shù)顯示時做了截斷于是我們看到1.2000000477。這就是浮點數(shù)比較的“陷阱”根源很多你以為的“簡單小數(shù)”在二進(jìn)制世界里是“無理數(shù)”存儲時經(jīng)過舍入已經(jīng)是一個近似值。兩個看似相同的計算路徑可能因為中間步驟的舍入誤差累積不同導(dǎo)致最終在內(nèi)存中的二進(jìn)制表示有細(xì)微差別。4. 特殊值、精度與范圍浮點數(shù)的能力邊界理解了基本編碼我們再來看看浮點數(shù)的“極限”在哪里。這直接關(guān)系到我們在編程中如何選擇數(shù)據(jù)類型以及如何規(guī)避溢出、下溢等問題。4.1 那些“不普通”的數(shù)字IEEE 754不僅定義了普通數(shù)字還定義了幾類特殊的位模式用于處理邊界情況類型符號位 (S)指數(shù)位 (E)尾數(shù)位 (M)表示正零0全0 (00000000)全00.0負(fù)零1全0 (00000000)全0-0.0正無窮大0全1 (11111111)全0Inf負(fù)無窮大1全1 (11111111)全0-InfNaN (非數(shù))0或1全1 (11111111)非全0NaN零有正負(fù)雖然0和-0在數(shù)值比較上是相等的但在某些數(shù)學(xué)運算如1/0得Inf1/-0得-Inf或函數(shù)中可能有區(qū)別。無窮大當(dāng)一個有限數(shù)除以0.0或者一個非常大的數(shù)溢出時產(chǎn)生。無窮大參與運算有特定規(guī)則如Inf 5 Inf。NaN (Not a Number)表示無效或未定義的運算結(jié)果如0.0 / 0.0、sqrt(-1)、Inf - Inf。NaN有一個關(guān)鍵特性任何涉及NaN的比較操作包括NaN NaN結(jié)果都是false。判斷一個數(shù)是否是NaN必須使用專門的函數(shù)如C語言的isnan()。4.2 float vs double精度與范圍的權(quán)衡這是實際編程中最常做的選擇之一。我們可以通過一個表格來直觀對比特性float (單精度)double (雙精度)總位數(shù)32位64位符號位1位1位指數(shù)位8位11位尾數(shù)位23位 (隱含1位實際精度24位)52位 (隱含1位實際精度53位)指數(shù)偏置1271023大致十進(jìn)制有效數(shù)字6-7位15-16位近似范圍±3.4 × 103?±1.8 × 103??最小正規(guī)格化數(shù)≈1.2 × 10?3?≈2.2 × 10?3??如何選擇用double這是現(xiàn)代通用編程的默認(rèn)選擇。除非有非常強(qiáng)烈的理由如嵌入式設(shè)備內(nèi)存極度緊張、海量數(shù)據(jù)存儲否則優(yōu)先使用double。它提供了足夠的精度能避免很多由float精度不足導(dǎo)致的詭異問題就像開頭的例子。在x86-64架構(gòu)下double的運算速度通常并不比float慢甚至可能更快。用float圖形與游戲開發(fā)GPU對float有原生優(yōu)化紋理坐標(biāo)、頂點位置等大量數(shù)據(jù)使用float可以節(jié)省顯存帶寬和存儲空間。嵌入式與高性能計算當(dāng)數(shù)據(jù)量極大如大型科學(xué)計算矩陣或內(nèi)存/緩存非常寶貴時float能減少一半的內(nèi)存占用提升緩存命中率從而可能帶來顯著的性能提升。明確不需要高精度的場景比如一些傳感器讀數(shù)本身精度就只有8位或12位用float足矣。實操心得在金融、貨幣計算等對精度要求極高的領(lǐng)域float和double都不適用。它們的二進(jìn)制浮點特性會導(dǎo)致十進(jìn)制小數(shù)表示不精確從而產(chǎn)生累積誤差。這類場景應(yīng)使用十進(jìn)制浮點數(shù)如C#的decimalJava的BigDecimal或直接以整數(shù)分為單位存儲如存儲“分”而不是“元”。4.3 非規(guī)格化數(shù)填補(bǔ)“零”附近的空白當(dāng)指數(shù)位E為全0但尾數(shù)位M非全0時表示的是“非規(guī)格化數(shù)”。此時隱含的 leading bit 不再是1而是0。真正的值 (-1)^S × 0.M × 2^(-126)(對于float)。非規(guī)格化數(shù)的存在是為了實現(xiàn)“漸進(jìn)下溢”。它允許表示比最小規(guī)格化正數(shù)約1.2e-38更接近0的數(shù)比如1.0 × 2^-130。雖然這些數(shù)的精度非常低但保證了當(dāng)運算結(jié)果逐漸變小趨近于0時不會突然從某個很小的正數(shù)直接跳到0避免了“突然下溢歸零”可能帶來的數(shù)學(xué)問題比如除以一個極小的數(shù)產(chǎn)生無窮大。5. 實戰(zhàn)避坑如何安全地與浮點數(shù)打交道理解了原理最終要落到編程實踐上。以下是幾個最常見的“坑”和對應(yīng)的“填坑”指南。5.1 永遠(yuǎn)不要用直接比較浮點數(shù)這是鐵律也是本文開篇例子的直接原因。由于舍入誤差兩個在數(shù)學(xué)上相等的浮點數(shù)在內(nèi)存中的二進(jìn)制表示可能不同。正確做法比較兩者差的絕對值是否小于一個極小的誤差范圍epsilon。#include math.h // 比較兩個float是否“近似相等” bool float_equal(float a, float b) { // 選擇一個合適的epsilon。對于float1e-6是一個常用起點。 // 更嚴(yán)謹(jǐn)?shù)淖龇ㄊ强紤]數(shù)值的尺度使用相對誤差。 return fabs(a - b) 1e-6f; } // 更健壯的比較結(jié)合絕對誤差和相對誤差 bool float_equal_robust(float a, float b) { float diff fabs(a - b); if (diff 1e-6f) { // 絕對誤差足夠小認(rèn)為相等 return true; } // 否則檢查相對誤差。max(1.0f, ...) 防止除以接近0的數(shù) return diff / fmaxf(fabs(a), fabs(b)) 1e-5f; }5.2 小心累積誤差浮點運算的誤差會累積。一個經(jīng)典的例子是用float或double循環(huán)累加0.1十萬次結(jié)果很可能不是精確的10000.0。float sum 0.0f; for (int i 0; i 100000; i) { sum 0.1f; // 0.1在二進(jìn)制中無法精確表示 } printf(“sum %.10f\n”, sum); // 輸出可能不是10000.0000000000應(yīng)對策略避免在循環(huán)中對大量浮點數(shù)做連續(xù)的加減運算尤其是數(shù)值大小相差懸殊時大數(shù)吃小數(shù)問題。如果可能使用更高精度的類型進(jìn)行中間計算最后再轉(zhuǎn)換回來。對于求和考慮使用Kahan求和算法等補(bǔ)償算法來減少舍入誤差的累積。5.3 注意類型轉(zhuǎn)換與運算提升在C/C等語言中當(dāng)表達(dá)式中混合了不同精度的浮點數(shù)或整數(shù)時會發(fā)生隱式類型轉(zhuǎn)換。float f 1.2f; double d 1.2; int i 3; auto r1 f i; // i先被轉(zhuǎn)換為float然后做float加法結(jié)果是float auto r2 d i; // i先被轉(zhuǎn)換為double結(jié)果是double auto r3 f d; // f被提升為double然后做double加法結(jié)果是double關(guān)鍵點在混合運算中編譯器會將低精度類型向高精度類型提升以保證精度不丟失。但如果你不小心把結(jié)果賦給一個低精度變量就會發(fā)生截斷丟失精度。float result d i; // double精度的結(jié)果被截斷為float可能引入誤差5.4 診斷工具查看內(nèi)存與位模式當(dāng)懷疑浮點數(shù)問題時最直接的調(diào)試方法就是查看它的內(nèi)存表示。C/C如前所述通過指針和整數(shù)類型進(jìn)行“位解讀”。void print_float_bits(float f) { uint32_t u; memcpy(u, f, sizeof(f)); // 使用memcpy避免嚴(yán)格別名規(guī)則問題 for (int i 31; i 0; i--) { printf(“%d”, (u i) 1); if (i 31 || i 23) printf(“ “); // 分隔符號、指數(shù)、尾數(shù)位 } printf(“\n”); }調(diào)試器大多數(shù)現(xiàn)代調(diào)試器如GDB Visual Studio Debugger都可以用十六進(jìn)制或二進(jìn)制格式查看變量的內(nèi)存內(nèi)容。在線工具有很多IEEE 754浮點數(shù)轉(zhuǎn)換器在線工具可以方便地進(jìn)行十進(jìn)制、二進(jìn)制、十六進(jìn)制之間的轉(zhuǎn)換和位字段查看。理解這些位模式能讓你在遇到NaN、Inf或者異常值時快速定位問題根源而不是停留在“結(jié)果不對”的層面。浮點數(shù)在內(nèi)存中的存儲是精度、范圍和效率之間精妙平衡的產(chǎn)物。它不像整數(shù)那樣“所見即所得”而是帶著一套復(fù)雜的編碼規(guī)則和與生俱來的近似屬性。掌握IEEE 754不僅是為了解決1.2 ! 1.2這樣的“靈異事件”更是為了在涉及科學(xué)計算、圖形處理、金融建模需用專用十進(jìn)制類型乃至機(jī)器學(xué)習(xí)大量使用FP16, BF16, FP32, FP64時能寫出正確、高效且健壯的代碼。下次再遇到浮點數(shù)比較的問題希望你能自信地說“這不是bug這是特性讓我看看你的epsilon設(shè)對了沒。” 浮點數(shù)存儲原理與IEEE 754標(biāo)準(zhǔn)詳解：從內(nèi)存視角解析float/double
1. 從一次“詭異”的數(shù)值比較說起前幾天一個剛?cè)胄械耐屡軄碚椅艺f他的程序出了個“靈異事件”。他寫了一段很簡單的C語言代碼比較兩個浮點數(shù)是否相等#include stdio.h int main() { float a 1.2; float b 0.1; b b 1.1; if (a b) { printf(a equals b!\n); } else { printf(a does NOT equal b! a%.10f, b%.10f\n, a, b); } return 0; }他信誓旦旦地跟我說“哥這肯定打印a equals b!啊1.2 怎么可能不等于 0.11.1 呢” 結(jié)果運行出來屏幕上赫然顯示著a does NOT equal b! a1.2000000477, b1.2000000477。他當(dāng)時就懵了兩個數(shù)打印出來一模一樣都是1.2000000477為什么比較的結(jié)果是“不相等”這還不是最離譜的他試著把float換成double結(jié)果竟然就相等了。他懷疑是編譯器有bug或者內(nèi)存被“污染”了。我看著他抓耳撓腮的樣子仿佛看到了十年前的自己。這個看似簡單的“靈異事件”恰恰是理解浮點數(shù)在內(nèi)存中如何存儲的絕佳入口。浮點數(shù)的存儲遠(yuǎn)不是“把小數(shù)點的位置記下來”那么簡單它是一套精密而復(fù)雜的工程妥協(xié)方案背后是IEEE 754標(biāo)準(zhǔn)數(shù)十年的智慧結(jié)晶。今天我們就拋開枯燥的理論從內(nèi)存的視角徹底拆解float和double的里里外外讓你下次遇到類似問題不僅能解決還能清楚地知道為什么。2. IEEE 754浮點數(shù)的“憲法”為什么浮點數(shù)比較會出問題為什么float和double行為不同要回答這些問題我們必須請出計算機(jī)界的“浮點數(shù)憲法”——IEEE 754標(biāo)準(zhǔn)。這套標(biāo)準(zhǔn)定義了浮點數(shù)在內(nèi)存中的表示、運算、舍入以及異常處理的方式確保了不同硬件、不同編譯器之間計算結(jié)果的一致性當(dāng)然是在一定精度和規(guī)則內(nèi)。2.1 核心思想科學(xué)計數(shù)法的二進(jìn)制版本我們?nèi)祟愑檬M(jìn)制科學(xué)計數(shù)法表示很大或很小的數(shù)比如光速大約是3.0 × 10^8m/s。IEEE 754的核心思想就是把這套科學(xué)計數(shù)法搬到二進(jìn)制世界里。一個浮點數(shù)以最常見的單精度float為例在內(nèi)存中被拆解成三個部分總共占據(jù)32位4字節(jié)的空間符號位 (Sign, 1 bit)決定這個數(shù)是正還是負(fù)。0代表正數(shù)1代表負(fù)數(shù)。指數(shù)位 (Exponent, 8 bits)決定這個數(shù)的“規(guī)?！被颉皵?shù)量級”。你可以把它想象成科學(xué)計數(shù)法里的“10的幾次方”中的那個“幾次方”只不過這里是“2的幾次方”。尾數(shù)位/有效數(shù)字位 (Mantissa/Significand, 23 bits)決定這個數(shù)的“精度”或“有效數(shù)字”。它存儲了科學(xué)計數(shù)法里乘號前面的那串?dāng)?shù)字的小數(shù)部分。這就像用三個信息來定位一個數(shù)是正還是負(fù)符號大概有多大指數(shù)具體是多少尾數(shù)。double雙精度的原理完全一樣只是“預(yù)算”更充足它用64位8字節(jié)其中1位符號位11位指數(shù)位52位尾數(shù)位。更多的位數(shù)意味著更大的表示范圍和更高的精度這也是為什么開頭那個例子中double比較通過了而float沒有。2.2 “規(guī)格化”與隱含的“1”這里有一個非常巧妙且容易讓人困惑的設(shè)計尾數(shù)位存儲的并不是完整的有效數(shù)字而是它的小數(shù)部分。在二進(jìn)制科學(xué)計數(shù)法中一個“規(guī)格化”的非零浮點數(shù)其有效數(shù)字部分總是1.xxxxx的形式這里的1是二進(jìn)制的1即十進(jìn)制的1。例如二進(jìn)制數(shù)1011.011可以表示為1.011011 × 2^3。既然整數(shù)部分的“1”總是存在為了節(jié)省一位寶貴的存儲空間IEEE 754規(guī)定在存儲時我們只存小數(shù)部分的xxxxx而那個隱含的“1”并不實際存儲在23位尾數(shù)中。這被稱為“隱含的 leading bit”或“隱藏位”。所以當(dāng)我們從內(nèi)存中讀取浮點數(shù)時需要先在尾數(shù)部分的最前面補(bǔ)上一個“1”然后再與指數(shù)部分一起計算才能得到真正的數(shù)值。這個設(shè)計讓32位的float憑空多出了1位的精度相當(dāng)于用23位存儲了24位的信息。2.3 指數(shù)的“偏置”編碼指數(shù)位也有玄機(jī)。8位指數(shù)位可以表示0到255。但指數(shù)可以是負(fù)的表示非常小的數(shù)比如2^-10。為了同時表示正指數(shù)和負(fù)指數(shù)IEEE 754采用了一種叫“偏置Bias”的編碼方式。對于float偏置值是127。這意味著存儲在指數(shù)位里的值我們稱之為E。真正的指數(shù)值e E - 127。例如如果一個數(shù)的真正指數(shù)是3那么存儲到指數(shù)位里的值E 3 127 130二進(jìn)制10000010。 如果一個數(shù)的真正指數(shù)是-10那么E -10 127 117。這種“偏置”表示法使得所有指數(shù)的比較可以直接用整數(shù)的比較來完成硬件實現(xiàn)起來非常高效。對于double偏置值是1023。3. 深入內(nèi)存拆解一個浮點數(shù)的誕生理論說再多不如親手“拆”一個。讓我們回到開頭的例子看看float a 1.2;在內(nèi)存中究竟變成了什么。3.1 將1.2“翻譯”成IEEE 754格式這個過程是編譯器在編譯時完成的但我們可以手動模擬第一步將十進(jìn)制小數(shù)轉(zhuǎn)換為二進(jìn)制小數(shù)。這是最麻煩的一步因為很多十進(jìn)制小數(shù)無法用有限位的二進(jìn)制小數(shù)精確表示就像1/3無法用有限位十進(jìn)制小數(shù)表示一樣。1.2的十進(jìn)制轉(zhuǎn)二進(jìn)制是一個無限循環(huán)的過程1.2 整數(shù)部分1(二進(jìn)制1) 小數(shù)部分0.2。0.2 * 2 0.4- 整數(shù)部分00.4 * 2 0.8- 整數(shù)部分00.8 * 2 1.6- 整數(shù)部分10.6 * 2 1.2- 整數(shù)部分1 (回到0.2開始循環(huán)) ... 所以0.2的二進(jìn)制是0.001100110011...(循環(huán)節(jié)0011)。 因此1.2的二進(jìn)制近似為1.001100110011001100110011...(無限循環(huán))。第二步規(guī)格化。將二進(jìn)制數(shù)寫成1.xxxx × 2^e的形式。1.001100110011...已經(jīng)是1.xxxx的形式了所以指數(shù)e 0因為不需要移動小數(shù)點。第三步確定內(nèi)存中的三個部分。符號位 S正數(shù)所以S 0。指數(shù)位 E真正指數(shù)e 0float的偏置是127所以E 0 127 127。127的8位二進(jìn)制是01111111。尾數(shù)位 M取規(guī)格化后的小數(shù)部分00110011001100110011001...。由于尾數(shù)位只有23位我們必須進(jìn)行舍入。第24位是1根據(jù)循環(huán)0011之后是0011...第24位是0嗎我們需要精確計算一下1.001100110011001100110011小數(shù)點后第1-23位是00110011001100110011001第24位是10011的第三個1。按照IEEE 754的“向最接近的偶數(shù)舍入”規(guī)則因為第24位是1且后面還有位所以需要進(jìn)位。進(jìn)位后23位尾數(shù)M變成了00110011001100110011010。注意這里的舍入是浮點數(shù)誤差的根本來源之一。計算機(jī)只能用有限的位數(shù)去逼近無限循環(huán)或無理數(shù)這個“逼近”過程必然產(chǎn)生誤差。所以float a 1.2;在內(nèi)存中的32位二進(jìn)制表示從高到低1位符號8位指數(shù)23位尾數(shù)是0 01111111 00110011001100110011010我們可以用一段簡單的C程序來驗證#include stdio.h #include stdint.h int main() { float f 1.2f; uint32_t* p (uint32_t*)f; // 將float的地址解釋為uint32_t的地址 printf(Float 1.2f in memory (hex): 0x%08X\n, *p); // 輸出Float 1.2f in memory (hex): 0x3F99999A // 0x3F99999A 的二進(jìn)制正是 0 01111111 00110011001100110011010 return 0; }3.2 為什么打印出來是1.2000000477當(dāng)我們用printf(“%.10f”, a);打印時程序需要把這個內(nèi)存中的二進(jìn)制表示再轉(zhuǎn)換回十進(jìn)制小數(shù)顯示給我們看。轉(zhuǎn)換過程是上述編碼的逆過程取出符號位0是正數(shù)。取出指數(shù)位01111111 127真正指數(shù)e 127 - 127 0。取出尾數(shù)位00110011001100110011010在前面加上隱含的1.得到1.00110011001100110011010。計算其表示的二進(jìn)制值1.00110011001100110011010(二進(jìn)制)。將這個二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制。由于我們存儲時對原始的1.001100110011...進(jìn)行了舍入從...11001進(jìn)位成了...11010最終得到的十進(jìn)制數(shù)就不再是精確的1.2而是一個極其接近1.2的數(shù)。計算機(jī)會算出這個值是1.2000000476837158203125。printf函數(shù)顯示時做了截斷于是我們看到1.2000000477。這就是浮點數(shù)比較的“陷阱”根源很多你以為的“簡單小數(shù)”在二進(jìn)制世界里是“無理數(shù)”存儲時經(jīng)過舍入已經(jīng)是一個近似值。兩個看似相同的計算路徑可能因為中間步驟的舍入誤差累積不同導(dǎo)致最終在內(nèi)存中的二進(jìn)制表示有細(xì)微差別。4. 特殊值、精度與范圍浮點數(shù)的能力邊界理解了基本編碼我們再來看看浮點數(shù)的“極限”在哪里。這直接關(guān)系到我們在編程中如何選擇數(shù)據(jù)類型以及如何規(guī)避溢出、下溢等問題。4.1 那些“不普通”的數(shù)字IEEE 754不僅定義了普通數(shù)字還定義了幾類特殊的位模式用于處理邊界情況類型符號位 (S)指數(shù)位 (E)尾數(shù)位 (M)表示正零0全0 (00000000)全00.0負(fù)零1全0 (00000000)全0-0.0正無窮大0全1 (11111111)全0Inf負(fù)無窮大1全1 (11111111)全0-InfNaN (非數(shù))0或1全1 (11111111)非全0NaN零有正負(fù)雖然0和-0在數(shù)值比較上是相等的但在某些數(shù)學(xué)運算如1/0得Inf1/-0得-Inf或函數(shù)中可能有區(qū)別。無窮大當(dāng)一個有限數(shù)除以0.0或者一個非常大的數(shù)溢出時產(chǎn)生。無窮大參與運算有特定規(guī)則如Inf 5 Inf。NaN (Not a Number)表示無效或未定義的運算結(jié)果如0.0 / 0.0、sqrt(-1)、Inf - Inf。NaN有一個關(guān)鍵特性任何涉及NaN的比較操作包括NaN NaN結(jié)果都是false。判斷一個數(shù)是否是NaN必須使用專門的函數(shù)如C語言的isnan()。4.2 float vs double精度與范圍的權(quán)衡這是實際編程中最常做的選擇之一。我們可以通過一個表格來直觀對比特性float (單精度)double (雙精度)總位數(shù)32位64位符號位1位1位指數(shù)位8位11位尾數(shù)位23位 (隱含1位實際精度24位)52位 (隱含1位實際精度53位)指數(shù)偏置1271023大致十進(jìn)制有效數(shù)字6-7位15-16位近似范圍±3.4 × 103?±1.8 × 103??最小正規(guī)格化數(shù)≈1.2 × 10?3?≈2.2 × 10?3??如何選擇用double這是現(xiàn)代通用編程的默認(rèn)選擇。除非有非常強(qiáng)烈的理由如嵌入式設(shè)備內(nèi)存極度緊張、海量數(shù)據(jù)存儲否則優(yōu)先使用double。它提供了足夠的精度能避免很多由float精度不足導(dǎo)致的詭異問題就像開頭的例子。在x86-64架構(gòu)下double的運算速度通常并不比float慢甚至可能更快。用float圖形與游戲開發(fā)GPU對float有原生優(yōu)化紋理坐標(biāo)、頂點位置等大量數(shù)據(jù)使用float可以節(jié)省顯存帶寬和存儲空間。嵌入式與高性能計算當(dāng)數(shù)據(jù)量極大如大型科學(xué)計算矩陣或內(nèi)存/緩存非常寶貴時float能減少一半的內(nèi)存占用提升緩存命中率從而可能帶來顯著的性能提升。明確不需要高精度的場景比如一些傳感器讀數(shù)本身精度就只有8位或12位用float足矣。實操心得在金融、貨幣計算等對精度要求極高的領(lǐng)域float和double都不適用。它們的二進(jìn)制浮點特性會導(dǎo)致十進(jìn)制小數(shù)表示不精確從而產(chǎn)生累積誤差。這類場景應(yīng)使用十進(jìn)制浮點數(shù)如C#的decimalJava的BigDecimal或直接以整數(shù)分為單位存儲如存儲“分”而不是“元”。4.3 非規(guī)格化數(shù)填補(bǔ)“零”附近的空白當(dāng)指數(shù)位E為全0但尾數(shù)位M非全0時表示的是“非規(guī)格化數(shù)”。此時隱含的 leading bit 不再是1而是0。真正的值 (-1)^S × 0.M × 2^(-126)(對于float)。非規(guī)格化數(shù)的存在是為了實現(xiàn)“漸進(jìn)下溢”。它允許表示比最小規(guī)格化正數(shù)約1.2e-38更接近0的數(shù)比如1.0 × 2^-130。雖然這些數(shù)的精度非常低但保證了當(dāng)運算結(jié)果逐漸變小趨近于0時不會突然從某個很小的正數(shù)直接跳到0避免了“突然下溢歸零”可能帶來的數(shù)學(xué)問題比如除以一個極小的數(shù)產(chǎn)生無窮大。5. 實戰(zhàn)避坑如何安全地與浮點數(shù)打交道理解了原理最終要落到編程實踐上。以下是幾個最常見的“坑”和對應(yīng)的“填坑”指南。5.1 永遠(yuǎn)不要用直接比較浮點數(shù)這是鐵律也是本文開篇例子的直接原因。由于舍入誤差兩個在數(shù)學(xué)上相等的浮點數(shù)在內(nèi)存中的二進(jìn)制表示可能不同。正確做法比較兩者差的絕對值是否小于一個極小的誤差范圍epsilon。#include math.h // 比較兩個float是否“近似相等” bool float_equal(float a, float b) { // 選擇一個合適的epsilon。對于float1e-6是一個常用起點。 // 更嚴(yán)謹(jǐn)?shù)淖龇ㄊ强紤]數(shù)值的尺度使用相對誤差。 return fabs(a - b) 1e-6f; } // 更健壯的比較結(jié)合絕對誤差和相對誤差 bool float_equal_robust(float a, float b) { float diff fabs(a - b); if (diff 1e-6f) { // 絕對誤差足夠小認(rèn)為相等 return true; } // 否則檢查相對誤差。max(1.0f, ...) 防止除以接近0的數(shù) return diff / fmaxf(fabs(a), fabs(b)) 1e-5f; }5.2 小心累積誤差浮點運算的誤差會累積。一個經(jīng)典的例子是用float或double循環(huán)累加0.1十萬次結(jié)果很可能不是精確的10000.0。float sum 0.0f; for (int i 0; i 100000; i) { sum 0.1f; // 0.1在二進(jìn)制中無法精確表示 } printf(“sum %.10f\n”, sum); // 輸出可能不是10000.0000000000應(yīng)對策略避免在循環(huán)中對大量浮點數(shù)做連續(xù)的加減運算尤其是數(shù)值大小相差懸殊時大數(shù)吃小數(shù)問題。如果可能使用更高精度的類型進(jìn)行中間計算最后再轉(zhuǎn)換回來。對于求和考慮使用Kahan求和算法等補(bǔ)償算法來減少舍入誤差的累積。5.3 注意類型轉(zhuǎn)換與運算提升在C/C等語言中當(dāng)表達(dá)式中混合了不同精度的浮點數(shù)或整數(shù)時會發(fā)生隱式類型轉(zhuǎn)換。float f 1.2f; double d 1.2; int i 3; auto r1 f i; // i先被轉(zhuǎn)換為float然后做float加法結(jié)果是float auto r2 d i; // i先被轉(zhuǎn)換為double結(jié)果是double auto r3 f d; // f被提升為double然后做double加法結(jié)果是double關(guān)鍵點在混合運算中編譯器會將低精度類型向高精度類型提升以保證精度不丟失。但如果你不小心把結(jié)果賦給一個低精度變量就會發(fā)生截斷丟失精度。float result d i; // double精度的結(jié)果被截斷為float可能引入誤差5.4 診斷工具查看內(nèi)存與位模式當(dāng)懷疑浮點數(shù)問題時最直接的調(diào)試方法就是查看它的內(nèi)存表示。C/C如前所述通過指針和整數(shù)類型進(jìn)行“位解讀”。void print_float_bits(float f) { uint32_t u; memcpy(u, f, sizeof(f)); // 使用memcpy避免嚴(yán)格別名規(guī)則問題 for (int i 31; i 0; i--) { printf(“%d”, (u i) 1); if (i 31 || i 23) printf(“ “); // 分隔符號、指數(shù)、尾數(shù)位 } printf(“\n”); }調(diào)試器大多數(shù)現(xiàn)代調(diào)試器如GDB Visual Studio Debugger都可以用十六進(jìn)制或二進(jìn)制格式查看變量的內(nèi)存內(nèi)容。在線工具有很多IEEE 754浮點數(shù)轉(zhuǎn)換器在線工具可以方便地進(jìn)行十進(jìn)制、二進(jìn)制、十六進(jìn)制之間的轉(zhuǎn)換和位字段查看。理解這些位模式能讓你在遇到NaN、Inf或者異常值時快速定位問題根源而不是停留在“結(jié)果不對”的層面。浮點數(shù)在內(nèi)存中的存儲是精度、范圍和效率之間精妙平衡的產(chǎn)物。它不像整數(shù)那樣“所見即所得”而是帶著一套復(fù)雜的編碼規(guī)則和與生俱來的近似屬性。掌握IEEE 754不僅是為了解決1.2 ! 1.2這樣的“靈異事件”更是為了在涉及科學(xué)計算、圖形處理、金融建模需用專用十進(jìn)制類型乃至機(jī)器學(xué)習(xí)大量使用FP16, BF16, FP32, FP64時能寫出正確、高效且健壯的代碼。下次再遇到浮點數(shù)比較的問題希望你能自信地說“這不是bug這是特性讓我看看你的epsilon設(shè)對了沒。”