文章目錄環(huán)境信息前言800MB的CSV文件直接 read 出來內(nèi)存爆了一、生成器原理yield 到底做了什么二、生成器表達(dá)式一行寫法的陷阱三、實(shí)戰(zhàn)場景1流式讀取大CSV四、實(shí)戰(zhàn)場景2流式解析大JSON五、實(shí)戰(zhàn)場景3API分頁拉取六、量化驗(yàn)證生成器到底省了多少內(nèi)存七、三個(gè)使用邊界八、總結(jié)環(huán)境信息項(xiàng)目版本/說明Python3.10標(biāo)準(zhǔn)庫csv / json / itertools無需第三方內(nèi)存監(jiān)控tracemalloc標(biāo)準(zhǔn)庫測試場景大CSV文件 / 大JSON文件 / 分頁API前言800MB的CSV文件直接 read 出來內(nèi)存爆了上個(gè)月我處理香港政府開放數(shù)據(jù)平臺data.gov.hk的一個(gè)交通流量數(shù)據(jù)集——800MB 的 CSV幾百萬行記錄。我的第一版代碼是這樣的importcsv# ? 危險(xiǎn)寫法一次性把所有行讀進(jìn)內(nèi)存withopen(traffic_flow_800mb.csv,r,encodingutf-8)asf:rowslist(csv.reader(f))# 800MB 數(shù)據(jù)全部加載進(jìn)內(nèi)存print(f加載了{(lán)len(rows)}行)# 然后內(nèi)存就爆了——list 里存了幾百萬個(gè) list 對象實(shí)際內(nèi)存占用遠(yuǎn)超 800MB跑起來之后機(jī)器直接卡死。因?yàn)閘ist(csv.reader(f))會把每一行都轉(zhuǎn)換成一個(gè) Python list 對象幾百萬個(gè) list 的開銷疊加起來實(shí)際內(nèi)存占用是文件大小的好幾倍。后來我把代碼改成了生成器寫法importcsv# ? 生成器寫法逐行處理內(nèi)存占用恒定defread_csv_rows(filepath):withopen(filepath,r,encodingutf-8)asf:readercsv.reader(f)forrowinreader:yieldrow# 每次只返回一行不積累fori,rowinenumerate(read_csv_rows(traffic_flow_800mb.csv)):# 處理這一行...ifi%1000000:print(f已處理{i}行)同樣的功能內(nèi)存占用從文件大小的數(shù)倍降到恒定的幾十KB。這就是生成器的力量。收藏提示①處理大文件的第一原則——永遠(yuǎn)不要list()一個(gè)文件讀取器。用yield逐行返回內(nèi)存占用恒定。文末有3個(gè)開箱即用的生成器實(shí)戰(zhàn)。一、生成器原理yield到底做了什么要理解為什么生成器省內(nèi)存先理解它和普通函數(shù)、普通列表的區(qū)別。普通函數(shù)調(diào)用后一次性執(zhí)行完用return返回結(jié)果然后函數(shù)就結(jié)束了。生成器函數(shù)函數(shù)體里有yield關(guān)鍵字。調(diào)用它不會立即執(zhí)行函數(shù)體而是返回一個(gè)生成器對象。每次對這個(gè)生成器調(diào)用next()函數(shù)才執(zhí)行到下一個(gè)yield處把yield后面的值吐出來然后暫停。defsimple_generator():print(開始)yield1# 第一次 next() 執(zhí)行到這里返回1暫停print(繼續(xù))yield2# 第二次 next() 執(zhí)行到這里返回2暫停print(結(jié)束)# 第三次 next() 會拋出 StopIterationgensimple_generator()print(next(gen))# 輸出開始然后返回 1print(next(gen))# 輸出繼續(xù)然后返回 2print(next(gen))# 輸出結(jié)束然后拋出 StopIteration關(guān)鍵就在于暫停這兩個(gè)字。生成器不會一次性把所有值算出來存著而是用到哪個(gè)算哪個(gè)。這就是惰性求值lazy evaluation。對比一下# 列表一次性生成100萬個(gè)數(shù)字全部存內(nèi)存nums_list[iforiinrange(1000000)]# 內(nèi)存占用約 36MB每個(gè)int對象28字節(jié) × 100萬# 生成器只是定義了一個(gè)規(guī)則不實(shí)際生成nums_gen(iforiinrange(1000000))# 內(nèi)存占用約 100字節(jié)就一個(gè)生成器對象同樣是 100 萬個(gè)數(shù)字列表占 36MB生成器只占 100 字節(jié)。這就是內(nèi)存直降 90%“的真正來源——不是魔法是不預(yù)先計(jì)算、用到才算”。二、生成器表達(dá)式一行寫法的陷阱注意上面nums_gen (i for i in range(1000000))用的是圓括號這是生成器表達(dá)式。而列表推導(dǎo)式用的是方括號。# 列表推導(dǎo)式方括號—— 立即生成占內(nèi)存squares_list[x*xforxinrange(1000000)]# 生成器表達(dá)式圓括號—— 惰性不占內(nèi)存squares_gen(x*xforxinrange(1000000))一個(gè)常見的坑生成器表達(dá)式只能迭代一次。因?yàn)樗皇谴嬷Y(jié)果而是邊算邊吐吐完就沒了gen(x*xforxinrange(5))print(list(gen))# [0, 1, 4, 9, 16]print(list(gen))# [] —— 已經(jīng)耗盡第二次是空的如果你需要多次遍歷要么用列表要么用itertools.tee要么重新創(chuàng)建生成器。三、實(shí)戰(zhàn)場景1流式讀取大CSV回到開頭的大文件場景把流式讀取封裝成一個(gè)可復(fù)用的生成器importcsvdefstream_csv(filepath,skip_headerTrue): 流式讀取大CSV逐行yield不占內(nèi)存 skip_header: 是否跳過表頭行 withopen(filepath,r,encodingutf-8)asf:readercsv.DictReader(f)# DictReader 返回字典鍵是表頭forrowinreader:yieldrow# 使用逐行處理配合條件過濾forrowinstream_csv(traffic_flow_800mb.csv):# 只處理屯門區(qū)的數(shù)據(jù)ifrow.get(district)屯門:process(row)如果還要做過濾 轉(zhuǎn)換可以鏈?zhǔn)浇M合生成器deffilter_by_district(rows,district):過濾生成器只保留指定區(qū)forrowinrows:ifrow.get(district)district:yieldrowdefextract_columns(rows,columns):轉(zhuǎn)換生成器只提取需要的列forrowinrows:yield{col:row.get(col)forcolincolumns}# 鏈?zhǔn)浇M合三個(gè)生成器串成流水線all_rowsstream_csv(traffic_flow_800mb.csv)tuen_mun_rowsfilter_by_district(all_rows,屯門)cleaned_rowsextract_columns(tuen_mun_rows,[time,flow,station])forrowincleaned_rows:print(row)這就是生成器流水線——每一步都是惰性的數(shù)據(jù)像水流一樣從上一個(gè)生成器流到下一個(gè)全程不積累。無論文件多大內(nèi)存占用恒定。四、實(shí)戰(zhàn)場景2流式解析大JSONJSON 比 CSV 麻煩因?yàn)闃?biāo)準(zhǔn)庫的json.load()會把整個(gè)文件讀進(jìn)內(nèi)存。但可以用ijson庫第三方或者逐條解析 JSON Lines 格式importjsondefstream_jsonl(filepath): 流式讀取 JSON Lines 格式每行一個(gè)JSON對象 香港政府部分API返回的就是這種格式 withopen(filepath,r,encodingutf-8)asf:forlineinf:lineline.strip()ifline:# 跳過空行yieldjson.loads(line)# 使用forrecordinstream_jsonl(records.jsonl):ifrecord.get(type)transaction:process(record)收藏提示②如果遇到的是單個(gè)超大 JSON 數(shù)組[{...},{...},...]標(biāo)準(zhǔn)庫json.load()會全量加載。要么讓數(shù)據(jù)提供方改 JSON Lines 格式要么用ijson庫做增量解析。JSON Lines 是流式處理的友好格式設(shè)計(jì)數(shù)據(jù)管道時(shí)優(yōu)先選它。五、實(shí)戰(zhàn)場景3API分頁拉取調(diào)用分頁 API 時(shí)生成器可以優(yōu)雅地隱藏分頁邏輯importrequestsdeffetch_paginated(url,page_size100,max_pagesNone): 分頁拉取API數(shù)據(jù)逐頁yield對外表現(xiàn)為一個(gè)連續(xù)的流 page1whileTrue:ifmax_pagesandpagemax_pages:breakresprequests.get(url,params{page:page,size:page_size})dataresp.json()recordsdata.get(records,[])ifnotrecords:# 沒有更多數(shù)據(jù)breakforrecordinrecords:yieldrecord page1# 使用調(diào)用方完全不用關(guān)心分頁邏輯forrecordinfetch_paginated(https://api.data.gov.hk/v1/records):process(record)六、量化驗(yàn)證生成器到底省了多少內(nèi)存口說無憑用tracemalloc實(shí)測一下標(biāo)準(zhǔn)庫自帶的內(nèi)存追蹤工具importtracemallocdefprocess_list(n1000000):列表方式全量加載tracemalloc.start()data[i*2foriinrange(n)]totalsum(data)current,peaktracemalloc.get_traced_memory()tracemalloc.stop()returnpeak/1024/1024# 轉(zhuǎn)MBdefprocess_generator(n1000000):生成器方式惰性處理tracemalloc.start()totalsum(i*2foriinrange(n))# 注意這是生成器表達(dá)式current,peaktracemalloc.get_traced_memory()tracemalloc.stop()returnpeak/1024/1024list_mbprocess_list()gen_mbprocess_generator()print(f列表方式峰值內(nèi)存:{list_mb:.1f}MB)print(f生成器方式峰值內(nèi)存:{gen_mb:.1f}MB)print(f內(nèi)存節(jié)省:{(1-gen_mb/list_mb)*100:.0f}%)輸出示例列表方式峰值內(nèi)存: 36.2 MB 生成器方式峰值內(nèi)存: 0.1 MB 內(nèi)存節(jié)省: 99%收藏提示③生成器不是更快而是更省內(nèi)存。在CPU上生成器因?yàn)槎栊哉{(diào)用有時(shí)反而略慢。它的核心價(jià)值是——讓你能處理大到放不進(jìn)內(nèi)存的數(shù)據(jù)。如果數(shù)據(jù)量小到能全放內(nèi)存列表反而更簡單直接。七、三個(gè)使用邊界生成器不是銀彈有三個(gè)場景要謹(jǐn)慎需要隨機(jī)訪問生成器只能順序迭代不能data[100]這樣隨機(jī)取。如果需要反復(fù)隨機(jī)訪問還是用列表。需要多次遍歷生成器耗盡就沒了。如果需要遍歷兩遍要么存成列表要么用itertools.tee要么重建生成器。數(shù)據(jù)量小如果數(shù)據(jù)只有幾百條生成器和列表沒區(qū)別反而增加了代碼復(fù)雜度。大文件才值得用生成器小數(shù)據(jù)直接用列表。八、總結(jié)生成器的核心就一句話惰性求值——用到哪個(gè)算哪個(gè)不預(yù)先全部算出來。原理yield讓函數(shù)暫停而不是結(jié)束配合next()逐步取值寫法生成器函數(shù)yield和生成器表達(dá)式圓括號兩種價(jià)值處理大文件/大JSON/分頁API時(shí)內(nèi)存從文件大小數(shù)倍降到恒定幾十KB邊界不能隨機(jī)訪問、只能遍歷一次、小數(shù)據(jù)沒必要用這篇是 Python 進(jìn)階系列的第三篇——0814 寫了正則和裝飾器這篇寫生成器。三個(gè)主題的共同點(diǎn)都是寫了很久 Python 但可能沒真正理解的基礎(chǔ)進(jìn)階。正則解決格式校驗(yàn)裝飾器解決代碼復(fù)用生成器解決內(nèi)存瓶頸。本文為 Python 生成器技術(shù)分享。內(nèi)存對比數(shù)據(jù)通過 tracemalloc 實(shí)測不同環(huán)境數(shù)值略有差異但生成器省內(nèi)存的結(jié)論是確定的。香港政府?dāng)?shù)據(jù)示例為演示場景實(shí)際數(shù)據(jù)集以 data.gov.hk 為準(zhǔn)。