如果你已經(jīng)跟著這個(gè)系列一路走到第六篇我想先提醒你一件事從這一篇開始學(xué)Python的方式要變了。前五篇我們搞定了環(huán)境搭建、變量、數(shù)據(jù)類型、條件判斷、循環(huán)這些基礎(chǔ)語(yǔ)法能寫一些小腳本但這離“Python人工智能編程”真正的樣子還差著一層關(guān)鍵的東西——把代碼組織成可以復(fù)用、可以組合、可以交給別人維護(hù)的工具。很多人學(xué)到這一步會(huì)卡住語(yǔ)法都認(rèn)識(shí)但一寫項(xiàng)目就發(fā)蒙。這篇文章要解決的正是這個(gè)卡點(diǎn)。我會(huì)用函數(shù)、切片、字典、文件讀寫、一個(gè)小型數(shù)據(jù)分析實(shí)戰(zhàn)把“零散語(yǔ)法”串成“解決問題的套路”。如果你沒有讀過前五篇也沒關(guān)系只要你會(huì)寫print、能分清if和for就可以直接跟讀。這一篇的代碼我全部貼出來了跟著敲一遍比只看不練強(qiáng)十倍。1. 從語(yǔ)法到工程思維第六篇應(yīng)該怎么學(xué)如果說前五篇是在教你“認(rèn)識(shí)單詞和語(yǔ)法”那從第六篇開始你要學(xué)的是“怎么把話說清楚、把事辦成”。這個(gè)轉(zhuǎn)變我稱之為“從寫代碼到寫程序”。1.1 為什么學(xué)了基礎(chǔ)語(yǔ)法還是不會(huì)做項(xiàng)目我經(jīng)?？吹叫率挚ㄔ谝粋€(gè)現(xiàn)象上單看每個(gè)知識(shí)點(diǎn)都懂for循環(huán)會(huì)寫列表會(huì)切片字典會(huì)取值但真給一個(gè)需求——“把這份成績(jī)單讀進(jìn)來算平均分畫個(gè)圖”——就懵了。問題不在某個(gè)語(yǔ)法不會(huì)而在于腦子里沒有“流程地圖”不知道第一步該讀文件還是該清洗數(shù)據(jù)不知道哪些功能該拆成函數(shù)不知道數(shù)據(jù)在每一步長(zhǎng)什么樣子。第六篇的核心任務(wù)就是建立這張地圖。我會(huì)刻意把知識(shí)點(diǎn)都掛到一個(gè)真實(shí)流程上數(shù)據(jù)從哪里來文件→ 怎么整理切片、去重、字典統(tǒng)計(jì)→ 怎么反復(fù)使用函數(shù)→ 怎么把結(jié)果變成看得見的東西可視化。這一套流程不是AI編程的專屬但它是所有人工智能項(xiàng)目的通用底座。說白了后面你想做機(jī)器學(xué)習(xí)、爬蟲、量化策略前半段工作百分之八十都是這類數(shù)據(jù)整理和流程編排。1.2 這一篇的學(xué)習(xí)目標(biāo)和預(yù)期收獲明確一下第六篇的目標(biāo)免得你學(xué)完覺得“好像都看了又好像沒學(xué)到啥”能寫出三五個(gè)參數(shù)、有返回值、帶文檔說明的函數(shù)并且知道為什么不能隨便用全局變量能用切片和推導(dǎo)式把原來要寫五六行的數(shù)據(jù)篩選壓縮成一兩行還不犧牲可讀性能理解字典和集合的底層邏輯順手用它們?nèi)ブ?、統(tǒng)計(jì)頻次、表達(dá)“圖”這類復(fù)雜結(jié)構(gòu)能讀寫 CSV 和 JSON 文件讓程序的數(shù)據(jù)真正落地能獨(dú)立完成一個(gè)“讀文件→清洗→統(tǒng)計(jì)→畫圖→保存”的分析小項(xiàng)目。一個(gè)很重要的心態(tài)調(diào)整這一篇開始不要再用“眼睛學(xué)”了。我貼出的代碼請(qǐng)務(wù)必親手敲一遍。不是復(fù)制粘貼是敲。敲的過程中你會(huì)碰到縮進(jìn)報(bào)錯(cuò)、中文引號(hào)、變量名拼寫這些極其瑣碎但必須跨過去的坎。踩過這些坎的人和沒踩過的人寫出來的代碼完全不是一回事。1.3 建議的學(xué)習(xí)節(jié)奏和配套工具我建議你把這篇拆成三天來看。第一天只看函數(shù)和切片動(dòng)手寫“李白打酒”小例子第二天學(xué)字典、集合、鄰接矩陣重點(diǎn)是理解哈希是怎么回事第三天做綜合實(shí)戰(zhàn)把前面所有內(nèi)容串起來。工具我就推薦最簡(jiǎn)單的Python 3.8 以上版本 一個(gè)順手的代碼編輯器VSCode 裝了 Python 插件就夠了不需要一上來就搞虛擬環(huán)境、遠(yuǎn)程開發(fā)那些花活等你的項(xiàng)目真的需要隔離依賴的時(shí)候再說。如果你還沒裝好 Python 環(huán)境先去官網(wǎng)下載安裝包安裝時(shí)記得勾選“Add Python to PATH”這是大部分環(huán)境配置問題的根源。裝完后在命令行輸入python --version能輸出版本號(hào)就說明基礎(chǔ)環(huán)境OK了。2. 函數(shù)封裝讓自己寫過的代碼能“復(fù)用一萬(wàn)次”先說一個(gè)判斷標(biāo)準(zhǔn)當(dāng)你發(fā)現(xiàn)自己開始在代碼里復(fù)制粘貼同一段邏輯的時(shí)候就是該寫函數(shù)的時(shí)候。函數(shù)不是Python的高級(jí)特性它就是把一段代碼“打包命名”然后隨用隨調(diào)。但就這么一個(gè)簡(jiǎn)單的動(dòng)作決定了你能不能從“腳本小子”變成“寫程序的人”。2.1 函數(shù)的骨架參數(shù)、返回值、文檔字符串最簡(jiǎn)單的函數(shù)長(zhǎng)這樣def add(a, b): 返回兩個(gè)數(shù)的和。 return a bdef是關(guān)鍵定義符add是函數(shù)名a和b是參數(shù)return是返回值。調(diào)用的時(shí)候直接寫add(3, 5)就能拿到8。這里我要重點(diǎn)說幾個(gè)新手容易忽略的點(diǎn)。第一函數(shù)不是必須要有return比如只打印日志的函數(shù)就可以只干活不返回這時(shí)它返回的是None你如果把這個(gè)結(jié)果賦給變量再打印會(huì)得到一個(gè)None這很正常別慌。第二參數(shù)的傳遞方式有很多種最常用的是位置參數(shù)和關(guān)鍵字參數(shù)def introduce(name, age, city未知): return f{name}今年{age}歲來自{city} introduce(小明, 18) # 用默認(rèn)值city introduce(小紅, 17, city上海) # 關(guān)鍵字參數(shù)順序可以不按定義來默認(rèn)參數(shù)要放在非默認(rèn)參數(shù)的后面這個(gè)語(yǔ)法規(guī)則記一下。第三函數(shù)名本身要能“讀出聲來”。def add(a, b)比def f(x, y)好得多因?yàn)槿齻€(gè)月后的你看到代碼時(shí)不需要靠注釋也能猜到它在干嘛。至于文檔字符串就是在函數(shù)第一行用三引號(hào)寫的說明。別小看它后面你用IDE補(bǔ)全代碼的時(shí)候懸停在函數(shù)名上就能看到這段說明對(duì)團(tuán)隊(duì)協(xié)作和回憶舊代碼都極其有用。2.2 作用域?yàn)槭裁春瘮?shù)里改不動(dòng)外面的變量代碼里最常見的一個(gè)坑是以為在函數(shù)里寫了count count 1就能改掉全局的count結(jié)果一運(yùn)行報(bào)錯(cuò)“局部變量在賦值前被引用”。這背后是Python的作用域規(guī)則函數(shù)內(nèi)部默認(rèn)只能讀取全局變量不能直接修改。要修改必須用global聲明但我不建議新手用。更好的做法是讓函數(shù)接收參數(shù)、返回結(jié)果也就是“輸入輸出都在接口上完成”。total 0 def add_to_total(x): total x # 這是函數(shù)內(nèi)部的total不是外面的total return total此時(shí)外面的total還是0。如果你真的需要累加某個(gè)外部計(jì)數(shù)正確姿勢(shì)是def add_to_total(total, x): return total x total add_to_total(total, 5) total add_to_total(total, 3)這樣寫函數(shù)只負(fù)責(zé)“計(jì)算”狀態(tài)的管理交給了調(diào)用方邏輯清晰得多也方便測(cè)試。2.3 小實(shí)戰(zhàn)用函數(shù)解“李白打酒”“李白街上走提壺去買酒。遇店加一倍見花喝一斗。三遇店和花喝光壺中酒。試問壺中原有多少酒”這道題用數(shù)學(xué)能解但用程序來做更能體現(xiàn)“遞推思維”。我們已知過程是遇到店酒量翻倍遇到花喝掉一斗。一共三次“遇店見花”最后剛好喝光。正向推算太麻煩不如從最后一步逆推最后一次見花之后是0斗見花前就該是1斗遇店前呢遇店前只有一半即0.5斗。往前倒推三次即可。def libai_wine(rounds3): 李白打酒已知經(jīng)過rounds輪“遇店加倍、見花喝一斗”后喝光反推初始酒量。 wine 0.0 for _ in range(rounds): wine 1.0 # 逆推見花喝一斗喝之前多一斗 wine / 2.0 # 逆推遇店加倍進(jìn)店之前只有一半 return wine def verify(wine, rounds3): 正向驗(yàn)證按題目過程走一遍看最后是否為0。 for _ in range(rounds): wine * 2.0 wine - 1.0 return wine result libai_wine() print(result) # 0.875 print(verify(result)) # 0.0 說明沒算錯(cuò)運(yùn)行輸出0.875和0.0。也就是說李白出門時(shí)壺里有七分半斗——不對(duì)是零點(diǎn)八七五斗。這個(gè)例子雖然小但把函數(shù)的三樣?xùn)|西都練了定義、傳參、返回值順帶還練了循環(huán)和遞推。你試著改rounds的值為4或5看看初始酒量怎么變這比背語(yǔ)法強(qiáng)得多。2.4 關(guān)于“定義函數(shù)”的一些實(shí)戰(zhàn)心得最后說點(diǎn)容易踩的經(jīng)驗(yàn)。我見過很多初學(xué)者把那種“只執(zhí)行一次的腳本邏輯”也硬包進(jìn)函數(shù)結(jié)果函數(shù)定義三行、調(diào)用三行反而顯得繞。函數(shù)的意義在于復(fù)用和組合如果你確定一段代碼只跑一次直接寫反倒更直白。反過來只要這段邏輯你在不同地方用了兩次以上就值得抽成函數(shù)哪怕參數(shù)只有一兩個(gè)。判斷標(biāo)準(zhǔn)就一條會(huì)不會(huì)重復(fù)。另外函數(shù)里避免用print作為“返回結(jié)果”。打印只能看不能參與后續(xù)計(jì)算。要讓調(diào)用方拿到結(jié)果并繼續(xù)處理一定用return。你可以把函數(shù)理解為“黑箱加工廠”原料參數(shù)進(jìn)去產(chǎn)品返回值出來至于里面怎么加工調(diào)用方不該也不需關(guān)心。3. 切片和推導(dǎo)式用半行代碼搞定數(shù)據(jù)篩選如果你處理過真實(shí)數(shù)據(jù)一定遇到過這類需求取列表前10個(gè)、隔一個(gè)取一個(gè)、把列表里所有數(shù)都乘2、篩選出大于某個(gè)閾值的元素。這些需求在Python里有兩件趁手的兵器切片和推導(dǎo)式。它們不是性能優(yōu)化的重點(diǎn)但能極大減少你的代碼量讓意圖“一眼可見”。3.1 切片start、stop、step三步走切片的基本寫法是序列[start:stop:step]取左不取右不含stop位置。比如nums [10, 20, 30, 40, 50, 60, 70, 80] nums[:3] # [10, 20, 30]從頭取到索引2 nums[3:] # [40, 50, 60, 70, 80] nums[::2] # [10, 30, 50, 70]每隔一個(gè)取一個(gè) nums[::-1] # 倒序[80, 70, 60, 50, 40, 30, 20, 10]字符串也能切片python教編程[::2]就取出奇數(shù)位置的字符。列表、字符串、元組都支持切片這是Python特別統(tǒng)一的一點(diǎn)。新手階段最容易犯的錯(cuò)是忘記“stop不包含”比如nums[1:3]你以為去的是第1和第3個(gè)其實(shí)是索引1和2對(duì)應(yīng)的元素。這個(gè)規(guī)則記住一次以后所有切片都不迷糊。切片還有個(gè)方便之處可以給列表的一部分賦值。nums[2:4] [100, 200]這會(huì)把第2、第3個(gè)元素替換成新值。寫這種代碼要注意長(zhǎng)度變化初學(xué)者建議還是用“新建列表”的思路別在原列表上亂改不然排錯(cuò)會(huì)頭疼。3.2 列表推導(dǎo)式循環(huán)、條件、變換一體完成推導(dǎo)式的模板是[表達(dá)式 for 元素 in 可迭代對(duì)象 if 條件]讀法也很順對(duì)每個(gè)元素如果滿足條件就做一遍表達(dá)式的變換。nums [1, 2, 3, 4, 5, 6] squares [n * n for n in nums] evens [n for n in nums if n % 2 0] big [n * 10 for n in nums if n 3]三行代碼分別完成“求平方”“篩偶數(shù)”“先篩后乘”。如果不用推導(dǎo)式這些至少要寫三到五行的臨時(shí)列表和循環(huán)。推導(dǎo)式最大的好處是它“聲明式”——你告訴程序“我要什么”而不是“怎么一步步構(gòu)建”。這也符合人工智能編程里數(shù)據(jù)處理非常常見的“變換-過濾”模式。除了列表推導(dǎo)式字典也有推導(dǎo)式names [小明, 小紅, 小剛] name_len {name: len(name) for name in names} # {小明: 2, 小紅: 2, 小剛: 2}如果你想要“既能去重、又保留出現(xiàn)順序”的數(shù)據(jù)結(jié)構(gòu)可以配合 Python 3.7 的有序字典特性來做。3.3 去重set、字典鍵名、推導(dǎo)式三種思路對(duì)應(yīng)熱搜里那個(gè)“python篩選一樣的”去重是數(shù)據(jù)處理的高頻操作。Python里最簡(jiǎn)單的去重是set(nums)直接轉(zhuǎn)集合。但集合不保序有時(shí)候你希望保留原始順序可以用dict.fromkeysnums [3, 1, 3, 5, 1, 7] unique_ordered list(dict.fromkeys(nums)) # [3, 1, 5, 7]原理是利用字典鍵的唯一性fromkeys用列表元素生成鍵鍵天然不重復(fù)。還有一個(gè)常見的變體是“篩選出重復(fù)元素”而不是去重。你可以用列表推導(dǎo)式配合計(jì)數(shù)from collections import Counter nums [1, 2, 2, 3, 3, 3, 4] counter Counter(nums) duplicates [k for k, v in counter.items() if v 1] # [2, 3]記住一條實(shí)用路線純?nèi)ブ赜胹et保序去重用dict.fromkeys要統(tǒng)計(jì)次數(shù)用Counter規(guī)則復(fù)雜的篩選用推導(dǎo)式自己寫條件。3.4 畫圖橫坐標(biāo)太密集一個(gè)真實(shí)的切片應(yīng)用熱搜詞里有一個(gè)“python畫圖橫坐標(biāo)太密集”這其實(shí)是數(shù)據(jù)處理里的常見麻煩。比如你有1000天的數(shù)據(jù)想在橫軸上全部標(biāo)出來圖片根本沒法看全擠成一團(tuán)黑。一個(gè)簡(jiǎn)單的處理思路是只顯示一部分坐標(biāo)刻度。你可以用切片抽樣import matplotlib.pyplot as plt days list(range(1000)) values [x ** 0.5 for x in days] plt.figure(figsize(10, 4)) plt.plot(days, values) step 100 plt.xticks(days[::step], days[::step]) plt.tight_layout() plt.savefig(sample.png, dpi150) plt.show()也就是說橫軸刻度只取第0、100、200、…… 900個(gè)位置。這個(gè)思路本質(zhì)就是切片步長(zhǎng)抽樣和上面講的nums[::2]是一個(gè)東西。很多“畫圖丑”的問題不是圖不好而是數(shù)據(jù)預(yù)處理沒做到位。學(xué)會(huì)切片你就多了一個(gè)預(yù)處理工具。4. 字典、集合與鄰接矩陣把圖結(jié)構(gòu)裝進(jìn)Python在人工智能編程里數(shù)據(jù)不會(huì)永遠(yuǎn)是一維列表很多時(shí)候你需要表達(dá)“元素之間有關(guān)系”。比如社交網(wǎng)絡(luò)里兩個(gè)人是不是好友城市之間有沒有直達(dá)航班知識(shí)圖譜里概念之間的關(guān)聯(lián)。這類關(guān)系在數(shù)學(xué)上叫“圖”而Python里最常見的圖表達(dá)方式之一就是鄰接矩陣。這一章我們把它徹底說透。4.1 字典和集合的底層哈希表的直覺先補(bǔ)一個(gè)底層直覺。字典dict和集合set之所以查詢極快是因?yàn)樗鼈兓诠１戆焰I映射成一個(gè)哈希值直接定位存儲(chǔ)位置不需要像列表那樣挨個(gè)比較。這就是為什么name in my_dict幾乎是瞬時(shí)的而name in my_list在列表很長(zhǎng)時(shí)會(huì)變慢。這種“直接用鍵找值”的模型特別適合表達(dá)結(jié)構(gòu)化數(shù)據(jù)。比如一個(gè)人檔案person { name: 小明, age: 18, courses: [語(yǔ)文, 數(shù)學(xué)], score: {語(yǔ)文: 88, 數(shù)學(xué): 92}, }你看字典可以嵌套列表、嵌套字典。幾乎所有從文件讀進(jìn)來的結(jié)構(gòu)化數(shù)據(jù)最終都是字典的形態(tài)。4.2 鄰接矩陣用二維列表表示節(jié)點(diǎn)間關(guān)系舉個(gè)例子?，F(xiàn)在有五個(gè)城市北京、上海、廣州、成都、武漢。如果兩個(gè)城市之間有直達(dá)航班我們記為1沒有記為0那么鄰接矩陣就是一個(gè)5x5的方陣行表示出發(fā)城市列表示到達(dá)城市第i行第j列是1就表示第i個(gè)城市能直達(dá)第j個(gè)城市。對(duì)角線上的值一般是0因?yàn)槌鞘械阶陨頉]有“直達(dá)”的意義有自環(huán)另說。Python里構(gòu)建鄰接矩陣的第一步是把城市名稱映射成索引cities [北京, 上海, 廣州, 成都, 武漢] city_index {city: i for i, city in enumerate(cities)} n len(cities) matrix [[0 for _ in range(n)] for _ in range(n)]然后有一條邊列表每條邊包含出發(fā)城市和到達(dá)城市edges [(北京, 上海), (北京, 廣州), (上海, 武漢), (成都, 北京), (廣州, 武漢)] for start, end in edges: i city_index[start] j city_index[end] matrix[i][j] 1這樣一個(gè)鄰接矩陣就建好了。你可能注意到我用了[[0 for _ in range(n)] for _ in range(n)]而不是[[0] * n] * n這是個(gè)很容易踩的坑。后者看起來也能生成n行n列的數(shù)組但當(dāng)你修改matrix[0][1] 1時(shí)會(huì)發(fā)現(xiàn)每一行的第1列全變了。原因是[0] * n生成了同一個(gè)數(shù)組引用外層乘法只是把這個(gè)引用復(fù)制了n份。用列表推導(dǎo)式每次新建列表才能避免這種“淺拷貝”帶來的神坑。打印矩陣看效果for row in matrix: print(row)輸出就是一個(gè)標(biāo)準(zhǔn)的0/1方陣這已經(jīng)是很多圖算法的輸入格式了。后面你要寫最短路徑、深度優(yōu)先搜索只要把數(shù)據(jù)變成這種矩陣剩下的就是套算法的問題。4.3 為什么要用鄰接矩陣和鄰接表對(duì)比鄰接矩陣的優(yōu)點(diǎn)是查詢直觀判斷兩個(gè)節(jié)點(diǎn)是否相鄰只需訪問matrix[i][j]復(fù)雜度是O(1)。缺點(diǎn)是空間浪費(fèi)節(jié)點(diǎn)一多比如一萬(wàn)個(gè)點(diǎn)矩陣就是上億個(gè)格子大部分是0很浪費(fèi)內(nèi)存。這時(shí)候可以用鄰接表也就是用字典來記錄每個(gè)節(jié)點(diǎn)的鄰居列表adj {city: [] for city in cities} for start, end in edges: adj[start].append(end) # {北京: [上海, 廣州], 上海: [武漢], 成都: [北京], 廣州: [武漢], 武漢: []}結(jié)構(gòu)上更緊湊遍歷鄰居也方便。這兩種選哪個(gè)我的建議是點(diǎn)數(shù)少幾百以內(nèi)或邊稠密用鄰接矩陣好寫、好調(diào)試點(diǎn)數(shù)多或邊稀疏用鄰接表。后面你接觸真實(shí)AI項(xiàng)目里的圖數(shù)據(jù)會(huì)發(fā)現(xiàn)十個(gè)里有八個(gè)是稀疏的所以鄰接表更常用。但鄰接矩陣的概念一定要懂因?yàn)楹芏嘀虚g表示比如特征矩陣、距離矩陣長(zhǎng)得就是鄰接矩陣的樣。4.4 集合在關(guān)系處理里的另一面快速判斷“在不在”處理圖關(guān)系時(shí)集合也很有用。比如你想知道某個(gè)城市有沒有被邊記錄到或者哪些城市沒有任何出邊直接集合運(yùn)算就行all_cities set(cities) cities_with_edge set(start for start, _ in edges) isolated all_cities - cities_with_edge這里涉及到集合的差集運(yùn)算得出的就是“沒有作為出發(fā)城市出現(xiàn)過”的城市也就是沒有出邊的城市。這類寫作方式平鋪直敘卻又非常高效。5. 文件讀寫與結(jié)構(gòu)化數(shù)據(jù)讓程序連上真實(shí)世界學(xué)了前面這些你的程序還都活在內(nèi)存里關(guān)掉就沒了。要讓數(shù)據(jù)持久化讓程序能和Excel表、爬蟲抓下來的數(shù)據(jù)、量化行情的日志產(chǎn)生交集必須掌握文件讀寫。5.1 open和with讀寫文件的基本姿勢(shì)最推薦的文件讀取方式是with open(...)因?yàn)閣ith會(huì)在代碼塊結(jié)束時(shí)自動(dòng)關(guān)閉文件不用你記著寫f.close()?；灸Ｊ絯ith open(data.txt, r, encodingutf-8) as f: text f.read() print(text)r是讀模式w是寫模式a是追加模式。第二個(gè)經(jīng)常踩的坑是編碼。Windows系統(tǒng)下文件默認(rèn)可能是GBK如果你讀文件不指定encodingutf-8經(jīng)常會(huì)出現(xiàn)中文亂碼。我現(xiàn)在的習(xí)慣是無論讀寫都顯式帶上encodingutf-8省得換臺(tái)電腦就亂碼。寫文件也一樣with open(output.txt, w, encodingutf-8) as f: f.write(你好Python\n) f.write(這是第二行\(zhòng)n)注意w模式會(huì)覆蓋原有內(nèi)容如果不想覆蓋用a追加。5.2 CSV文件Python標(biāo)準(zhǔn)庫(kù)一條龍搞定CSV是最常見的表格存儲(chǔ)格式Excel也能直接打開。Python標(biāo)準(zhǔn)庫(kù)里有csv模塊讀寫都很方便。比如讀取import csv with open(students.csv, r, encodingutf-8) as f: reader csv.DictReader(f) rows list(reader) print(rows[0])csv.DictReader會(huì)把第一行當(dāng)表頭后面每行變成一個(gè)字典字典的鍵就是表頭。假設(shè)表頭是“姓名,語(yǔ)文,數(shù)學(xué)”那rows[0]就是{姓名: 小明, 語(yǔ)文: 88, 數(shù)學(xué): 92}。寫入CSV則是這樣with open(output.csv, w, encodingutf-8, newline) as f: writer csv.DictWriter(f, fieldnames[姓名, 語(yǔ)文, 數(shù)學(xué)]) writer.writeheader() writer.writerow({姓名: 小華, 語(yǔ)文: 90, 數(shù)學(xué): 85})加newline是為了避免在Windows下寫入時(shí)出現(xiàn)多余空行這也是踩過才知道的細(xì)節(jié)。注意CSV讀出來的數(shù)字全是字符串你要計(jì)算之前必須int(row[語(yǔ)文])轉(zhuǎn)一下或者用float()我自己經(jīng)常在這里忘記轉(zhuǎn)換然后跑出類型錯(cuò)誤。5.3 JSON文件程序之間交換數(shù)據(jù)的通用語(yǔ)言和CSV比JSON更靈活能表達(dá)嵌套結(jié)構(gòu)而且?guī)缀跛芯幊陶Z(yǔ)言都支持。Python讀寫JSON非常簡(jiǎn)單import json data { name: 小明, scores: [88, 92, 85], address: {city: 北京, district: 海淀}, } with open(data.json, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2) with open(data.json, r, encodingutf-8) as f: loaded json.load(f) print(loaded[scores])ensure_asciiFalse特別重要不設(shè)置的話中文字符會(huì)被存成\uXXXX轉(zhuǎn)義序列人眼根本沒法看。indent2讓文件有縮進(jìn)便于閱讀。學(xué)了JSON你會(huì)發(fā)現(xiàn)Web后端返回的數(shù)據(jù)、爬蟲抓到的接口數(shù)據(jù)、現(xiàn)在很多配置文件的格式全是JSON。當(dāng)你把“字典 ? JSON字符串”這個(gè)通道打通Python就等于接入了互聯(lián)網(wǎng)世界的通用語(yǔ)。5.4 和爬蟲、量化交易預(yù)處理如何銜接為什么會(huì)有人在熱搜里搜“python爬蟲”“python量化交易策略代碼”因?yàn)楹芏嗾鎸?shí)項(xiàng)目的第一步都是“拿數(shù)據(jù)、存數(shù)據(jù)、整理數(shù)據(jù)”。爬蟲抓下來的原始數(shù)據(jù)往往是一大堆嵌套JSON或HTML你需要提取關(guān)鍵字段轉(zhuǎn)成CSV或JSON落盤稍后分析。量化交易更是典型你回測(cè)一個(gè)策略前提是把歷史行情數(shù)據(jù)讀進(jìn)來、清洗掉停牌或異常值、按日期排序然后才能計(jì)算移動(dòng)平均線之類的指標(biāo)。我舉一個(gè)非常簡(jiǎn)單的行情數(shù)據(jù)讀取和均線計(jì)算例子import csv with open(price.csv, r, encodingutf-8) as f: rows list(csv.DictReader(f)) # 列date, close closes [float(row[close]) for row in rows] ma5 sum(closes[-5:]) / 5 ma20 sum(closes[-20:]) / 20 print(ma5, ma20)這段代碼雖然短但已經(jīng)踩到了量化數(shù)據(jù)處理的核心動(dòng)作讀文件、取序列、按窗口聚合。后面你學(xué)習(xí)pandas會(huì)發(fā)現(xiàn)整個(gè)pandas就是把這些小操作做得更極致、更高效而已。所以別覺得基礎(chǔ)文件讀寫沒用它是所有數(shù)據(jù)類項(xiàng)目的根。5.5 matplotlib保存圖片別被show擋住“python繪圖保存圖片”也是熱搜詞。Matplotlib保存圖片最常見的坑是先plt.show()再plt.savefig()結(jié)果保存出來的是一張白圖。原因很簡(jiǎn)單show()執(zhí)行后會(huì)清空當(dāng)前圖形后面的savefig已經(jīng)無圖可存了。正確順序是先savefig再show。此外保存高清圖片建議加dpi參數(shù)比如plt.savefig(chart.png, dpi150, bbox_inchestight)bbox_inchestight會(huì)盡量把圖片周圍的留白裁掉讓圖占滿畫布。這些經(jīng)驗(yàn)都是被坑過才記住的寫入你的本子或記憶里都行反正下次用到就直接用。6. 綜合實(shí)戰(zhàn)CSV成績(jī)單清洗、分析、可視化全流程前面的知識(shí)點(diǎn)都是獨(dú)立的零件?，F(xiàn)在把它們組裝成一個(gè)完整的小程序。這個(gè)實(shí)戰(zhàn)全程貼代碼我建議你新建一個(gè)analyze_students.py文件把代碼一段段敲進(jìn)去運(yùn)行。它解決的是一份格式不太干凈的CSV成績(jī)單。6.1 準(zhǔn)備一份帶有臟數(shù)據(jù)的成績(jī)單我模擬了一個(gè)students.csv內(nèi)容如下姓名,語(yǔ)文,數(shù)學(xué),英語(yǔ) 小明,88,92,85 小紅,95,85,88 小剛,76,80,90 小明,88,92,85 小麗,,88,92 小剛,76,80,90 ,85,90,80肉眼能看到的問題有重復(fù)記錄小明和小剛各出現(xiàn)了兩次、缺失數(shù)據(jù)小麗的語(yǔ)文空著、無名空行最后一行的姓名是空的。真實(shí)項(xiàng)目里的數(shù)據(jù)往往比這個(gè)臟十倍但清洗思路是一樣的。6.2 數(shù)據(jù)讀取和清洗代碼第一步讀取原始數(shù)據(jù)過濾掉沒有姓名的行并把數(shù)字字段轉(zhuǎn)成整數(shù)。用函數(shù)封裝每步工作import csv from collections import defaultdict def read_raw(path): 讀取CSV文件返回字典列表。 with open(path, r, encodingutf-8) as f: return list(csv.DictReader(f)) def clean_row(row): 清洗單行過濾無姓名、補(bǔ)齊缺失數(shù)字字段。 name row[姓名].strip() if not name: return None try: return { 姓名: name, 語(yǔ)文: int(row[語(yǔ)文]) if row[語(yǔ)文] else 0, 數(shù)學(xué): int(row[數(shù)學(xué)]) if row[數(shù)學(xué)] else 0, 英語(yǔ): int(row[英語(yǔ)]) if row[英語(yǔ)] else 0, } except ValueError: return None raw_rows read_raw(students.csv) cleaned [] for row in raw_rows: processed clean_row(row) if processed: cleaned.append(processed)這里的strip()是去掉字符串首尾空格防止表格里帶上不可見字符。而缺失值我用了“填0”策略這只是清洗策略之一真實(shí)項(xiàng)目里也可能是刪除該行或插補(bǔ)平均值。6.3 去重和聚合統(tǒng)計(jì)第二步依據(jù)“姓名”字段去重。同一門考試?yán)锿粋€(gè)人的重復(fù)記錄理應(yīng)只留一條這里繼續(xù)用dict.fromkeys配合姓名構(gòu)造去重后的列表def deduplicate(rows): 依據(jù)姓名去重保留第一次出現(xiàn)的完整記錄。 unique list(dict.fromkeys(r[姓名] for r in rows)) seen {name: row for name, row in zip(unique, rows)} return list(seen.values())這種寫法稍顯取巧但能跑通。更穩(wěn)妥的寫法是顯式遍歷并維護(hù)一個(gè)seen_names集合def deduplicate(rows): seen_names set() result [] for row in rows: name row[姓名] if name not in seen_names: seen_names.add(name) result.append(row) return result這個(gè)版本的邏輯更直白也不容易出幺蛾子。我實(shí)際項(xiàng)目中常用這個(gè)寫法因?yàn)樗鼘?duì)“保留第一條還是最后一條”的控制更直觀。第三步按學(xué)科求平均分和最高分def analyze(rows): 統(tǒng)計(jì)各科平均分與最高分。 subjects [語(yǔ)文, 數(shù)學(xué), 英語(yǔ)] stats {} for subject in subjects: scores [row[subject] for row in rows if subject in row] stats[subject] { avg: sum(scores) / len(scores), max: max(scores), } return stats stats analyze(deduplicate(cleaned)) print(stats)運(yùn)行后你會(huì)看到一個(gè)嵌套字典比如語(yǔ)文平均分約86.33數(shù)學(xué)約87.67英語(yǔ)約88.75。這里的核心是列表推導(dǎo)式把某個(gè)學(xué)科的所有成績(jī)?nèi)〕鰜碓俳唤o內(nèi)置函數(shù)sum/max處理。6.4 把統(tǒng)計(jì)結(jié)果畫成圖并保存第四步為了讓結(jié)果直觀用matplotlib畫一個(gè)三門課程的“平均分-最高分”對(duì)比柱狀圖import matplotlib.pyplot as plt subjects list(stats.keys()) avg_values [stats[s][avg] for s in subjects] max_values [stats[s][max] for s in subjects] plt.figure(figsize(8, 5)) plt.bar(subjects, avg_values, label平均分, alpha0.7) plt.bar(subjects, max_values, label最高分, alpha0.4) plt.legend() plt.title(成績(jī)分析) plt.ylabel(分?jǐn)?shù)) plt.tight_layout() plt.savefig(score_analysis.png, dpi150) plt.show()中文標(biāo)題可能默認(rèn)字體顯示成方框這是因?yàn)閙atplotlib默認(rèn)字體不含中文字形。一個(gè)可用的解決辦法是在代碼開頭設(shè)置支持中文的字體plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, Arial Unicode MS] plt.rcParams[axes.unicode_minus] False第二個(gè)設(shè)置是防止負(fù)號(hào)顯示成方塊。頻率很高建議直接存成自己的模板。6.5 這個(gè)小項(xiàng)目到底練了什么復(fù)盤一下整個(gè)流程只有一百行左右的代碼但它把所有關(guān)鍵技能都串起來了函數(shù)封裝read_raw、clean_row、deduplicate、analyze、列表推導(dǎo)式提取成績(jī)序列、字典嵌套統(tǒng)計(jì)結(jié)果、集合去重判斷、CSV讀寫、文件持久化、可視化輸出。這就是一個(gè)完整的數(shù)據(jù)分析流水線也是后續(xù)接觸pandas、numpy這些人工智能編程必備庫(kù)時(shí)你已經(jīng)能用自己的代碼理解每一步在干嘛。7. 這一篇最容易踩的坑與自查清單最后分享一批我在帶人和自己寫碼過程中反復(fù)見到的坑。每個(gè)坑背后都有一句“我之前也是這樣”的恍然大悟希望能幫你少走彎路。7.1 可變默認(rèn)參數(shù)你以為的初始值其實(shí)會(huì)“記住上一次”這是Python函數(shù)一個(gè)著名的坑。比如def add_item(item, lst[]): lst.append(item) return lst連續(xù)調(diào)用add_item(a)再add_item(b)第二次的結(jié)果是[a, b]因?yàn)檫@個(gè)默認(rèn)列表在函數(shù)定義時(shí)就創(chuàng)建了后續(xù)每次調(diào)用如果沒有傳lst用的都是同一個(gè)列表。正確做法是默認(rèn)參數(shù)設(shè)為None內(nèi)部再新建列表def add_item(item, lstNone): if lst is None: lst [] lst.append(item) return lst不要糾結(jié)“為什么默認(rèn)參數(shù)不被重置”這是面試題?？偷珜?shí)踐中記得這個(gè)寫法就行。7.2 列表的淺拷貝直接賦值不是復(fù)制new_list old_list并不會(huì)生成新列表它只是給同一個(gè)列表貼了新標(biāo)簽。所以當(dāng)你new_list.append時(shí)old_list也會(huì)變。想要真正復(fù)制用old_list[:]或old_list.copy()。二維列表的“你以為你改了第1行結(jié)果每一行都變了”也是同一個(gè)坑的變體在構(gòu)建二維矩陣、鄰接矩陣時(shí)尤其容易爆發(fā)建議寫完矩陣后print一下再往下走。7.3 文件編碼中文亂碼的根源不指定encodingutf-8就打開CSV或TXT尤其在Windows下很大概率會(huì)撞上GBK亂碼。另外用Excel新存的CSV文件有時(shí)是帶BOM頭的UTF-8也叫“utf-8-sig”讀的時(shí)候可以試一下encodingutf-8-sig不然你會(huì)發(fā)現(xiàn)第一列表頭名多了一個(gè)看不見的字符。我自己處理這類問題時(shí)習(xí)慣先快速打印前兩行確認(rèn)字段名干凈再繼續(xù)。7.4 過度使用print調(diào)試卻從不看“類型”新手排錯(cuò)第一反應(yīng)是到處加print這沒錯(cuò)但只print變量還不夠要print它的類型和長(zhǎng)度。比如讀進(jìn)來一個(gè)CSV單元格你以為它是數(shù)字print出來也是88但它是字符串。此時(shí)row[語(yǔ)文] 1直接報(bào)錯(cuò)。我的習(xí)慣是寫一句print(type(x), repr(x))這能同時(shí)看清類型和值里的隱藏字符。repr會(huì)把換行、制表符顯示成轉(zhuǎn)義序列很多疑難雜癥就是這么揪出來的。7.5 不敢拆函數(shù)一長(zhǎng)串代碼堆在main里還有一種非常常見的現(xiàn)象是所有邏輯全寫在一個(gè)腳本里從第一行到第一百行不加任何函數(shù)。在項(xiàng)目很小的時(shí)候無所謂但一旦邏輯復(fù)雜起來你定位問題會(huì)非常痛苦。我建議的拆分粒度是凡是能自圓其說的“步驟”比如讀取、清洗、去重、統(tǒng)計(jì)、畫圖都做成函數(shù)。哪怕每個(gè)函數(shù)開始時(shí)只有三五行代碼這個(gè)習(xí)慣也會(huì)讓你的程序結(jié)構(gòu)迅速清晰后面要改某個(gè)環(huán)節(jié)只需要改函數(shù)內(nèi)部不用動(dòng)其他地方。7.6 一個(gè)適合貼在屏幕邊的自查清單我在寫這類代碼時(shí)最后會(huì)過一遍清單每個(gè)函數(shù)是否只做一件事有沒有返回值而不是光print有沒有用列表推導(dǎo)式簡(jiǎn)化循環(huán)去重是用set還是fromkeys有沒有考慮順序文件讀寫有沒有指定編碼保存圖片時(shí)savefig是不是在show之前中文顯示設(shè)置了字體沒有默認(rèn)參數(shù)有沒有寫成可變類型這些檢查大概花兩分鐘能讓代碼質(zhì)量和運(yùn)行穩(wěn)定性提升一個(gè)檔次。學(xué)到這里你已經(jīng)不是“只能跟著教程跑demo”的新手了。函數(shù)、容器、文件、可視化這四樣?xùn)|西組合起來足夠支撐你去獨(dú)立完成一些小工具比如把一個(gè)雜亂日志文件整理成表格比如抓取網(wǎng)頁(yè)數(shù)據(jù)后自動(dòng)生成報(bào)表比如把自己手算的量化指標(biāo)腳本化。我的建議是別急著進(jìn)入下一章拿一個(gè)自己手邊真實(shí)的數(shù)據(jù)文件用今天的方法折騰一遍。編程能力的提升從來不是靠讀文章讀出來的是靠一次次“跑通一個(gè)屬于自己的小工具”累積出來的。