據(jù)去重：UNIQUE函數(shù)、數(shù)據(jù)透視表與Power Query實戰(zhàn)指南)
1. 項目概述告別重復(fù)數(shù)據(jù)的手動噩夢如果你經(jīng)常和Excel打交道尤其是處理那種橫跨多行多列、結(jié)構(gòu)不那么規(guī)整的數(shù)據(jù)比如從不同系統(tǒng)導(dǎo)出的客戶名單、多部門合并的銷售記錄或者是一份雜亂的物料清單那你一定對“去重”這件事又愛又恨。愛的是它能瞬間讓數(shù)據(jù)變得清爽恨的是當(dāng)重復(fù)項不是乖乖待在一列里而是像打地鼠一樣出現(xiàn)在不同行、不同列時常規(guī)的“刪除重復(fù)項”功能就立刻“罷工”了。手動核對那簡直是數(shù)據(jù)工作者的噩夢不僅效率低下還極易出錯。這個項目要解決的正是這個痛點如何對Excel中分布在多行多列的數(shù)據(jù)實現(xiàn)一步到位的智能去重。它不是一個簡單的功能按鈕而是一套結(jié)合了函數(shù)、透視表乃至Power Query的完整思路和解決方案。核心目標(biāo)是將散落在表格各處的重復(fù)信息可能是人名、產(chǎn)品編號、關(guān)鍵詞等自動識別、匯總并去重最終生成一個干凈、唯一的列表。這不僅能節(jié)省你數(shù)小時甚至數(shù)天的機械勞動更是提升數(shù)據(jù)分析準(zhǔn)確性和效率的關(guān)鍵一步。無論你是經(jīng)常需要整合報表的財務(wù)、分析用戶行為的數(shù)據(jù)運營還是管理庫存的供應(yīng)鏈人員掌握這套方法都能讓你在面對雜亂數(shù)據(jù)時從容不迫。2. 核心思路與方案選型因地制宜四招制敵面對多行多列去重沒有“一招鮮吃遍天”的萬能公式關(guān)鍵在于根據(jù)數(shù)據(jù)的具體情況和你的熟練程度選擇最合適的工具。這里我梳理了四種主流方案從易到難各有適用場景。2.1 方案一UNIQUE函數(shù)Office 365/Excel 2021及以上首選這是微軟為現(xiàn)代Excel用戶帶來的福音語法簡單功能強大。核心原理UNIQUE函數(shù)可以直接從一個數(shù)組或區(qū)域中提取唯一值。適用場景數(shù)據(jù)區(qū)域相對規(guī)整可以是單行、單列甚至是一個多行多列的矩形區(qū)域。你的Excel版本必須是Office 365或Excel 2021及以上。優(yōu)勢動態(tài)數(shù)組一鍵生成結(jié)果源數(shù)據(jù)變化結(jié)果自動更新。操作極其簡單。劣勢對Excel版本有要求。如果數(shù)據(jù)區(qū)域不是標(biāo)準(zhǔn)的矩形比如有空行、空列隔開需要先處理。2.2 方案二數(shù)據(jù)透視表兼容性最強的“老兵”數(shù)據(jù)透視表是Excel中歷久彌堅的神器去重只是其牛刀小試。核心原理將需要去重的多個字段列同時拖入“行”區(qū)域透視表會自動對行標(biāo)簽進(jìn)行組合并去重顯示。適用場景幾乎任何版本的Excel。特別適合需要對去重后的數(shù)據(jù)進(jìn)行計數(shù)、求和等后續(xù)匯總分析的場景。數(shù)據(jù)源可以是連續(xù)區(qū)域也可以是超級表。優(yōu)勢兼容性極佳功能強大去重后可直接進(jìn)行多維分析。劣勢結(jié)果默認(rèn)以透視表形式存在若需純列表需額外步驟復(fù)制粘貼為值。對于純粹只要列表的用戶操作步驟稍多。2.3 方案三Power Query處理復(fù)雜、不規(guī)則數(shù)據(jù)的“瑞士軍刀”如果數(shù)據(jù)源非?；靵y來自多個文件或工作表或者清洗過程復(fù)雜Power Query在【數(shù)據(jù)】選項卡中是終極解決方案。核心原理通過圖形化界面構(gòu)建數(shù)據(jù)清洗和轉(zhuǎn)換流程。將多列數(shù)據(jù)“逆透視”成一列然后在這一列上執(zhí)行刪除重復(fù)項操作。適用場景數(shù)據(jù)源不規(guī)則、清洗步驟多、需要定期重復(fù)此過程一鍵刷新。例如從多個結(jié)構(gòu)相同的日報表中合并并去重。優(yōu)勢處理能力最強可應(yīng)對最復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。過程可重復(fù)、自動化。劣勢學(xué)習(xí)曲線相對陡峭需要理解查詢編輯器的基本操作邏輯。2.4 方案四數(shù)組公式經(jīng)典函數(shù)組合兼容舊版在UNIQUE函數(shù)出現(xiàn)之前這是高手的標(biāo)配利用IF、INDEX、MATCH、COUNTIF等函數(shù)構(gòu)造復(fù)雜數(shù)組公式。核心原理通常先用一個公式如IFERROR(INDEX(源數(shù)據(jù), MATCH(0, COUNTIF(已提取區(qū)域, 源數(shù)據(jù)), 0)), “”)將多列數(shù)據(jù)“壓”成一列唯一列表。這需要以數(shù)組公式形式輸入CtrlShiftEnter。適用場景Excel版本較低如2019及以下且數(shù)據(jù)量不是特別大時?？梢宰鳛槔斫馊ブ剡壿嫷慕?jīng)典案例。優(yōu)勢兼容舊版無需借助額外工具。劣勢公式復(fù)雜難懂創(chuàng)建和維護(hù)成本高。大數(shù)據(jù)量下計算可能緩慢。實操心得對于絕大多數(shù)普通用戶我建議的選型路徑是首先檢查你的Excel是否有UNIQUE函數(shù)有則優(yōu)先使用這是最優(yōu)雅的方案。如果沒有立刻轉(zhuǎn)向數(shù)據(jù)透視表它幾乎能解決90%的問題。只有當(dāng)數(shù)據(jù)極其混亂或需要自動化流程時才值得投入時間學(xué)習(xí)Power Query。數(shù)組公式方案除非有特殊兼容性要求否則已不推薦作為首選。3. 分步詳解四大方案實戰(zhàn)演練下面我們用一個具體的案例來演示前三種最實用方案的操作。假設(shè)我們有一個簡單的表格A列是“部門”B列和C列是“員工姓名”數(shù)據(jù)存在跨列重復(fù)。部門員工1員工2銷售部張三李四技術(shù)部王五張三市場部李四趙六我們的目標(biāo)是提取出全公司所有不重復(fù)的員工名單。3.1 方案一實戰(zhàn)UNIQUE函數(shù)一步到位整理數(shù)據(jù)區(qū)域我們的數(shù)據(jù)分布在B2:C4這個3行2列的矩形區(qū)域。這是UNIQUE函數(shù)能直接處理的理想結(jié)構(gòu)。輸入公式在你想放置結(jié)果的單元格比如E2輸入公式UNIQUE(B2:C4)查看結(jié)果按下回車后Excel會自動在E2及下方相鄰單元格動態(tài)溢出一個唯一值列表張三李四王五趙六。整個過程一步完成。注意事項動態(tài)數(shù)組結(jié)果是一個整體不要試圖單獨刪除溢出區(qū)域中的某個單元格會報錯。要清除需刪除整個公式單元格E2。非連續(xù)區(qū)域如果數(shù)據(jù)像“B2:B4”和“D2:D4”這樣不連續(xù)需要先用CHOOSE或IF函數(shù)構(gòu)造一個虛擬數(shù)組例如UNIQUE(CHOOSE({1,2}, B2:B4, D2:D4))這稍微進(jìn)階一些。包含空值如果區(qū)域內(nèi)有空白單元格UNIQUE默認(rèn)會保留一個空值在結(jié)果中。如果想去掉可以嵌套FILTER函數(shù)UNIQUE(FILTER(B2:C4, B2:C4””))。3.2 方案二實戰(zhàn)數(shù)據(jù)透視表巧妙匯總創(chuàng)建透視表選中數(shù)據(jù)區(qū)域A1:C4點擊【插入】-【數(shù)據(jù)透視表】。字段布局在右側(cè)的“數(shù)據(jù)透視表字段”窗格中將“員工1”和“員工2”字段都拖拽到“行”區(qū)域。即時去重此時透視表的主體部分就會顯示所有不重復(fù)的員工姓名包括“張三”、“李四”等。透視表自動將兩列數(shù)據(jù)合并到行標(biāo)簽并去重。獲取純列表選中透視表中生成的所有姓名單元格。復(fù)制CtrlC然后右鍵點擊一個空白單元格選擇“粘貼為值”。這樣就得到了一個靜態(tài)的唯一值列表。實操心得如果原始數(shù)據(jù)是“超級表”CtrlT創(chuàng)建那么當(dāng)新增數(shù)據(jù)時只需刷新透視表即可更新去重結(jié)果非常方便。在這個例子中我們故意把“部門”字段留在了外面。如果你需要知道每個員工屬于哪個部門在重復(fù)的情況下可能對應(yīng)多個部門透視表也能清晰展示這是它比UNIQUE函數(shù)更強大的地方——在去重的同時關(guān)聯(lián)上下文信息。3.3 方案三實戰(zhàn)Power Query規(guī)范化處理假設(shè)數(shù)據(jù)更復(fù)雜一些我們每個月都會收到類似結(jié)構(gòu)的三張表需要合并并去重。導(dǎo)入數(shù)據(jù)點擊【數(shù)據(jù)】-【獲取數(shù)據(jù)】-【從工作簿】選擇你的Excel文件導(dǎo)航到具體工作表并導(dǎo)入?；蛘咧苯舆x中當(dāng)前表格區(qū)域點擊【數(shù)據(jù)】-【從表格/區(qū)域】這會創(chuàng)建一個Power Query查詢。逆透視其他列在Power Query編輯器中選中“部門”列然后右鍵點擊“員工1”和“員工2”的列標(biāo)題選擇【逆透視其他列】。這個操作會將“員工1”和“員工2”兩列合并成一列新列默認(rèn)名為“屬性”可忽略和“值”。“值”這一列現(xiàn)在就包含了所有員工姓名。刪除重復(fù)項選中“值”這一列點擊【主頁】選項卡中的【刪除重復(fù)項】按鈕。清理與上載可以刪除不需要的“屬性”列并將“值”列重命名為“員工姓名”。最后點擊【關(guān)閉并上載】結(jié)果將作為一個新表加載回Excel。核心技巧逆透視是處理多列數(shù)據(jù)去重的關(guān)鍵步驟它將“寬表”變“長表”是數(shù)據(jù)標(biāo)準(zhǔn)化處理的經(jīng)典操作。所有步驟都被記錄右側(cè)“應(yīng)用的步驟”窗格記錄了每一步操作。下次當(dāng)源數(shù)據(jù)更新比如增加了新月份的數(shù)據(jù)你只需要在結(jié)果表上右鍵點擊【刷新】所有清洗和去重流程會自動重跑實現(xiàn)完全自動化。4. 進(jìn)階場景與疑難排解掌握了基本方法我們來看看一些更復(fù)雜但常見的情況。4.1 場景基于多列條件組合去重有時重復(fù)的判斷標(biāo)準(zhǔn)不是單一列。例如一個訂單列表只有“訂單ID”和“產(chǎn)品ID”兩者都相同才算是重復(fù)訂單需要刪除。使用數(shù)據(jù)透視表這是最簡單的方法。將“訂單ID”和“產(chǎn)品ID”都拖入“行”區(qū)域生成的就是這兩者的唯一組合列表。使用Power Query在刪除重復(fù)項步驟前按住Ctrl鍵同時選中“訂單ID”和“產(chǎn)品ID”兩列然后再點擊“刪除重復(fù)項”Power Query會基于這兩列的組合進(jìn)行去重。使用UNIQUE函數(shù)UNIQUE函數(shù)本身就可以處理多列區(qū)域它返回的是行的唯一組合。例如數(shù)據(jù)在A2:B100公式UNIQUE(A2:B100)返回的就是“訂單ID”和“產(chǎn)品ID”都不重復(fù)的所有行。4.2 場景區(qū)分大小寫或精確匹配的去重Excel默認(rèn)的去重是不區(qū)分大小寫的“Apple”和“apple”會被視為相同。使用公式組合這是一個復(fù)雜數(shù)組公式的用武之地可以結(jié)合EXACT函數(shù)區(qū)分大小寫的比較來構(gòu)建。但非常復(fù)雜不推薦普通用戶深究。使用Power Query在Power Query中刪除重復(fù)項默認(rèn)也是不區(qū)分大小寫的。如果需要區(qū)分需要在刪除前先使用【區(qū)分大小寫】的排序功能進(jìn)行預(yù)處理但這并非標(biāo)準(zhǔn)流程通常需要編寫自定義的M函數(shù)門檻較高。最佳實踐建議在絕大多數(shù)業(yè)務(wù)場景中不區(qū)分大小寫的去重是符合預(yù)期的。如果真有此需求更建議在數(shù)據(jù)錄入源頭或?qū)隤ower Query時就使用Text.Upper或Text.Lower函數(shù)將所有文本統(tǒng)一為大寫或小寫將其標(biāo)準(zhǔn)化然后再進(jìn)行去重操作。4.3 常見問題排查清單問題現(xiàn)象可能原因解決方案UNIQUE函數(shù)返回#SPILL!錯誤公式下方或右側(cè)的“溢出區(qū)域”內(nèi)有非空單元格阻擋。清除公式預(yù)期溢出區(qū)域內(nèi)的所有單元格內(nèi)容。數(shù)據(jù)透視表去重后仍有“空白”項源數(shù)據(jù)中存在真正的空白單元格或由公式生成的空字符串(“”)。在源數(shù)據(jù)中檢查并清理。對于公式空值可在透視表字段設(shè)置中取消選擇“空白”的顯示。Power Query去重后數(shù)據(jù)變少/變多1. 選錯了作為判斷依據(jù)的列。2. 數(shù)據(jù)前/后存在不可見空格。1. 檢查“應(yīng)用的步驟”中“刪除的重復(fù)項”步驟確認(rèn)所選列正確。2. 在刪除重復(fù)項前先對文本列使用【轉(zhuǎn)換】-【修整】功能清除空格。去重后如何快速知道刪除了多少重復(fù)項需要對比去重前后的計數(shù)。使用COUNTA函數(shù)分別統(tǒng)計源數(shù)據(jù)區(qū)域和去重結(jié)果區(qū)域的非空單元格數(shù)量相減即可。在Power Query中每一步操作后編輯器底部狀態(tài)欄都會顯示總行數(shù)。對合并單元格區(qū)域如何去重Excel大部分函數(shù)和工具無法直接處理合并單元格。必須首先取消合并單元格并填充空白。選中合并區(qū)域點擊【合并后居中】取消合并然后按F5定位“空值”在編輯欄輸入↑上方單元格再按CtrlEnter批量填充。5. 性能優(yōu)化與數(shù)據(jù)量較大時的處理建議當(dāng)處理數(shù)萬行甚至更多數(shù)據(jù)時方法的選擇直接影響效率。避免在整列引用中使用易失性函數(shù)像OFFSET、INDIRECT等函數(shù)會在每次表格計算時重新計算如果嵌套在復(fù)雜的數(shù)組公式中用于去重會嚴(yán)重拖慢速度。盡量使用明確的單元格范圍引用如A2:A10000。數(shù)據(jù)透視表的優(yōu)勢數(shù)據(jù)透視表對大數(shù)據(jù)量的匯總和去重性能優(yōu)化得很好尤其當(dāng)數(shù)據(jù)源定義為“超級表”或“命名范圍”時刷新效率很高。Power Query是處理海量數(shù)據(jù)的王者Power Query的查詢引擎是為數(shù)據(jù)轉(zhuǎn)換而優(yōu)化的尤其適合處理超過百萬行的數(shù)據(jù)前提是最終結(jié)果加載到Excel的數(shù)據(jù)模型而非工作表。它的操作是“記錄步驟”而非實時計算數(shù)組刷新時效率遠(yuǎn)勝于復(fù)雜的數(shù)組公式。UNIQUE函數(shù)的性能作為現(xiàn)代動態(tài)數(shù)組函數(shù)UNIQUE的性能通常不錯但如果作用于非常大的非連續(xù)區(qū)域或嵌套在其他復(fù)雜函數(shù)中也可能成為計算瓶頸。對于超大文本數(shù)據(jù)集可以先用Power Query預(yù)處理。終極建議對于日常的、數(shù)據(jù)量在幾萬行以內(nèi)的去重任務(wù)數(shù)據(jù)透視表是平衡易用性、兼容性和性能的最佳選擇。它沒有版本限制操作直觀且速度足夠快。當(dāng)你需要重復(fù)此過程或數(shù)據(jù)源異常復(fù)雜時再考慮學(xué)習(xí)Power Query這是一項長期投資回報極高。我個人在處理不定期的多列去重需求時數(shù)據(jù)透視表依然是我的第一選擇因為它幾乎不需要思考鼠標(biāo)拖拽幾下就能看到結(jié)果并且能立刻基于這個唯一列表做下一步的分析。而UNIQUE函數(shù)則讓簡單的去重變得像喝水一樣自然。至于Power Query我已經(jīng)將它用于所有需要定期清洗和整合數(shù)據(jù)的自動化報告流程中設(shè)定好后每個月點一下“刷新”就夠了。工具沒有絕對的好壞關(guān)鍵在于你是否能根據(jù)手頭的任務(wù)選擇最趁手的那一把。 Excel多行多列數(shù)據(jù)去重：UNIQUE函數(shù)、數(shù)據(jù)透視表與Power Query實戰(zhàn)指南
1. 項目概述告別重復(fù)數(shù)據(jù)的手動噩夢如果你經(jīng)常和Excel打交道尤其是處理那種橫跨多行多列、結(jié)構(gòu)不那么規(guī)整的數(shù)據(jù)比如從不同系統(tǒng)導(dǎo)出的客戶名單、多部門合并的銷售記錄或者是一份雜亂的物料清單那你一定對“去重”這件事又愛又恨。愛的是它能瞬間讓數(shù)據(jù)變得清爽恨的是當(dāng)重復(fù)項不是乖乖待在一列里而是像打地鼠一樣出現(xiàn)在不同行、不同列時常規(guī)的“刪除重復(fù)項”功能就立刻“罷工”了。手動核對那簡直是數(shù)據(jù)工作者的噩夢不僅效率低下還極易出錯。這個項目要解決的正是這個痛點如何對Excel中分布在多行多列的數(shù)據(jù)實現(xiàn)一步到位的智能去重。它不是一個簡單的功能按鈕而是一套結(jié)合了函數(shù)、透視表乃至Power Query的完整思路和解決方案。核心目標(biāo)是將散落在表格各處的重復(fù)信息可能是人名、產(chǎn)品編號、關(guān)鍵詞等自動識別、匯總并去重最終生成一個干凈、唯一的列表。這不僅能節(jié)省你數(shù)小時甚至數(shù)天的機械勞動更是提升數(shù)據(jù)分析準(zhǔn)確性和效率的關(guān)鍵一步。無論你是經(jīng)常需要整合報表的財務(wù)、分析用戶行為的數(shù)據(jù)運營還是管理庫存的供應(yīng)鏈人員掌握這套方法都能讓你在面對雜亂數(shù)據(jù)時從容不迫。2. 核心思路與方案選型因地制宜四招制敵面對多行多列去重沒有“一招鮮吃遍天”的萬能公式關(guān)鍵在于根據(jù)數(shù)據(jù)的具體情況和你的熟練程度選擇最合適的工具。這里我梳理了四種主流方案從易到難各有適用場景。2.1 方案一UNIQUE函數(shù)Office 365/Excel 2021及以上首選這是微軟為現(xiàn)代Excel用戶帶來的福音語法簡單功能強大。核心原理UNIQUE函數(shù)可以直接從一個數(shù)組或區(qū)域中提取唯一值。適用場景數(shù)據(jù)區(qū)域相對規(guī)整可以是單行、單列甚至是一個多行多列的矩形區(qū)域。你的Excel版本必須是Office 365或Excel 2021及以上。優(yōu)勢動態(tài)數(shù)組一鍵生成結(jié)果源數(shù)據(jù)變化結(jié)果自動更新。操作極其簡單。劣勢對Excel版本有要求。如果數(shù)據(jù)區(qū)域不是標(biāo)準(zhǔn)的矩形比如有空行、空列隔開需要先處理。2.2 方案二數(shù)據(jù)透視表兼容性最強的“老兵”數(shù)據(jù)透視表是Excel中歷久彌堅的神器去重只是其牛刀小試。核心原理將需要去重的多個字段列同時拖入“行”區(qū)域透視表會自動對行標(biāo)簽進(jìn)行組合并去重顯示。適用場景幾乎任何版本的Excel。特別適合需要對去重后的數(shù)據(jù)進(jìn)行計數(shù)、求和等后續(xù)匯總分析的場景。數(shù)據(jù)源可以是連續(xù)區(qū)域也可以是超級表。優(yōu)勢兼容性極佳功能強大去重后可直接進(jìn)行多維分析。劣勢結(jié)果默認(rèn)以透視表形式存在若需純列表需額外步驟復(fù)制粘貼為值。對于純粹只要列表的用戶操作步驟稍多。2.3 方案三Power Query處理復(fù)雜、不規(guī)則數(shù)據(jù)的“瑞士軍刀”如果數(shù)據(jù)源非?；靵y來自多個文件或工作表或者清洗過程復(fù)雜Power Query在【數(shù)據(jù)】選項卡中是終極解決方案。核心原理通過圖形化界面構(gòu)建數(shù)據(jù)清洗和轉(zhuǎn)換流程。將多列數(shù)據(jù)“逆透視”成一列然后在這一列上執(zhí)行刪除重復(fù)項操作。適用場景數(shù)據(jù)源不規(guī)則、清洗步驟多、需要定期重復(fù)此過程一鍵刷新。例如從多個結(jié)構(gòu)相同的日報表中合并并去重。優(yōu)勢處理能力最強可應(yīng)對最復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。過程可重復(fù)、自動化。劣勢學(xué)習(xí)曲線相對陡峭需要理解查詢編輯器的基本操作邏輯。2.4 方案四數(shù)組公式經(jīng)典函數(shù)組合兼容舊版在UNIQUE函數(shù)出現(xiàn)之前這是高手的標(biāo)配利用IF、INDEX、MATCH、COUNTIF等函數(shù)構(gòu)造復(fù)雜數(shù)組公式。核心原理通常先用一個公式如IFERROR(INDEX(源數(shù)據(jù), MATCH(0, COUNTIF(已提取區(qū)域, 源數(shù)據(jù)), 0)), “”)將多列數(shù)據(jù)“壓”成一列唯一列表。這需要以數(shù)組公式形式輸入CtrlShiftEnter。適用場景Excel版本較低如2019及以下且數(shù)據(jù)量不是特別大時?？梢宰鳛槔斫馊ブ剡壿嫷慕?jīng)典案例。優(yōu)勢兼容舊版無需借助額外工具。劣勢公式復(fù)雜難懂創(chuàng)建和維護(hù)成本高。大數(shù)據(jù)量下計算可能緩慢。實操心得對于絕大多數(shù)普通用戶我建議的選型路徑是首先檢查你的Excel是否有UNIQUE函數(shù)有則優(yōu)先使用這是最優(yōu)雅的方案。如果沒有立刻轉(zhuǎn)向數(shù)據(jù)透視表它幾乎能解決90%的問題。只有當(dāng)數(shù)據(jù)極其混亂或需要自動化流程時才值得投入時間學(xué)習(xí)Power Query。數(shù)組公式方案除非有特殊兼容性要求否則已不推薦作為首選。3. 分步詳解四大方案實戰(zhàn)演練下面我們用一個具體的案例來演示前三種最實用方案的操作。假設(shè)我們有一個簡單的表格A列是“部門”B列和C列是“員工姓名”數(shù)據(jù)存在跨列重復(fù)。部門員工1員工2銷售部張三李四技術(shù)部王五張三市場部李四趙六我們的目標(biāo)是提取出全公司所有不重復(fù)的員工名單。3.1 方案一實戰(zhàn)UNIQUE函數(shù)一步到位整理數(shù)據(jù)區(qū)域我們的數(shù)據(jù)分布在B2:C4這個3行2列的矩形區(qū)域。這是UNIQUE函數(shù)能直接處理的理想結(jié)構(gòu)。輸入公式在你想放置結(jié)果的單元格比如E2輸入公式UNIQUE(B2:C4)查看結(jié)果按下回車后Excel會自動在E2及下方相鄰單元格動態(tài)溢出一個唯一值列表張三李四王五趙六。整個過程一步完成。注意事項動態(tài)數(shù)組結(jié)果是一個整體不要試圖單獨刪除溢出區(qū)域中的某個單元格會報錯。要清除需刪除整個公式單元格E2。非連續(xù)區(qū)域如果數(shù)據(jù)像“B2:B4”和“D2:D4”這樣不連續(xù)需要先用CHOOSE或IF函數(shù)構(gòu)造一個虛擬數(shù)組例如UNIQUE(CHOOSE({1,2}, B2:B4, D2:D4))這稍微進(jìn)階一些。包含空值如果區(qū)域內(nèi)有空白單元格UNIQUE默認(rèn)會保留一個空值在結(jié)果中。如果想去掉可以嵌套FILTER函數(shù)UNIQUE(FILTER(B2:C4, B2:C4””))。3.2 方案二實戰(zhàn)數(shù)據(jù)透視表巧妙匯總創(chuàng)建透視表選中數(shù)據(jù)區(qū)域A1:C4點擊【插入】-【數(shù)據(jù)透視表】。字段布局在右側(cè)的“數(shù)據(jù)透視表字段”窗格中將“員工1”和“員工2”字段都拖拽到“行”區(qū)域。即時去重此時透視表的主體部分就會顯示所有不重復(fù)的員工姓名包括“張三”、“李四”等。透視表自動將兩列數(shù)據(jù)合并到行標(biāo)簽并去重。獲取純列表選中透視表中生成的所有姓名單元格。復(fù)制CtrlC然后右鍵點擊一個空白單元格選擇“粘貼為值”。這樣就得到了一個靜態(tài)的唯一值列表。實操心得如果原始數(shù)據(jù)是“超級表”CtrlT創(chuàng)建那么當(dāng)新增數(shù)據(jù)時只需刷新透視表即可更新去重結(jié)果非常方便。在這個例子中我們故意把“部門”字段留在了外面。如果你需要知道每個員工屬于哪個部門在重復(fù)的情況下可能對應(yīng)多個部門透視表也能清晰展示這是它比UNIQUE函數(shù)更強大的地方——在去重的同時關(guān)聯(lián)上下文信息。3.3 方案三實戰(zhàn)Power Query規(guī)范化處理假設(shè)數(shù)據(jù)更復(fù)雜一些我們每個月都會收到類似結(jié)構(gòu)的三張表需要合并并去重。導(dǎo)入數(shù)據(jù)點擊【數(shù)據(jù)】-【獲取數(shù)據(jù)】-【從工作簿】選擇你的Excel文件導(dǎo)航到具體工作表并導(dǎo)入?；蛘咧苯舆x中當(dāng)前表格區(qū)域點擊【數(shù)據(jù)】-【從表格/區(qū)域】這會創(chuàng)建一個Power Query查詢。逆透視其他列在Power Query編輯器中選中“部門”列然后右鍵點擊“員工1”和“員工2”的列標(biāo)題選擇【逆透視其他列】。這個操作會將“員工1”和“員工2”兩列合并成一列新列默認(rèn)名為“屬性”可忽略和“值”。“值”這一列現(xiàn)在就包含了所有員工姓名。刪除重復(fù)項選中“值”這一列點擊【主頁】選項卡中的【刪除重復(fù)項】按鈕。清理與上載可以刪除不需要的“屬性”列并將“值”列重命名為“員工姓名”。最后點擊【關(guān)閉并上載】結(jié)果將作為一個新表加載回Excel。核心技巧逆透視是處理多列數(shù)據(jù)去重的關(guān)鍵步驟它將“寬表”變“長表”是數(shù)據(jù)標(biāo)準(zhǔn)化處理的經(jīng)典操作。所有步驟都被記錄右側(cè)“應(yīng)用的步驟”窗格記錄了每一步操作。下次當(dāng)源數(shù)據(jù)更新比如增加了新月份的數(shù)據(jù)你只需要在結(jié)果表上右鍵點擊【刷新】所有清洗和去重流程會自動重跑實現(xiàn)完全自動化。4. 進(jìn)階場景與疑難排解掌握了基本方法我們來看看一些更復(fù)雜但常見的情況。4.1 場景基于多列條件組合去重有時重復(fù)的判斷標(biāo)準(zhǔn)不是單一列。例如一個訂單列表只有“訂單ID”和“產(chǎn)品ID”兩者都相同才算是重復(fù)訂單需要刪除。使用數(shù)據(jù)透視表這是最簡單的方法。將“訂單ID”和“產(chǎn)品ID”都拖入“行”區(qū)域生成的就是這兩者的唯一組合列表。使用Power Query在刪除重復(fù)項步驟前按住Ctrl鍵同時選中“訂單ID”和“產(chǎn)品ID”兩列然后再點擊“刪除重復(fù)項”Power Query會基于這兩列的組合進(jìn)行去重。使用UNIQUE函數(shù)UNIQUE函數(shù)本身就可以處理多列區(qū)域它返回的是行的唯一組合。例如數(shù)據(jù)在A2:B100公式UNIQUE(A2:B100)返回的就是“訂單ID”和“產(chǎn)品ID”都不重復(fù)的所有行。4.2 場景區(qū)分大小寫或精確匹配的去重Excel默認(rèn)的去重是不區(qū)分大小寫的“Apple”和“apple”會被視為相同。使用公式組合這是一個復(fù)雜數(shù)組公式的用武之地可以結(jié)合EXACT函數(shù)區(qū)分大小寫的比較來構(gòu)建。但非常復(fù)雜不推薦普通用戶深究。使用Power Query在Power Query中刪除重復(fù)項默認(rèn)也是不區(qū)分大小寫的。如果需要區(qū)分需要在刪除前先使用【區(qū)分大小寫】的排序功能進(jìn)行預(yù)處理但這并非標(biāo)準(zhǔn)流程通常需要編寫自定義的M函數(shù)門檻較高。最佳實踐建議在絕大多數(shù)業(yè)務(wù)場景中不區(qū)分大小寫的去重是符合預(yù)期的。如果真有此需求更建議在數(shù)據(jù)錄入源頭或?qū)隤ower Query時就使用Text.Upper或Text.Lower函數(shù)將所有文本統(tǒng)一為大寫或小寫將其標(biāo)準(zhǔn)化然后再進(jìn)行去重操作。4.3 常見問題排查清單問題現(xiàn)象可能原因解決方案UNIQUE函數(shù)返回#SPILL!錯誤公式下方或右側(cè)的“溢出區(qū)域”內(nèi)有非空單元格阻擋。清除公式預(yù)期溢出區(qū)域內(nèi)的所有單元格內(nèi)容。數(shù)據(jù)透視表去重后仍有“空白”項源數(shù)據(jù)中存在真正的空白單元格或由公式生成的空字符串(“”)。在源數(shù)據(jù)中檢查并清理。對于公式空值可在透視表字段設(shè)置中取消選擇“空白”的顯示。Power Query去重后數(shù)據(jù)變少/變多1. 選錯了作為判斷依據(jù)的列。2. 數(shù)據(jù)前/后存在不可見空格。1. 檢查“應(yīng)用的步驟”中“刪除的重復(fù)項”步驟確認(rèn)所選列正確。2. 在刪除重復(fù)項前先對文本列使用【轉(zhuǎn)換】-【修整】功能清除空格。去重后如何快速知道刪除了多少重復(fù)項需要對比去重前后的計數(shù)。使用COUNTA函數(shù)分別統(tǒng)計源數(shù)據(jù)區(qū)域和去重結(jié)果區(qū)域的非空單元格數(shù)量相減即可。在Power Query中每一步操作后編輯器底部狀態(tài)欄都會顯示總行數(shù)。對合并單元格區(qū)域如何去重Excel大部分函數(shù)和工具無法直接處理合并單元格。必須首先取消合并單元格并填充空白。選中合并區(qū)域點擊【合并后居中】取消合并然后按F5定位“空值”在編輯欄輸入↑上方單元格再按CtrlEnter批量填充。5. 性能優(yōu)化與數(shù)據(jù)量較大時的處理建議當(dāng)處理數(shù)萬行甚至更多數(shù)據(jù)時方法的選擇直接影響效率。避免在整列引用中使用易失性函數(shù)像OFFSET、INDIRECT等函數(shù)會在每次表格計算時重新計算如果嵌套在復(fù)雜的數(shù)組公式中用于去重會嚴(yán)重拖慢速度。盡量使用明確的單元格范圍引用如A2:A10000。數(shù)據(jù)透視表的優(yōu)勢數(shù)據(jù)透視表對大數(shù)據(jù)量的匯總和去重性能優(yōu)化得很好尤其當(dāng)數(shù)據(jù)源定義為“超級表”或“命名范圍”時刷新效率很高。Power Query是處理海量數(shù)據(jù)的王者Power Query的查詢引擎是為數(shù)據(jù)轉(zhuǎn)換而優(yōu)化的尤其適合處理超過百萬行的數(shù)據(jù)前提是最終結(jié)果加載到Excel的數(shù)據(jù)模型而非工作表。它的操作是“記錄步驟”而非實時計算數(shù)組刷新時效率遠(yuǎn)勝于復(fù)雜的數(shù)組公式。UNIQUE函數(shù)的性能作為現(xiàn)代動態(tài)數(shù)組函數(shù)UNIQUE的性能通常不錯但如果作用于非常大的非連續(xù)區(qū)域或嵌套在其他復(fù)雜函數(shù)中也可能成為計算瓶頸。對于超大文本數(shù)據(jù)集可以先用Power Query預(yù)處理。終極建議對于日常的、數(shù)據(jù)量在幾萬行以內(nèi)的去重任務(wù)數(shù)據(jù)透視表是平衡易用性、兼容性和性能的最佳選擇。它沒有版本限制操作直觀且速度足夠快。當(dāng)你需要重復(fù)此過程或數(shù)據(jù)源異常復(fù)雜時再考慮學(xué)習(xí)Power Query這是一項長期投資回報極高。我個人在處理不定期的多列去重需求時數(shù)據(jù)透視表依然是我的第一選擇因為它幾乎不需要思考鼠標(biāo)拖拽幾下就能看到結(jié)果并且能立刻基于這個唯一列表做下一步的分析。而UNIQUE函數(shù)則讓簡單的去重變得像喝水一樣自然。至于Power Query我已經(jīng)將它用于所有需要定期清洗和整合數(shù)據(jù)的自動化報告流程中設(shè)定好后每個月點一下“刷新”就夠了。工具沒有絕對的好壞關(guān)鍵在于你是否能根據(jù)手頭的任務(wù)選擇最趁手的那一把。