免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

WSL2搭建AI開發(fā)環(huán)境:GPU直通與CUDA實戰(zhàn)全指南

WSL2搭建AI開發(fā)環(huán)境:GPU直通與CUDA實戰(zhàn)全指南 1. 為什么我最終把 AI 開發(fā)環(huán)境切到了 WSL2先說明一下背景。我主力機器是 Windows 11 RTX 4090平時既要寫論文跑 PyTorch又要用 Office、微信、剪映之類的日常軟件。過去幾年我在雙系統(tǒng)和虛擬機之間反復(fù)橫跳直到 WSL2 的 GPU 直通方案成熟之后我才算真正穩(wěn)定下來。先說結(jié)論WSL2 不是又一個Windows 下的 Linux 模擬器它是微軟用 Hyper-V 虛擬化技術(shù)跑起來的一個真實 Linux 內(nèi)核。這就意味著你在 WSL2 里跑的 Ubuntu 不是仿真的而是貨真價實的 Linux。內(nèi)核級這個詞說的就是這件事。加上微軟和英偉達(dá)合作推的 GPU 直通方案WSL2 里的 Linux 可以直接調(diào)用宿主機顯卡做 CUDA 計算性能損耗非常低。對搞 AI 的人來說這基本就是既要 Windows 的生態(tài)又要 Linux 的開發(fā)環(huán)境的最優(yōu)解。這篇文章我打算把自己從零搭建的完整過程、每一步的取舍原因、踩過的坑全部寫出來。不管是剛接觸 AI 開發(fā)的新手還是準(zhǔn)備把環(huán)境遷移到 WSL2 的熟手按著下面的內(nèi)容走一遍基本都能落地。我不寫官方文檔翻譯我只寫實際怎么操作最穩(wěn)。1.1 內(nèi)核級 Linux到底意味著什么很多人第一次接觸 WSL2 會有一個困惑WSL1 不是也能跑 Linux 命令嗎為什么非要用 WSL2區(qū)別其實非常本質(zhì)。WSL1 的架構(gòu)是系統(tǒng)調(diào)用翻譯層——Windows 內(nèi)核把 Linux 程序的系統(tǒng)調(diào)用一個個接住再翻譯成 Windows 的系統(tǒng)調(diào)用。這種方案啟動快、文件 IO 快但兼容性有天花板很多 Linux 內(nèi)核特性沒法支持比如 Docker、FUSE、iptables、eBPF 這種依賴內(nèi)核能力的東西在 WSL1 里基本是殘廢狀態(tài)。WSL2 則是直接在上面跑一個真正的 Linux 內(nèi)核通過輕量級虛擬機承載。你用uname -a看到的輸出是一個真實的、由微軟維護(hù)的 Linux 內(nèi)核版本。Docker 可以直接跑內(nèi)核模塊可以加載系統(tǒng)調(diào)用完整兼容。這就是內(nèi)核級 Linux的含義——它不是翻譯它是原生的。代價是什么代價是 WSL2 的 VM 本質(zhì)上是運行在 Hyper-V 虛擬化層上的所以文件 IO 跨系統(tǒng)訪問會變慢后面我會講怎么規(guī)避。另外WSL2 默認(rèn)會吃一部分宿主機內(nèi)存需要合理配置。1.2 GPU 直通的本質(zhì)和顯卡直通不是一回事這里必須先澄清一個高頻誤區(qū)。網(wǎng)上搜WSL2 GPU 直通會搜到很多混淆信息。大家熟悉的顯卡直通指的是把物理顯卡直接分配給虛擬機宿主機不再使用這塊顯卡——典型場景是 PVE/Unraid 里給 Windows 虛擬機直通顯卡打游戲直通之后宿主機就看不見顯卡了。WSL2 的 GPU 方案不是這種獨占式直通。WSL2 使用的是微軟的 GPU-PVGPU 半虛擬化架構(gòu)宿主機保留完整的顯卡驅(qū)動棧Linux 側(cè)通過/usr/lib/wsl/lib里的libcuda.so庫把 CUDA 調(diào)用轉(zhuǎn)發(fā)到 Windows 的 GPU 驅(qū)動上。也就是說Windows 和 WSL2 Linux 是共享同一塊 GPU 的。你可以同時在 Windows 上開著剪映在 WSL2 里跑 PyTorch 訓(xùn)練兩者互不干擾。這種方案對 AI 開發(fā)反而是好事你不用為了跑訓(xùn)練就放棄 Windows 的全部圖形能力。從性能來說NVIDIA 官方給出的數(shù)據(jù)是 WSL2 里 CUDA 性能接近原生 Linux 的 97%-100%計算密集型任務(wù)。這個數(shù)字我實測下來不是吹的跑 ResNet 訓(xùn)練差距基本在誤差范圍內(nèi)。所以性能損耗這項完全不用擔(dān)心。1.3 WSL2、VM、雙系統(tǒng)、Docker Desktop 四選一該怎么選既然要部署 AI 開發(fā)環(huán)境我先把我對四種主流方案的理解擺出來這樣后面你再遇到為什么不用 XXX的疑問心里就有底了。方案CPU/內(nèi)存性能GPU 支持開發(fā)體驗適用場景WSL2損耗低5%極好共享模式CUDA 直用與 Windows 無縫切換AI 開發(fā)、Docker、日常辦公兼顧傳統(tǒng) VMVirtualBox/VMware損耗較低一般VGA 模擬為主CUDA 難交互割裂測試、兼容性驗證雙系統(tǒng)100%100%切換要重啟長時間訓(xùn)練、追求極致環(huán)境Docker Desktop WSL2 后端同 WSL2同 WSL2容器化環(huán)境隔離好項目分發(fā)、復(fù)現(xiàn)實驗我的建議很明確如果你的機器是 NVIDIA 顯卡且你需要在 Windows 上處理日常事務(wù)WSL2 就是目前綜合成本最低的選擇。雙系統(tǒng)的優(yōu)勢在于純 Linux 環(huán)境的絕對兼容性但重啟切換的痛感太強了我現(xiàn)在只有在 WSL2 里搞不定的場景比如某些 Nsight 工具鏈的問題才會重啟進(jìn) Linux 單系統(tǒng)。2. 部署前的環(huán)境準(zhǔn)備版本、驅(qū)動、鏡像三件事開始裝之前先把基礎(chǔ)條件過一遍。WSL2 對 Windows 版本有硬性要求顯卡驅(qū)動更是整個 GPU 直通能否成功的關(guān)鍵環(huán)節(jié)。2.1 確認(rèn) Windows 版本與 WSL2 啟用WSL2 需要 64 位 Windows 10 版本 2004 及以上Build 19041或者 Windows 11強烈推薦WSL 的新特性基本都在 Win11 上優(yōu)先更新。我已經(jīng)是 Win11 最新版所以直接走下面的流程。用管理員身份打開 PowerShell# 啟用 WSL 功能會自動啟用 VirtualMachinePlatform 和 Hyper-V 相關(guān)組件 wsl --install # 查看當(dāng)前 WSL 版本 wsl --statuswsl --install這個命令在較新的 Windows 版本里是一條龍服務(wù)安裝 WSL2 內(nèi)核、啟用虛擬化平臺、默認(rèn)安裝 Ubuntu。裝完重啟一次系統(tǒng)就具備 WSL2 環(huán)境了。如果執(zhí)行wsl --status提示的是 WSL1不要慌顯式指定一下wsl --set-default-version 2提示如果是 Windows 10 且wsl --install不可用就手動開啟適用于 Linux 的 Windows 子系統(tǒng)和虛擬機平臺兩個可選功能重啟后再安裝 WSL2 內(nèi)核更新包微軟官網(wǎng)搜索wsl_update_x64.msi。2.2 顯卡驅(qū)動真相是只需裝 Windows 驅(qū)動這是 WSL2 GPU 方案最容易踩坑的地方。很多人習(xí)慣性地跑到 Linux 里執(zhí)行apt install nvidia-driver-xxx結(jié)果要么裝不上要么裝完重啟之后nvidia-smi反而掛了。核心原則在 WSL2 里不需要、也不應(yīng)該單獨安裝 NVIDIA 驅(qū)動。WSL2 的 GPU 半虛擬化架構(gòu)決定了Linux 用戶態(tài)通過/usr/lib/wsl/lib/libcuda.so調(diào)用 CUDA而真正的驅(qū)動由 Windows 側(cè)接管。所以你只需要在 Windows 宿主機上安裝一個支持 WSL2 的 NVIDIA 驅(qū)動——從 470.76 版本開始NVIDIA 已經(jīng)把所有新驅(qū)動默認(rèn)加上 WSL 支持了下載驅(qū)動時只要認(rèn)準(zhǔn)官網(wǎng)的 Game Ready 或 Studio Driver2021 年之后的版本都行裝好即可。裝完驅(qū)動的判斷標(biāo)準(zhǔn)很直接在 Windows PowerShell 里跑nvidia-smi能顯示顯卡信息。如果 Windows 側(cè)沒問題WSL2 側(cè)基本就成功了一半。那 Linux 側(cè)需要裝什么只需要裝 CUDA Toolkit不需要裝驅(qū)動。CUDA Toolkit 里包含nvcc編譯器和運行時庫這才是真正干活的東西。2.3 鏡像選擇為什么不推薦默認(rèn) Ubuntu 之外的折騰WSL2 官方支持的發(fā)行版很多Ubuntu、Debian、Kali、openSUSE、Alpine 都有。但我的建議是第一臺機器老老實實裝 Ubuntu 22.04 LTS。原因不復(fù)雜。AI 開發(fā)的大多數(shù)第三方庫PyTorch、TensorRT、DeepStream都會優(yōu)先適配 Ubuntu LTS 版本。你在 Ubuntu 上踩到坑網(wǎng)上十條搜索結(jié)果九條能救你你要是選了 arch 或者 Fedora出了問題搜到的解決方案可能還要先折騰一輪依賴。安裝發(fā)行版的命令PowerShellwsl --install -d Ubuntu-22.04裝完第一次啟動會讓你設(shè)置 Linux 用戶名和密碼。這一步設(shè)置的密碼就是 sudo 密碼別用太隨便的忘了很麻煩。注意WSL 登錄用戶名可以和 Windows 用戶名不同。我自己習(xí)慣用同一個名字跨系統(tǒng)傳文件時的權(quán)限心智負(fù)擔(dān)小一些。2.4 解決下載慢的硬核操作換源換鏡像WSL2 的 Ubuntu 從微軟服務(wù)器拉取國內(nèi)網(wǎng)絡(luò)環(huán)境下經(jīng)常出現(xiàn)龜速。新裝的系統(tǒng)第一步永遠(yuǎn)是替換 apt 源。在 WSL2 Ubuntu 里執(zhí)行# 備份原始源 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak # 用清華源替換先確認(rèn) Ubuntu 版本是 22.04jammy sudo sed -i s/archive.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /etc/apt/sources.list sudo sed -i s/security.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /etc/apt/sources.list sudo sed -i s|//.*ubuntu.com|//mirrors.tuna.tsinghua.edu.cn|g /etc/apt/sources.list sudo apt update順便一提如果你不想用清華源中科大源mirrors.ustc.edu.cn和阿里源mirrors.aliyun.com也都穩(wěn)。挑一個順手的就是。3. 把 WSL2 裝到 D 盤擺脫 C 盤爆滿焦慮這一步是我個人極其推薦的。WSL2 的虛擬磁盤.vhdx文件默認(rèn)放在 C 盤用戶目錄下AI 開發(fā)裝個 PyTorch、CUDA、Docker 鏡像隨便就是幾十個 GB。C 盤是系統(tǒng)盤一旦滿了哭都來不及。WSL2 實際上是可以用導(dǎo)出-導(dǎo)入的方式遷移到任意分區(qū)的操作非常簡單3.1 導(dǎo)出當(dāng)前發(fā)行版先關(guān)閉 WSLwsl --shutdown然后把 Ubuntu 導(dǎo)出為 tar 文件放到 D 盤wsl --export Ubuntu-22.04 D:\wsl\ubuntu.tar第一次導(dǎo)出可能要等幾分鐘因為整個虛擬磁盤都被打包了。3.2 注銷原始發(fā)行版并導(dǎo)入新位置# 注銷默認(rèn)位置的發(fā)行版 wsl --unregister Ubuntu-22.04 # 導(dǎo)入到 D 盤指定目錄 wsl --import Ubuntu-22.04 D:\wsl\ubuntu D:\wsl\ubuntu.tar --version 2導(dǎo)入之后默認(rèn)會以 root 用戶進(jìn)入。先設(shè)置默認(rèn)用戶為之前創(chuàng)建的用戶名避免一直在 root 下干活# 進(jìn)入 WSL wsl -d Ubuntu-22.04 # 在 WSL 里修改默認(rèn)用戶 echo -e [user]\ndefault你的用戶名 | sudo tee /etc/wsl.conf exit # 重啟 WSL 生效 wsl --shutdown wsl -d Ubuntu-22.04之后wsl進(jìn)入的就是你的普通用戶了。D:\wsl\ubuntu.tar這個中間包可以刪掉D:\wsl\ubuntu目錄下會有ext4.vhdx那才是真正的虛擬磁盤。我的實操心得在C:\Users下也可以配置.wslconfig把虛擬磁盤位置固定到 D 盤但那是老黃歷了。現(xiàn)在用導(dǎo)出-導(dǎo)入是最干凈的方案不受用戶目錄結(jié)構(gòu)影響。3.3 用 .wslconfig 限制內(nèi)存和 CPUWSL2 默認(rèn)會分配最多 50% 宿主機內(nèi)存給虛擬機。32GB 內(nèi)存的機器WSL2 可能吃 16GBWindows 這邊就容易卡。需要在用戶目錄下創(chuàng)建.wslconfig文件來約束資源在C:\Users\你的用戶名目錄下新建.wslconfig寫入[wsl2] memory16GB processors8 swap2GB localhostForwardingtrue關(guān)鍵參數(shù)解釋memory限制 WSL2 最多使用 16GB 內(nèi)存避免擠爆 Windows。processors限制邏輯處理器數(shù)量防止 WSL2 全核搶占。swap虛擬內(nèi)存上限跑大模型時如果內(nèi)存不夠會使用 swap盤夠就多給點。改完.wslconfig需要wsl --shutdown再重啟 WSL2 才能生效。查看生效情況在 WSL 里執(zhí)行free -h能看到分配的內(nèi)存。我自己訓(xùn)練 7B 參數(shù)量級的模型時把memory調(diào)到 24GBWindows 這邊還有 8GB 富余整體體驗很穩(wěn)。4. GPU 直通與 CUDA 環(huán)境實操從零到能跑 PyTorch現(xiàn)在進(jìn)入正題。前面都是基礎(chǔ)設(shè)施這一章是真正讓 GPU 轉(zhuǎn)起來的關(guān)鍵。4.1 在 WSL2 里驗證 GPU 可見性打開 WSL2 Ubuntu 終端先檢查最關(guān)鍵的路徑ls /usr/lib/wsl/lib/正常輸出里必須能看到libcuda.so、libcuda.so.1這一系列庫文件。這是 WSL2 與 Windows 圖形驅(qū)動通信的橋接庫。然后直接跑nvidia-sminvidia-smi如果輸出和 Windows 側(cè)一樣顯示出顯卡型號、驅(qū)動版本、顯存容量恭喜你GPU 直通這一關(guān)已經(jīng)過了。我第一次在 WSL2 里看到nvidia-smi輸出 RTX 4090 的時候確實有點激動。這意味著 CUDA 運行時可以直接操作這塊物理顯卡。如果這步報錯絕大多數(shù)原因就是 Windows 側(cè)驅(qū)動沒裝新版本先回去看看第 2.2 節(jié)。4.2 安裝 CUDA Toolkit為什么我推薦容器方案替代原生安裝到了這一步你面前有兩條路路徑 A原生安裝 CUDA Toolkit傳統(tǒng)方案去 NVIDIA 官網(wǎng)下載 WSL2-Ubuntu 版的 runfile 或者通過 apt 安裝。命令不復(fù)雜wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda_12.4.1_550.54.14_linux.run sudo sh cuda_12.4.1_550.54.14_linux.run --toolkit --silent --override但這套方案有個老大難問題CUDA 版本和 PyTorch 編譯版本的匹配。你裝 CUDA 12.4但 PyTorch 官方編譯的 wheel 只對應(yīng) CUDA 12.1就得額外裝cudatoolkit兼容層。翻車率不低。路徑 B用 Conda/PyTorch 官方輪子推薦方案現(xiàn)代 AI 開發(fā)其實不需要單獨裝完整 CUDA Toolkit。PyTorch 官方 wheel 自帶了 CUDA 運行時版式如cu121、cu124只要你裝上對應(yīng)版本的 PyTorchCUDA 運行時庫就隨之而來。我現(xiàn)在的實踐是只在 WSL2 里裝一個 Miniconda然后用 conda 管理 PyTorch 環(huán)境不單獨裝 CUDA Toolkit除非用到 nvcc 編譯自定義算子。對于 90% 的 AI 開發(fā)場景訓(xùn)練、推理、跑實驗這個方案最省心。4.3 Miniconda PyTorch GPU 版安裝實錄在 WSL2 Ubuntu 里執(zhí)行# 下載 Miniconda國內(nèi)用清華鏡像加速 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh # 安裝 bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda3 # 初始化 shell eval $($HOME/miniconda3/bin/conda shell.bash hook) conda init # 創(chuàng)建 AI 環(huán)境 conda create -n ai python3.10 -y conda activate ai # 安裝 PyTorchCUDA 12.1 版本對應(yīng) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121裝完驗證 GPU 是否可用python -c import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))輸出True NVIDIA GeForce RTX 4090看到True的時候整個 WSL2 的 GPU 開發(fā)環(huán)境就算徹底通了。提示如果網(wǎng)速慢PyTorch wheel 可以從清華 PyPI 鏡像下載但那上面默認(rèn)的是 CPU 版需要先從 PyTorch 官方 index 下。我的經(jīng)驗是直接用官方 index-url配好代理或錯峰下載比找第三方鏡像穩(wěn)定。4.4 容器方案Docker Desktop WSL2 后端如果你需要跑別人給的 Docker 鏡像比如 NVIDIA 官方 NGC 的 PyTorch 容器WSL2 后端是標(biāo)配。安裝配置流程Windows 側(cè)裝 Docker DesktopSettings 里確保使用 WSL2 后端然后勾選支持你已安裝的發(fā)行版。之后在 WSL2 里可以直接執(zhí)行docker命令本質(zhì)上是復(fù)用同一個 Docker 引擎。跑一個 GPU 容器docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:24.02-py3 nvidia-smi--gpus all這個參數(shù)在 Windows Docker Desktop WSL2 下是直接可用的因為 Docker 會自動感知 WSL2 的 GPU 轉(zhuǎn)發(fā)能力。我日常的工作流是原型代碼在 conda 環(huán)境里跑跑通了就打鏡像進(jìn) Docker 固定環(huán)境。這樣實驗復(fù)現(xiàn)性可控?fù)Q機器也方便。5. 性能調(diào)優(yōu)與緩存讓 GPU 跑得更穩(wěn)更快環(huán)境通了之后想榨干性能還有幾個關(guān)鍵點值得調(diào)。5.1 Linux 側(cè) CUDA 緩存的正確配置AI 訓(xùn)練和推理會有大量 CUDA kernel 緩存類似 GPU 端的預(yù)編譯緩存。默認(rèn)情況下緩存寫在~/.nv/ComputeCache這個目錄在虛擬磁盤里IO 慢。我建議把緩存挪到共享內(nèi)存tmpfs# 創(chuàng)建緩存目錄 mkdir -p /tmp/nv-compute-cache # 設(shè)置環(huán)境變量 echo export CUDA_CACHE_PATH/tmp/nv-compute-cache ~/.bashrc source ~/.bashrc這樣做的好處是 kernel 緩存讀寫走內(nèi)存速度提升感知明顯尤其是反復(fù)切換模型時。缺點是重啟后緩存清空第一次加載模型會重新編譯。對訓(xùn)練流程來說這個犧牲完全值得。5.2 跨系統(tǒng)文件 IO不要把數(shù)據(jù)放在 /mnt/c這是 WSL2 老用戶最深刻的痛。/mnt/c、/mnt/d這種路徑本質(zhì)上是 Windows 文件系統(tǒng)掛載WSL2 里訪問它們的速度比訪問原生 Linux 文件系統(tǒng)慢 5-10 倍。訓(xùn)練腳本讀寫數(shù)據(jù)集時如果把數(shù)據(jù)放在D:\datasets然后從/mnt/d/datasets讀取數(shù)據(jù) IO 會成為瓶頸。我的方案數(shù)據(jù)文件放在 WSL2 原生文件系統(tǒng)~目錄或/dataWindows 側(cè)需要訪問訓(xùn)練結(jié)果時通過資源管理器輸入\\wsl$\Ubuntu-22.04\home\用戶名查看小文件頻繁讀寫絕不走/mnt/c實測顯存帶寬不變的情況下數(shù)據(jù)讀取從/mnt/d遷移到~之后小 batch 的訓(xùn)練速度能提升一截。5.3 Windows 側(cè) GPU 優(yōu)先級調(diào)整有一個從 Windows 注冊表調(diào)整 GPU 調(diào)度優(yōu)先級的技巧適合在 WSL2 訓(xùn)練時避免 Windows 圖形界面搶占 GPU 資源reg add HKLM\SYSTEM\CurrentControlSet\Control\GraphicsDrivers\Scheduler /v LatencyToleranceEnabled /t REG_DWORD /d 1 /f這個命令啟用 GPU 調(diào)度器的延遲容忍模式。效果是讓 WSL2 里長時間的計算任務(wù)不容易被桌面應(yīng)用的突發(fā) GPU 請求打斷。副作用不明顯但如果 Windows 側(cè)也在用 GPU比如直播推流反而可能讓桌面應(yīng)用變卡。用不用看個人取舍。6. 常見問題與排查WSL2 GPU 的坑我都替你踩過最后一部分我把實際工作中碰到的高頻問題整理成速查表。這里的每個問題都是我或同事真實遇到過、排查過的。6.1 WSL2 尚未準(zhǔn)備就緒 / 服務(wù)無法啟動現(xiàn)象執(zhí)行wsl報錯說系統(tǒng)尚未啟用虛擬化或 WSL2 尚未準(zhǔn)備就緒。排查順序BIOS 里確認(rèn) CPU 虛擬化Intel VT-x / AMD-V已開啟Windows 功能里確認(rèn)虛擬機平臺已啟用確認(rèn) Hyper-V 沒有被殺毒軟件或內(nèi)核隔離策略干擾執(zhí)行bcdedit /set hypervisorlaunchtype auto管理員權(quán)限重啟。注意如果開了第三方沙箱軟件或舊版 VMware可能和 Hyper-V 沖突。Win11 下一般不會Win10 上遇到過。6.2nvidia-smi報錯找不到 libcuda現(xiàn)象在 WSL2 里執(zhí)行nvidia-smi提示無法加載libcuda.so.1。原因 90% 是 Windows 驅(qū)動版本過老。WSL2 需要 470.76 以上的驅(qū)動從 2021 年年中之后的驅(qū)動都沒問題。升級 Windows 側(cè)驅(qū)動即可解決。如果驅(qū)動已經(jīng)新但仍然報錯檢查/usr/lib/wsl/lib是否存在。如果目錄不存在多半是wsl --update更新內(nèi)核版本。執(zhí)行wsl --update wsl --shutdown6.3 PyTorch 顯示 CUDA 可用但運算極慢現(xiàn)象torch.cuda.is_available()是 True但跑訓(xùn)練速度只有預(yù)期的三分之一。原因排查確認(rèn)環(huán)境變量有沒有把 CUDA 設(shè)備限制到某個低端設(shè)備echo $CUDA_VISIBLE_DEVICES確認(rèn)數(shù)據(jù)讀取沒走/mnt/c見 5.2確認(rèn) PyTorch 版本和 CUDA 版本匹配。用torch.version.cuda查看 PyTorch 內(nèi)置的 CUDA 版本和nvidia-smi顯示的驅(qū)動版本不一定一致但 PyTorch 內(nèi)置 CUDA 運行時要求驅(qū)動的兼容性只要驅(qū)動別太老就行。如果都排除了嘗試增加 batch size 觀察吞吐量是否線性增長排除小 batch 導(dǎo)致的調(diào)度開銷。6.4 WSL2 下載慢apt 和 pip 都慢處理方法前面已經(jīng)寫過。apt 換清華/中科大源pip 用清華 PyPI 鏡像conda 用清華 anaconda 鏡像。如果鏡像源速度仍不理想檢查 DNS 配置或給 WSL2 配置 Windows 側(cè)代理。對于代理WSL2 訪問 Windows 主機地址可以用特殊 IP# 查看 Windows 主機的 IP從 WSL2 內(nèi) cat /etc/resolv.conf | grep nameserver拿到 Windows 主機 IP 之后在 WSL2 里配置http_proxy環(huán)境變量指向那個 IP 加端口。但這一步我就點到為止——因為絕大多數(shù)場景下?lián)Q國內(nèi)鏡像就夠了Windows 內(nèi)網(wǎng)代理轉(zhuǎn)發(fā)的問題是另一個話題。6.5 Docker 里無法使用 GPU現(xiàn)象在 WSL2 里跑docker run --gpus all報錯說找不到 GPU。排查思路先在 WSL2 里跑nvidia-smi如果報錯說明 GPU 通路沒建立先解決主機側(cè)問題Docker Desktop 的 WSL2 后端設(shè)置里確認(rèn)Enable GPU相關(guān)選項較新版本默認(rèn)開啟檢查 Docker 版本老版本可能不支持--gpus參數(shù)。升級 Docker Desktop 通用如果使用容器內(nèi)自定義鏡像確認(rèn)鏡像里帶nvidia-smi工具或 NVML 庫部分鏡像為了體積精簡沒有裝這些工具報錯可能來自容器內(nèi)部而不是 Docker 引擎。6.6 虛擬磁盤越來越大如何瘦身WSL2 的.vhdx文件只增不減。刪了 Linux 里的文件虛擬磁盤空間不會自動釋放。定期需要手動壓縮wsl --shutdown diskpart在 diskpart 里執(zhí)行select vdisk fileD:\wsl\ubuntu\ext4.vhdx attach vdisk readonly compact vdisk detach vdisk exit操作后虛擬磁盤會物理縮小。我一般每跑完一個大型實驗就壓縮一次能回收好幾個 GB。7. 最后這個環(huán)境我現(xiàn)在怎么用寫到這里基本配置和排坑都說完了。說說我現(xiàn)在的日常狀態(tài)Windows 11 開機即用WSL2 里跑著 Ubuntu 22.04conda 環(huán)境里常駐 PyTorch。寫代碼用 VS Code Remote-WSL 插件直接連進(jìn) WSL2 里的文件系統(tǒng)不用切窗口。訓(xùn)練腳本跑在~/projects里結(jié)果是原生 Linux 文件系統(tǒng)速度隨時切回 Windows 剪視頻、寫文檔。Docker 容器里跑別人給的模型推理--gpus all一把梭。要說這一個方案讓我最滿意的地方其實是“不用選”。不需要在工作系統(tǒng)和日常系統(tǒng)之間做任何妥協(xié)。如果你也受夠了雙系統(tǒng)重啟和虛擬機 GPU 無能的折磨照著這篇文章跑一遍大概率直接入坑?,F(xiàn)在唯一后悔的就是沒早點從純雙系統(tǒng)遷過來。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色色啊| 超碰免费电影| 管管補管管紱| 久久视频婷婷| 激情五月婷婷色色| 精品夜夜澡人妻无码AV| 偷拍五月丁香| 激情图片久久| 久色资源| 亚洲六月色| 色色吧综合| 亚洲成人在线在线| 亚洲五月婷| 丁香五月六月婷婷怡红院| A在线观看| 9久热精品在线视频| 五月天啪啪啪| 久久这里只有精品99| 五月天色婷婷激情综合| 99免费综合网| 婷婷综合网站| 久久综合九九| 伊人久久婷婷| a网站免费观看| 婷婷丁香五月天大香蕉| 丁香花操逼| 极品少妇XXXX精品少妇偷拍| 人妻丰满精品一区二区A片| 中文字幕AV在线| 色欲AV导航| 思思视频这里是精品| 免费人人操| 日韩av手机在线观看| 久久九九免费视频| 狠狠操狠狠| 色玖玖综合网| www.婷婷五月天| 婷婷五月天在线观看免费 | 久久婷婷五月综合97色一本| 六月色色| 久久视频66| 999激情视频| 日本三级毛片| 国产熟女大叫受不了| 天堂在线伊久| 久久久婷婷色五月资源网| 色狠狠色噜噜AV天堂五区| www.99久| 色婷婷影院| 91久久久久久久久久久| 99这里| 久久婷婷色色| 久久人人看| 久久免费精彩视频| 九色亚洲| 伊人色综合久久久| 99热99色| 东北婷婷五月天| 日本五月婷婷久久久六月丁香| 精品乱码视频| 五月天堂在线| 另类精品视频在线观看| 五月丁香香蕉| 影音先锋男人AV资源站| 色五月婷婷青娱乐| 婷婷五月丁香五月| 思思w99| 天天综合插插| 综合色播| 操人91| 五月丁香激情综合网| 激情小说婷婷| 丁香五月婷婷国产在线| 五月婷啪| 久久精品亚洲热| 99热国产这里只有精品| 激情图片五月天| 激情小说婷婷| 丁香六月成人网| 九伊人网| 97涩涩丁香五月天| 欧美在线97| 人人爱人人草| 大香人妻| 九九九九九无码| 日本熟女一区二区| 26uuu| 婷婷丁香五月综合| 色五月偷偷| 国产成人av在线| 日日干综合| 天天爽天天透天天爱| 丁香婷婷色情社区成人小说| 色五月综合| 色色婷婷综合| 五月丁香美女视频| 五月天婷婷小说| 激情欧美五月丁香| www.99日本| 天天综合情| 草做免费在线观看| 国自产拍偷拍精品啪啪一区二区| 97人妻碰碰碰久久香蕉| 婷婷五月天干干| 无套内射极品大美女| 欧美这里只有精品| 日韩操逼大片| 无码色| 婷婷视频网| 日本全黄一级999| www.日本久久videos| 青青草日本亚洲| 丁香五月激情啪| 中文字幕精品无码一区二区| 大香蕉啪啪网| AV电影在线播放| 91精品91久久久久77777| 超碰在线人人| 香蕉操亚洲| 亚洲第一成人无码A片| 综合色网站| 97激情五月天| 五月天色色色| 久久永久网址| 五月婷婷综合久久| 五月开心久久| 99热精品在线在线| 色婷婷丁香社综合| 亚洲婷婷欧美婷婷| 丁香六月| www.色婷婷| 六月五月天婷婷涩播在线| 操久久网| 久久久久人妻网址| 天天弄天天爽| 婷婷五月天综合网| 综合xx网| 天久综合91综合首页| 噜噜噜噜婷婷五月天| 欧美丁香五月夫妻天| 国产成人精品一区二区三区视频| 五月丁香婷婷五月色| 九九色欲网| 在线看黄色| 丁香六月婷婷综合在线| 婷婷热色| 天天干夜夜谢| 激情另类综合| 五月婷婷丁香六月| 综合深爱五月| 97sese婷婷| 久久机热这里只有精品| 亚洲4区国产欧美| 婷婷五月天无码| 五月久久| www久久99| 色五月天丁香婷婷| 狠狠干婷婷| 婷婷伊人中文字幕| 精品一二三区久久AAA片| www婷婷| 99热精品在线观看| 久99久在线| 亚洲黄色精品| 久久这里面只有精品视频| 久久伊人大香蕉| 婷婷五月成人有| 色一情一乱一乱一区91Av| 色五月首页| 五月丁香综合激情网| 99久热这里只有精品视频删减版| 激情婷婷丁香| 91婷婷丁香五月| 日良久久| 1024欧美看片| 日本三级韩三级99久久| 五月天色婷婷图片| 91精品又长又大又粗又爽又猛| 狼人婷婷综合| 五月婷婷综合色啪首页| 久久久五月五丁香| 在线播放人妻| 99激情在线| site:hcxsz888.com| 八戒青柠影视剧在线观看| 襙比视频| 五月久久婷婷丁香| 人操91在线| www.色综合.com| 99热免费网站| 丁香五月先锋| 免费无码毛片一区二区A片| 亚洲久久婷婷| 激情五月综合视频| 亚洲午夜电影| 刘玥精品一区| 久久九色| 久久超视频| 婷婷爱在线观看| 丁香五月婷婷av影院| 婷婷色五月激情强奸四射| 国产成人网址| 狠狠情色| 五月丁香色色色| 综合色五月天| 激情五月天小说网| 九九热视频思思| 亚洲一区国产传媒| 久热亚洲| 色五月天 丁香| 五月天婷婷激情在线色图| 99爱免费视频在线观看| 五月开心婷婷网| 久久99草五月婷婷| 丰满少妇乱A片无码| 丁香五月人妻| 亚洲第一综合| 婷婷免费视频| 九九热精品6| 91精品婷婷国产综合久久| 五月久久丁香| 久久婷婷五月丁香蜜桃网| 操九色| 五月丁香婷中文字幕| 婷婷五月天影院| AV亚洲在线| 亚洲五月婷婷| 天天骑天天操| 婷婷激情五月| 欧美久久婷婷| 亚洲综合久| 婷婷五月丁香网| 激情综合青草| 小视频aaa久久久| 欧美日韩123| 伊人激情网| 久久99国产综合精品免费| 超碰99在线观看| 激情丁香五月婷婷| 国产精品色婷婷99久久精品| 天堂网啪啪| 狠狠狠五月婷婷六月丁香| 婷婷欧美激情综合| 久色姿源| 99热日韩| 开心五月激情网| 日日夜夜久| 天天干天天干天天干天天干天天干天天干天天 | 六月丁香婷婷色狠狠久久| 51精品国内探花| 野战J办公桌椅H| 五月婷婷丁香六月| 国产XXXX搡XXXXX搡麻豆| 婷婷五月天激情小说| 五月婷六月| 99ri国产| 激情六月天| 免费做A爰片77777| 亚洲综合色成丁香五月色| 激情五月婷| 婷婷成人视频| 7EzOBIhNq85TO| 国产亚洲成AV人片在线观黄桃 | 五月天婷婷婷| 97超碰99热99| 久久色五月| 五月婷婷导航| 大香蕉520| 丁香婷最新动态| 噜噜噜噜婷婷五月天| 亚洲AV成人在线| www色五月| 成片免费播放| 99视频在线观看视频| 色婷婷五月天激情综合| 色99网| 五月婷婷成人| 亚洲中文字幕在线观看| 五月丁香六月综合图| 丁香五月ⅤA久久久| 碰碰碰91| 开心深爱五月天| 激情五月丁香在线观看直播| 激情五月婷婷在线观看| 久热九九| 日本久久9| 丁香九月久久| 婷婷五月天成人综合网| 99日本黄站| 九九在线视频| 岛国午夜视频| 热热久久精品视频| 中文成人在线| 国产一级片色色| 午夜日日| 丁香六月av| 亚洲色 视频| 激情五月天综合网| 久久久亚洲精品一区二区三区浴池| 中文字幕在线视频播放| 激情综合五月| 天天草天天摸| 国产偷人爽久久久久久老妇APP| 91av无码| 婷婷美女精品视频| 亚洲综合99| www.91热久久| 婷婷五月天伊人在线| 婷婷五月天欧美| 亚洲99热| 伊人www22综合色| 色亚洲中文| 亚洲久久婷婷| 狠狠爱成人综合网| 九九综合| 日本久久视频| 天天日本夜夜谢| 色五月婷婷在线| 色婷大香蕉| 婷色五月| 色玖玖爱| 人人干女人| 色综合久久伊伊婷婷五月| 九九无码| www.激情com| 99re这里只有精品免费| 色五月在线播放| a毛片二逼wwwwwwwwww| 婷婷五月天免费小说| 五月亭亭直播| 婷婷五月天丁香久久| 五月天婷婷在线观看精品男人| 天天干,天天日| 久99久视频精品| 婷婷伊人无码| 天天爱天天操| 天天做天天爱天天摸| 五月丁香亭亭| 天天综合色丁香| dingxiangtingtingliuyue| 亚洲最大视频| 久久人人看| 来吧亚洲综合网| 性欧美大战久久久久久久83| 综合狠狠五月婷婷| 99在线精品免费视频| 色爱综合网| 免费AV在线| 狠狠色狠狠色综合日日91| 天天综合干| 色婷婷五月天在线观看| www.精品99| 狠狠插狠狠操| 高清激情av在线观看| 色婷婷综合网| 五月激激网w'w'w| 色婷婷黄色网络| 久99久99精品免| 亚洲视频久久| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 成人丁香五月婷| 97婷婷五月| 久草婷婷网| 五月激情偷拍婷婷| 中文不卡av| 亚洲色综合性| 色色日本欧美| 久热大香蕉| 久久综合婷婷| 蜜桃五月天| 爱草视频在线观看| 九九Y精品热播| 欧美一级操逼视频| 超碰人人超碰| 国产成人精品一区二三区熟女在线| www.夜夜操.con| 性色做爰片在线观看WW| 日韩AAAAA| 香蕉久久六月| 成人精品视频99在线观看免费| 人人添人人| 碰碰碰97国产| 久久婷婷网站| 精品九九视频| 日韩在线99| 五月丁香啪| 蜜臀av无码久久久久久久久| 久久五月婷综合网| 九九视频这里只有精品| SS丁香五月婷婷| www.激情五月天.con| 精品成人久久久久久久_一二三四视| 色色婷婷五月天| 亚洲视频在线观看| 婷婷成人AV| 欧美天天爽| 亚洲精品白浆高清久久久久久| 久久视频这里99| 狠狠色噜噜狠狠狠888| 99热最新精品| 99年操人人爽| 五月婷在线观看| 亚洲舔观看| 久久丁香九| 婷婷五月天开心网| 日本色爽| 色婷婷香蕉丁丁网| 人妻自慰在线| 91九色中文字幕女在线观看| 亚洲欧洲另类图片| 五月天激情小说| 五月综合亚洲婷婷| 99惹在线精品免费观看| 婷婷 伊人 久久| 欧美大肥婆大肥BBBBB| 色婷婷视频在线| 九九人妻福利| 成人网在线视频| 亚洲精品国产A久久久久久| 亚洲中文乱字字幕在线永久| 99精品在线下载| 五月停亭六月,六月停亭的英语| 99视频综合| 综合色播| 亚洲婷婷基地| 国产欧洲欧洲精品久久| 色婷婷五月天在线| 夜夜天天久久婷婷| 丁香六月婷婷五月天| 色九月综合网| 久久受www免费人成| 五月天久久婷婷| 色五月婷婷很很操| 99久久九九| 丁香午月AV中文字幕| 9久久久| 99丁香婷婷综合网| 国产69精品久久久久999小说| 日韩99视频| 可以免费看AV网站| 337午夜福利| 亚洲第一色色色色| 99热这只有| 色婷久久| 96精品久久久久久久久| 婷色五月天| 五月香六月婷| 丁香婷婷十月| 丁香五月天在线| 五月天自拍视频| 天天草天天爱| www 五月天 com| 五月激情精品视频| 99aese| 婷婷5月开心6月| 丁香五月综合激情久久潮喷| 天天干夜夜操A片| 天天综合网、天天综合色| 91色色色18| 亚洲五月激情| 网色99| 碰碰91| 久久婷狠狠色| 久久综合99| 欧美99热| 99热6这里只有精品6| 做爱夜夜干天天操| 丁香婷婷射| 日韩五月天婷婷| 欧洲亚洲免费视频区| 色久在| 五月天开心婷婷久久 | 激情五月天在线观看色婷婷| 热的五码久久精品| 97色伦另类图片小说视频 | 日韩在线看AV| 欧美碰碰碰| 91综合在线观看| 久久99久久久久久久噜噜| 综合五月丁香97| 色色丁香五月| 激情五月丁香婷婷夜夜操| www,8050,午夜三级| 91九色首页| 丁香五月成人网| av国产精品| 丁香五月影| 九九热99精品| 丁香五月电影| 五月婷婷丁香综合| 国产在线中文字幕| 91蝌蚪窝视频在线| 婷婷激情人妻| 丁香五月老师| 操九色| 五月天综合在线| 激情人妻蜜夜系列区| 日韩精品一区二区刘| 成人av在线电影| 99激情视频热| 九月婷婷激情| 在线视频区| 日韩精品一品二区三区的使用体验| 97操操操| 中文字幕乱轮| 久久综合九九| 免费国产视频| 99思思热只有在这里看 | 久热伊人| 五月丁花六月丁香综合| 97人人射| 另类视在线| 丁香激情合作五月| 色综合区| 亚洲婷婷综合视频| 五月婷婷少妇之| 色婷另类| 91高潮喷水久久久久久久久| 五月花婷婷在线精品视频| 亚洲激情网站| 国产熟妇的荡欲午夜视频| 五月婷婷六月综合| 五月婷婷九| 深爱激情综合网| 日本操B片| 97成人丁香婷婷| 色婷婷综合视频| 色色亚洲| 激情小说五月天社区丁香| 精品五月天| 久久九九99| 九月综合| 天天爱天天吃狠天天透| 91色五月在线观看| 3p日韩网站视频| 久热大香蕉| 亚州激情九月| 天天干狠狠艹| 琪琪色五月婷婷老师| 色啪网| 五月丁香六月| 婷婷娌伦网| 久久精品永久免费| 成人做爰A片免费看网站找不到了| 婷婷色九月| 色久天| 91919191919久久成人视频| 丁香六月婷婷激情综合| 丁香婷婷网| 午夜婷婷久久 | 怡红院99| 九九人人操| 亚洲一级色电影| 婷婷网五月天| 91精品丝袜久久久久久久久粉嫩| www.成人婷婷综合| 婷婷激情五月天激情小说| www.日韩艹| 国外亚洲成AV人片在线观看| 五月婷无码| 99综合网| 色欲日日躁| 精品一二三区久久AAA片 | 九月丁香五月婷婷| 猫咪伊人AV| 久久奄也去色色网站| 五月香婷婷| 天天天久久久| 三人荫蒂添的好舒服A片| 精品无码色| 99爱在线视频| 色综合五月婷婷狠狠干| 婷婷五月综合性爱| 激情五月婷婷丁香| 亚洲AV网站在线观看| 九九热99熟女| 五月天日日操夜夜操| 天天色视频| 久色视频首页| 亚洲AV久久久久久久久久久久久久久久 | 国产精品18久久久| 天天擼久久擼在线| 五月丁香人妻| www,天天干| 丁香五月综合久久八| 97色吧| 国产精品久久久久久五月天加勒比| 91九色超碰| 五月天亭亭俺也| 色娸娸综合网| 99ri视频| 激情综合色播| 国产成人综合网| 国产精品久久久久久妇女6080| 99热精品一区| 9九色首页| 另类图片天天影视在线观看| 99性爱无码| 美女伊人久久| 婷婷综合网站| 夜夜撸天天操| 婷婷丁香社区网| 天天日天天久久青青| www99热| 婷婷在线免费| 日韩av免费版| 熟女激情五月天| 丁香婷婷久久综合在线| 五月丁香啪啪综合| 东京热五月婷婷| 99热天堂| 色婷五月天网站| 九九精品热播| 色五月婷婷777| 欧美色99| 9久热这里只有精品| 91人妻人人操人人爽| 无码日本精品XXXXXXXXX | 婷婷天天婷婷天天澡| 九九av| 久草五月丁香婷婷综合| 五月天婷婷激情在线色图| 五月婷婷影视| 国产亚洲色婷婷久久99精品91| 色婷婷呢狠禁久禁| 色情五月综合婷婷| 丁香五月激情在线| 日日干夜夜撸夜夜骑| 久久综合伊人77777蜜臀| 国外亚洲成AV人片在线观看| 久久婷婷五月综合色奶水99啪| 激情狠狠丁香月| 日本九九九九| 黄久久久| 丁香婷婷老司机久操| 丁香五月久久| AV九九| 深爱五月激情| 狠狠狠狠狠草| 亚洲婷婷开心五月| 99热九九热| 久久99热在线观看| 天天天天色天天天天天干| 欧韩性爱| 九九热a| 丁香婷婷五月综合影院| 久久九九囯产| 老司机视频lsj爱就色| 午夜丁香| 99综合| 亚洲婷婷91丁香| 久久久精品色| 色五月婷婷五月丁香五月| 日韩抽插操逼| 色色综合日韩| 丁香五月婷婷呀| 亚洲色9| 久久xxxx| 色色五月婷| 97干欧美| 99热91| 久久婷婷综合网| 99毛片| 九热免费视频| 五月丁香六月综合基地| 婷婷99狠狠躁天天躁中| 97人人操在线| 九九色精品| 色五月综合在线| 在线观看的av| 激情五月天色| 日韩黄黄| 小视频一区| 天天天天天天天操| 丁香五月综合在线观看| 夜夜综合色| 99在线精品在线视频| 中文字幕色色| 五月丁香六月综合激情 | 狠狠久久婷五月| 日本色图综合| 色婷婷99| 国产亚洲精品AAAAAAA片| 精品一二三区久久AAA片| 亚洲精品白浆高清久久久久久| ..真实国产乱子伦对白在线_欧| 熟女人妻视频| 丁香五月很很肏| 婷婷五月色惰| 玖玖在线视频福利| 婷婷色日本| 伊人五月成人| 婷婷综合视频| 久/久精品99看9| 熟女人妻视频| 青青久久大香蕉| 六月婷婷av| 色婷丁香五月| 欧美成人五月天| 婷婷五月婷婷| 激情视频网址| 丁香五月熟女| 久久激情网| 五月丁香天堂网婷婷| 婷婷五月视频| 色色色色色色色色五月先| 欧洲色| 国产精品A片在线| 欧美色宗和激情| 五月婷婷内射网| 丁香五月六月激情久久| 成人网址在线观看| www.lingjunshare.com| 婷婷久久精品| 久久精品99国产精品日本| 久久婷婷桃花五月天| 超碰91在线| 天天爽天天透天天爱| 五月天伊人综合| 国产肥白大熟妇BBBB视频| 丁香五月综合首页| 日本狠狠爽| 综合网啪| 激情五月婷婷综合网| 猫咪伊人久久| 久久免费视频62| 久久综合丁香激情五月| 1024在线观看免费视频| 99国产小视频免费观看| 五月天婷婷AV| 国产99久| 五月天激情偷拍| 五月天婷婷丁香基地在线观看| 激情五月天综合网| 九色视频91疯狂| 婷婷色爱| 欧美成人AAA片一区国产精品| 色老久久| 99re热视频这里只精品| 97精品人人A片免费看| 五月婷婷色播| 日日.c| 青青久在线视频免费观看| www.91.com黄| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99久久国产成人精品| 5五月综合网亚洲| 婷婷五月天免费99| 婷婷五月激情基地| 99热激情| 国产精品成人AV在线| 婷婷丁香色无五月| 嫩草免费视频| 操逼123网| 国产67194| 色综合激情| 超碰人人干| 丁香伊人五月色婷婷五十路| 色情五月天A片| 久久er99热精品一区二区| 深爱五月月天| 99热91| 欧美丁香五月97色| 婷婷六月色开 | 九九九午夜视频| 丁香五月激情鲁| 成人婷婷色综合| 婷婷激情六月综合| 桃色成人网| 色五月综合| 天天爱天天做天天日| 久久综合激情| 99精品自拍视频| 中文字幕不卡+婷婷五月| 久久久婷婷五月亚洲97号色| 五月天开心网| 九九十99视频| 婷婷欧美综合| 丁香九月激情| 五月色网| 亚洲色域网| 国产婷婷婷| 色婷婷六月天在线| 激情九九九九| 欧美性猛交99久久久99| 色99热| 777精品久无码人妻蜜桃| 丁香五月婷婷啪| 大香蕉伊人99| 97婷婷色| 五月天·www·com| 精品少妇人妻AV无码专区偷人 | BBWCUCKOLD精品熟妇| 激情网第四色| 婷婷丁香六月天激情四射网| 婷婷基地爱| 日韩日比视频| 99在线观看精品视频| 99久久99热| 婷婷五月激情黄色| 婷婷亚洲欧美丁香五月| 久久久久久99精品无码| 91操碰| 激情网 五月天| 亚洲无码影音| www.婷婷,com| 六月丁香基地| 丁香五月色激情| 影音先锋91资源站| 丁香五月婷婷婷婷欧美综合| 超碰免费人| 婷婷无码五月天| 91久久久久久久久久久| 蜜桃人妻无码AV天堂三区 | 色噜噜五月天| A久久| 欧美婷| 五月天社区婷婷丁香社区| 夜夜干夜夜操| www.俺去也com| 丁香五月AV| 天天干天天做| 99色色视频| 天天综合色丁香| 亚洲av成人一区二区电影在线| 91操片| 天天天添天天操| 五月天激情网址| 777精品久无码人妻蜜桃| 开心色五月天久久久久久久| 色婷婷九月| 九月性爱网| 五月亭亭六月天| 亚洲色婷婷五月| 全亚洲最大的婷婷五月天网站COM| 日逼AV影音先锋男人资源站| 五月天丁香综合久久国产| 777丁香六月青青草婷婷综合久月| 99日视频在线| 欧洲色区| 日本超碰在线| 五月婷婷六月综合| 丁香五月色综合色播五月| 色哟哟性爱av| 182tv992tv人之初午夜免费观看| 99色婷婷| 综合网激情| 五月天开心网| 人人操人人干AV| 婷婷五月激情欧美大胆视频| 大香蕉人妻| 91丨人妻丨国产丨丝袜| 精品一二三区久久AAA片| 亚州操操| 日本颜色视频人人爱| 91艹人| 久久99操| 9超碰在线| 婷婷视频在线碰| 色婷婷激情| 99精品在线播放| www,超碰| 橾逼网| 久久66精品| 国产va在线视频| 性爱网久久| 六月丁香啪啪啪| 五月色亚洲| 欧在线一区| 久婷婷视平| 久久AAAA片一区二区| 99热综合网| 日韩成人网址| 久久精典| 超碰成人电影| 噜噜操操| 久久久大香蕉| 久久综合首页| 激情五月天开心| 九九99久久| 亚洲va在线∨a天堂va欧美va| 五月丁香六月婷婷久久久综合| 六月亚洲| 99视频在线观看视频| 99爱免费在线观看| 色婷婷五月天激情在线播放| 播五月婷婷开心| wWwCom夜操wwW| 五月天激情综合网俺也去| 色婷婷香蕉| 99re6热在线精品视频播放速度| 九色91国产| 超碰免费99| 五月丁香香蕉| 亚洲成人网无码| 很很操96| 五月色情网| 亚洲另类久久| 99热这里只有是亚洲国产| 婷婷丁香在线播放| 五月天婷婷色综合| 丁香五月开心亚洲| 激情床戏| 婷婷丁香五月综合| 性色做爰片在线观看WW| 久cao香蕉影院| 黄色AAAAAAA| 性爱激情小说AV五月丁香花| 91色吧网| 色婷婷丁香网| 少妇口诉沐足视频播放器网址| 天天拍久久| 婷婷综合在线网| 91大神在线免费看视频全集男男一起操| 人人草碰| www九九| 99热香港| 五月天婷婷丁香六月| 激情丁香五月天| 色婷精品91| 99综合网| 91夫妻网站九色| 婷婷五月天久久综合88| 久久视网36| 六月天六月婷| 狠狠狠狠狠| 色99色| 亚洲在线网站| 人人人操| 日韩六十路91性交电影| 天天日本夜夜谢| 99视频在线精品免费观看2| 熟女人妻视频| 99热99美国在线观看| 五月婷婷色播视频| 丁香六月久| 五月天婷婷视频| 日本综合九九| VA色婷婷| 五月丁香六月花| 五月婷亚洲精品AV天堂| 中国操逼99| 色婷婷AV在线| 日日射天天射| 欧美五月婷婷| 午夜伊人大香蕉| 97资源欧美日韩大香蕉超碰一区| 狠狠va| 五月天色色婷婷| 69精品人人人人| 夜夜躁婷婷AV| 99惹精品视频| 久久婷婷五月| 自拍视频99| VA国产在线综合网站| 91九色中文| 国产做爰视频免费播放| 婷婷五月综合久久中文字幕| 人人做人人看人人摸| 色色五月天丁香| 日韩在线视频9色| 99er这里只有精品| 少妇搡BBBB搡BBB搡毛茸茸 | 国产毛片精品一区二区色欲黄A片| 色综合丁香婷婷| 婷婷五月丁综合| 97人人干人人操| 激情五月天的婷婷| www,av好吊操| 精品人妻伦九区久久AAA片| 99超级碰碰| 天天操夜夜爽歪歪| 久久精品99国产精品日本| 五月丁香久久久久| 97热这里只有精品| 日碰日| 五月情四婷婷| 99热这里只有精品3| 激情综合色婷婷啪啪六月天| 99热只有精| 国产XXXX搡XXXXX搡麻豆| 99色色热热| 99九九综合久久九九| 色色网91| 99亚洲色色| 青青草青青草五月天| 婷婷五月天视| 美女五月天| 97视频.干com| 色色色97| www激情婷婷com| 97色五月丁香婷婷| 婷婷五月天论坛| 亚洲精品又粗又大又爽A片 | 这里只有精9| 91久久久久久久久18| 大香蕉啪啪网| 九九亚洲视频| 99热偷拍| 日韩欧美一级大黄网站| 99精品一二三四视频| 极品另类| 4399人妻无码久久久| 国产美女视频久| 天天色综| 超碰猛烈的性猛交| 狠狠色五月| 99热99美国在线观看| www.henhenl| 人人97碰| 99这里只有| 伍月婷婷免费视频| 五月天婷婷色| 天天色综合色| 久久婷婷九月国产精品| 五月天激情婷婷丁香| 99色嘟嘟精品网站| 丁香五月婷婷在线观看| 色天堂操| 五月色丁香| 99操视频| 亚洲成人网站在线观看| 怡红院院在线导航网| 中国女人做爰A片| 五月天婷a| 91oumei| 成人婷婷| 99色在线观看免费| 国精产品一区一区三区免费视频| 思思w99| 久久婷婷大香蕉| 色情久久久| 樱花99视频| 亚洲狠狠爱婷婷| 丁香婷婷视频在线| 国产免费AV在线| 婷婷啪啪| 婷婷五月成人系列| 激情四射婷婷色色色| 九九热免费| 五月天婷婷色播在线网| 青青草网武则天| 丁香婷婷久久| 俺五月| 天天网曰日曰夜夜综合永久免费| 五月丁香六月成人| 亚洲99激情| 婷婷丁香综合色AV| 久久99久久久久久| 五六月丁香激情视频| 射琪琪| 伊人久久婷婷| AAAA网站| 91婷婷丁香五月天免费视频网站| 成人午夜天| 色欲午夜无码久久久久久张津瑜| 天搞天天天天天| 婷婷五月综合中文字幕| 五月婷婷欧美| va婷婷在线免费观看| 久久婷婷人人| 国产毛多水多女人A片| 婷婷天天婷婷天天澡| 国产欧美婷婷| 五月丁香综合网| 99这里只有| 激情综合色婷婷六月天| 色就是色婷婷五月亚洲激情| cao视频,现在观看| 激情五月综合亚洲另类| 五月丁香色| 99 频99热国里只有精品| 99色久| 日本色色影片| 97自拍视频在线| 99热这里只有免费精品| 开心五月激情| 伊人网碰碰| 亚洲AV无码成人电影| 婷婷激情综合| 欧美日韩成人在线网站| 五月激情基地| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 亚洲婷婷丁香五月天激情小说| 99久热精品在线| 色爆五月| 色99色| 成人五月天丁香婷| 深爱激情网综合| 天天爽天天日人人爱| 99在线视频播放| 婷婷五月乱交换| 风流少妇A片一区二区蜜桃| 超碰免费99| 开心深爱激情网| 色婷婷五月天在线| 丁香五月网络网络| 婷婷中文无码| 大香蕉人人人| 爱iii做iiii日日| 国外亚洲成AV人片在线观看| 五月丁香六月情| 99九九99九九九视频精彩| 九九视频这里只有精品| 玖操97| 五月视频日本免费观看| 婷色五月| 丁香五月综合婷婷| 色情婷婷。| 欧美啪啪五月天| 亚洲成人综合网在线免费观看| 九九视频在线观看视频6| 97干在线| 色五月婷婷中文字幕| 五月叮香啪| 大香网伊人久久综合| 色呦呦美女| 色五月婷婷五月天| 天天色噜| 六月丁香六月婷婷欧美| 五月 婷婷 成人| 久久九九在线视频| 丁香婷婷色五月天| 日日激情网| 热久久视频99| 狠狠干伊人| 999热成人在线综合网| 噜噜噜色噜噜| 只有久久精品免费| 五月丁香六月婷婷手机无线| 天天成人综合视频| 99久久久国产精品免费蜜乳tv| 九九九九九九九热| 五月天停停基地| 五月天精品综合| 婷婷五月天电影区小说区| 五月婷婷综合在线观看| 婷婷丁香五月在线播放| 这里只有精品在线视频在线观看| 色情五月婷婷| 国产亚洲精品久久一区二区三区| 丁香激情五月| 大香蕉婷婷五月天| 婷婷丁香五月亚洲| 婷婷五月天激情网| 最近中文字幕2019视频1| 国产看真人毛片爱做A片| 狠狠干五月| 碰碰碰97免费精彩视频| 亚洲一区二区无遮挡A片| 啪啪综合| 六月色日韩| 99在线视频精品| 久久精品亚洲一级牲爱综合| 色无码| 九九热只有精品| 亚洲欧洲中文日韩久久AV乱码| 婷婷五月丁香基| 婷婷爱五月| 噜噜色天天开心| 99色热视频| 亚洲热综合| 色色五月婷| 性av| 免费AV在线网址| 九月婷婷综合| 婷婷五月天亚洲激情戏精品| 99re鈥哸鈥唙| 久久9久| 欧洲电影在线观看免费版英语版| 大大香蕉综合在线| 4399亚洲视频| 六月丁香深深爱| 天天日夜夜曹| 五月婷婷开心网| 182tv992tv人之初午夜免费观看| 99热丁香| 亚色网站小视频| 日本成人噜噜噜| 五月丁香婷婷基地| 国产色婷婷亚洲| 亚州操人在线视频| 99热这里全是精品| 中文字幕无码AV| 中文字幕,综合,91| 天天日人人| 夜夜爱网站| 五月天激情视频| 国产综合丁香五月天| 久久视网36| 婷婷王月天影院| 五月婷婷在线免费观看| 狠狠色婷婷综合开心影视| 久久9精品| 99在这里有精品| 久久伊人五月天| 久热爱大香蕉在线蜜臀悦色 | 五月丁香六月停停停| 色色色色色色色色五月先| 日韩小视频在线99| 久久久五月天| 色婷大香蕉| 五月天激日本色情在线| 五月天天天天天天天天天天天天天天天婷婷婷| 五月婷婷深深爱| 亚洲精品网址| 国产丁香五月天婷婷| 色婷婷a v| 激情四射亚洲| 九九国产精视频| 五月婷婷草| 99久久婷婷精品视频| 六月婷婷深深爱| 欧洲色色| 丁香八月综合激情| 妻久久久久| 婷婷久久五月| av操一操| 五月婷婷丁香综合网| 天天爽人人综合免费7799| 99亚洲精品视频| 色J香五月天| 99热热热99精品婷婷| 五月婷婷在线丁香| 五月丁香花视频| 97操女视频| 思思热在线精品视频网站| 欧美这里只有精品| 婷婷 伊人 久久| 一起草性爱不卡视频| 七月婷婷色香综合网| 五月婷婷激情四季| 97综合在线| 日本97在线视频| 丁香五月婷婷六月丁香| 婷婷五月天丁香综合网| 丁香五月大片| 色爱综合网| 丁香六月婷婷久久综合八月| 久久精品4| 97超碰在线免费观看| 人妻久久久久久久| 狠狠爱婷婷五月天| 五月丁香六月花| 色色色五月天婷婷| 婷婷播播五月天| 日比网免费国产| 色五月视频无码播放| AA片在线观看视频在线播放| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 大香蕉伊人99| 男人的天堂五月丁香| 中文字幕激情综合| 饮料下药迷倒漂亮女同事强干| 亚洲AV电影美洲AV电影| 婷婷五月另类网站| 日笨久久网| 99热这里有精品| www.com色播五月天| 六月综合婷婷开心伊人| 性爱五月婷婷| 亚洲五月丁香六月婷婷| 超碰在线观看9| 久热91| 亚洲思思热久| 久久五月视频|