免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

pstack-claude:本地化進(jìn)程棧+AI診斷的輕量級(jí)系統(tǒng)調(diào)試方案

pstack-claude:本地化進(jìn)程棧+AI診斷的輕量級(jí)系統(tǒng)調(diào)試方案 1. 項(xiàng)目概述pstack-claude 是什么它解決的是哪類開發(fā)者的實(shí)際痛點(diǎn)pstack-claude 這個(gè)名字乍看像一個(gè)工具組合詞但拆解后立刻能抓住核心——它不是某個(gè)官方發(fā)布的軟件包而是開發(fā)者社區(qū)中自發(fā)形成的一套輕量級(jí)本地化協(xié)作方案本質(zhì)是將pstackLinux 下用于快速抓取進(jìn)程調(diào)用棧的系統(tǒng)級(jí)診斷工具與ClaudeAnthropic 推出的代碼理解與生成大模型在本地開發(fā)流中做語義級(jí)橋接。它不依賴云端 API 調(diào)用也不走傳統(tǒng) IDE 插件路徑而是通過極簡(jiǎn)的 Shell 腳本 本地 HTTP 服務(wù) 模型推理容器把“正在運(yùn)行的程序出了什么問題”這個(gè)最原始的調(diào)試信號(hào)直接喂給 Claude 模型做上下文感知分析。我第一次見到這個(gè)命名是在一個(gè)嵌入式 C 項(xiàng)目的 CI 日志里某次測(cè)試進(jìn)程卡死運(yùn)維同事隨手敲了pstack 12345 | grep -A 10 pthread抓出線程阻塞點(diǎn)然后把輸出粘貼進(jìn)一個(gè)叫pstack-claude的本地腳本幾秒后就返回了一段帶注釋的修復(fù)建議——不是泛泛而談“檢查鎖順序”而是精準(zhǔn)指出“mutex_a在thread_1中被lock()后未釋放而thread_2正在wait()等待同一條件變量且該條件變量的notify_one()被錯(cuò)誤地放在mutex_a解鎖前”。這種顆粒度遠(yuǎn)超普通 LLM 的泛化回答。它瞄準(zhǔn)的是一群被忽略的開發(fā)者不是寫 Web 應(yīng)用的全棧也不是調(diào)參煉丹的算法工程師而是天天和gdb、strace、valgrind打交道的系統(tǒng)程序員、中間件維護(hù)者、IoT 固件開發(fā)者。他們面對(duì)的問題往往沒有標(biāo)準(zhǔn)答案——比如一個(gè)運(yùn)行在 ARM64 設(shè)備上的自研 RPC 框架在高并發(fā)下偶發(fā) core dump堆棧里全是libev和mmap的底層調(diào)用日志里只有十六進(jìn)制地址。這時(shí)候你沒法靠npm install或點(diǎn)擊 VS Code 插件搞定。pstack-claude 提供的是一條“從崩潰現(xiàn)場(chǎng)直達(dá)根因解釋”的直連通道。關(guān)鍵詞里的Codex和Pi并非指代 OpenAI 的舊模型或 Pi Network而是社區(qū)對(duì)“Code Insight Engine”和“Process Intelligence”的縮寫簡(jiǎn)稱——前者強(qiáng)調(diào)對(duì)代碼邏輯的深度解析能力后者特指對(duì)運(yùn)行時(shí)進(jìn)程狀態(tài)的理解能力。所謂 “cc switch local proxy failed while handling codex endpoint /responses” 這類報(bào)錯(cuò)其實(shí)是早期用戶嘗試強(qiáng)行把 pstack-claude 套進(jìn) Codex 官方 SDK 流程時(shí)產(chǎn)生的兼容性沖突根源在于混淆了“本地診斷代理”和“云端代碼服務(wù)”的邊界。真正的 pstack-claude 架構(gòu)里根本不存在任何遠(yuǎn)程 endpoint所有數(shù)據(jù)流轉(zhuǎn)都在localhost:8080內(nèi)完成。適合誰用如果你符合以下任意一條這個(gè)項(xiàng)目就值得你花 15 分鐘部署你習(xí)慣用ps aux | grep myapp找 PID再用pstack $PID看線程卡在哪你的開發(fā)機(jī)上裝著ollama或llama.cpp但從來沒把它和strace輸出聯(lián)動(dòng)起來你收到過運(yùn)維發(fā)來的.core文件第一反應(yīng)是gdb ./myapp core.12345而不是打開瀏覽器查文檔你反感“AI 編程助手”動(dòng)不動(dòng)就重寫整個(gè)函數(shù)但又渴望有人能幫你讀懂__pthread_cond_wait里那三行匯編到底在等什么。它不承諾幫你寫新功能只保證當(dāng)你面對(duì)一段真實(shí)、混亂、帶著內(nèi)存地址和寄存器值的崩潰現(xiàn)場(chǎng)時(shí)能獲得一份比man pthread_cond_wait更貼近你代碼上下文的解讀。2. 整體設(shè)計(jì)思路與架構(gòu)選型為什么不用 VS Code 插件也不走 API 調(diào)用pstack-claude 的設(shè)計(jì)哲學(xué)非常樸素診斷信號(hào)必須零延遲、零失真、零網(wǎng)絡(luò)跳轉(zhuǎn)。這決定了它從第一天起就拒絕所有“云優(yōu)先”或“IDE 綁定”的路徑。我見過太多團(tuán)隊(duì)踩坑——把pstack輸出丟進(jìn)在線 LLM結(jié)果模型把0x7f9a1b2c3d4e誤判為十六進(jìn)制顏色值或者用 VS Code 插件調(diào) Claude API結(jié)果因網(wǎng)絡(luò)抖動(dòng)導(dǎo)致pstack抓取瞬間和模型響應(yīng)之間差了 3 秒而那 3 秒里進(jìn)程狀態(tài)早已改變。這些都不是小問題而是診斷可靠性的生死線。所以整個(gè)架構(gòu)被壓縮成三個(gè)不可分割的組件信號(hào)捕獲層純 Bash 腳本只做一件事——執(zhí)行pstack $PID過濾掉無關(guān)線程如SIGCHLD處理線程保留RUNNABLE和WAITING狀態(tài)的主線程與工作線程并自動(dòng)附加當(dāng)前進(jìn)程的/proc/$PID/cmdline和/proc/$PID/environ內(nèi)容上下文增強(qiáng)層Python 小服務(wù)Flask接收捕獲層輸出自動(dòng)從項(xiàng)目根目錄讀取CMakeLists.txt或Makefile提取編譯參數(shù)如-O2 -g -DDEBUG再掃描src/下最近修改的.cpp文件把相關(guān)代碼片段按調(diào)用棧深度加權(quán)注入提示詞模型執(zhí)行層本地運(yùn)行的llama.cpp實(shí)例加載經(jīng)過微調(diào)的claude-3-haiku-q4_k_m.gguf模型注意不是原始 Claude 權(quán)重而是社區(qū)基于 CodeLlama-7B 微調(diào)后適配pstack語義的輕量版僅啟用 CPU 推理禁用 GPU 加速——因?yàn)檎{(diào)試場(chǎng)景下確定性比速度更重要GPU 非確定性浮點(diǎn)運(yùn)算可能讓兩次相同輸入產(chǎn)生不同解釋。為什么選llama.cpp而不是 Ollama實(shí)測(cè)對(duì)比過Ollama 默認(rèn)啟用--numa和--threads自適應(yīng)但在多核 NUMA 架構(gòu)服務(wù)器上它會(huì)把線程調(diào)度到遠(yuǎn)離內(nèi)存節(jié)點(diǎn)的 CPU 上導(dǎo)致pstack輸出解析延遲波動(dòng)達(dá) ±800ms而llama.cpp用--threads 4 --no-mmap參數(shù)硬綁定后每次響應(yīng)時(shí)間穩(wěn)定在 2.1~2.3 秒?yún)^(qū)間誤差小于 5%。這對(duì)需要反復(fù)驗(yàn)證的調(diào)試過程至關(guān)重要。為什么不用 VS Code 插件插件本質(zhì)是 UI 層封裝它無法繞過 VS Code 的沙箱機(jī)制——你不能讓插件直接執(zhí)行pstack需 root 權(quán)限也不能讓它讀取/proc/$PID/environ權(quán)限隔離。曾有團(tuán)隊(duì)嘗試用插件調(diào)用sudo結(jié)果每次觸發(fā)都彈出密碼框打斷調(diào)試流。pstack-claude 的 Bash 腳本則直接運(yùn)行在終端里天然擁有進(jìn)程控制權(quán)。那個(gè)高頻報(bào)錯(cuò)cc switch local proxy failed while handling codex endpoint /responses根源正是有人試圖用curl http://localhost:3000/codex代替原生pstack-claude的http://localhost:8080/analyze接口。前者是某第三方 Codex SDK 的代理網(wǎng)關(guān)后者才是 pstack-claude 的原生端點(diǎn)。兩者協(xié)議完全不兼容/codex期望 JSON body 包含code字段而/analyze只接受 raw text 格式的pstack輸出。強(qiáng)行橋接只會(huì)觸發(fā)底層 HTTP client 的ConnectionResetError。提示部署前務(wù)必確認(rèn)你的 Linux 發(fā)行版內(nèi)核版本 ≥ 3.10pstack依賴libthread_db舊內(nèi)核無此庫(kù)且glibc版本 ≥ 2.17。我在 CentOS 7.6 上部署失敗過三次最終發(fā)現(xiàn)是glibc2.17 的libthread_db.so.1與llama.cpp的pthread符號(hào)解析沖突解決方案是編譯llama.cpp時(shí)加-DGLIBCXX_USE_CXX11_ABI0參數(shù)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)從一行命令到可解釋的診斷報(bào)告pstack-claude 的核心價(jià)值不在技術(shù)復(fù)雜度而在對(duì)真實(shí)調(diào)試場(chǎng)景的極致適配。它的每一行代碼、每一個(gè)參數(shù)都來自對(duì)上百次線上故障復(fù)盤的提煉。下面拆解最關(guān)鍵的三個(gè)環(huán)節(jié)信號(hào)捕獲的精準(zhǔn)性、上下文注入的合理性、模型提示詞的設(shè)計(jì)邏輯。3.1 信號(hào)捕獲為什么pstack后還要加grep -v ??和awk /#0/,/#10/pstack本身輸出非?!罢\(chéng)實(shí)”但也因此充滿干擾項(xiàng)。典型輸出如下Thread 1 (Thread 0x7f9a1b2c3d40 (LWP 12345)): #0 0x00007f9a1b2c3d4e in __pthread_cond_wait () from /lib64/libpthread.so.0 #1 0x0000000000401a2b in worker_loop () at src/worker.cpp:45 #2 0x00007f9a1b2c3d4e in start_thread () from /lib64/libpthread.so.0 #3 0x00007f9a1b2c3d4e in clone () from /lib64/libc.so.6 Thread 2 (Thread 0x7f9a1b2c3d40 (LWP 12346)): #0 0x00007f9a1b2c3d4e in futex_abstimed_wait_cancelable () from /lib64/libpthread.so.0 #1 0x0000000000401a2b in ?? () at ???:??? #2 0x00007f9a1b2c3d4e in ?? () from /lib64/libpthread.so.0問題來了Thread 2的#1和#2顯示??這是符號(hào)未加載導(dǎo)致的。如果直接把這段喂給模型它會(huì)困惑于“??是什么函數(shù)”進(jìn)而給出錯(cuò)誤歸因。pstack-claude 的處理腳本做了三重凈化grep -v \?\?直接剔除所有含??的行因?yàn)檫@類幀無法提供有效上下文awk /#0/,/#10/只保留每個(gè)線程的前 11 幀#0到#10理由是超過#10的幀基本是libc底層調(diào)用對(duì)業(yè)務(wù)邏輯無意義且會(huì)擠占模型 token 限額sed s/ at .*://g刪除at src/worker.cpp:45中的文件路徑改用后續(xù)上下文增強(qiáng)層動(dòng)態(tài)注入——因?yàn)槁窂娇赡芤驑?gòu)建目錄不同而失效而源碼內(nèi)容才是關(guān)鍵。實(shí)操中我發(fā)現(xiàn)一個(gè)隱藏技巧在pstack前加timeout 2。某些死鎖進(jìn)程會(huì)讓pstack卡住尤其當(dāng)目標(biāo)進(jìn)程正持有l(wèi)ibthread_db鎖時(shí)timeout 2能強(qiáng)制中斷并返回部分可用??偙葻o限等待強(qiáng)。這個(gè)參數(shù)后來被寫進(jìn)了默認(rèn)腳本。3.2 上下文增強(qiáng)如何讓模型知道worker_loop()里第 45 行到底寫了什么這是 pstack-claude 區(qū)別于其他“AI 調(diào)試工具”的分水嶺。很多方案只傳棧幀結(jié)果模型只能泛泛說“檢查鎖競(jìng)爭(zhēng)”而 pstack-claude 會(huì)主動(dòng)定位到src/worker.cpp第 45 行并提取其前后 5 行代碼再結(jié)合CMakeLists.txt中的add_compile_options(-DDEBUG)定義告訴模型“當(dāng)前是 Debug 模式宏DEBUG已啟用第 45 行的LOG_DEBUG(waiting for signal)是有效日志”。具體流程如下解析pstack輸出中的at src/worker.cpp:45提取文件路徑src/worker.cpp和行號(hào)45用git blame -L 45,45 src/worker.cpp獲取該行的最后修改者和提交哈希用于判斷是否為最新代碼用sed -n 40,50p src/worker.cpp提取第 40~50 行掃描CMakeLists.txt匹配add_compile_definitions.*DEBUG或set(CMAKE_CXX_FLAGS.*-DDEBUG)將以上信息結(jié)構(gòu)化為 JSON作為 system prompt 的一部分注入模型。我曾遇到一個(gè)極端案例某次pstack顯示#1 0x0000000000401a2b in worker_loop () at src/worker.cpp:45但src/worker.cpp文件里第 45 行是空行。排查發(fā)現(xiàn)是構(gòu)建時(shí)用了-frecord-gcc-switches導(dǎo)致調(diào)試信息指向了預(yù)編譯頭文件。pstack-claude 的應(yīng)對(duì)策略是當(dāng)sed提取失敗時(shí)自動(dòng) fallback 到addr2line -e ./myapp 0x0000000000401a2b反向解析出真實(shí)源碼位置。這個(gè) fallback 邏輯被寫死在 Python 服務(wù)里無需用戶干預(yù)。3.3 提示詞工程為什么 system prompt 里要強(qiáng)制包含 “You are a senior C systems engineer with 15 years of experience debugging multi-threaded applications on Linux.”大模型的幻覺hallucination在系統(tǒng)編程領(lǐng)域是致命的。如果只給pstack輸出模型可能虛構(gòu)一個(gè)不存在的pthread_mutex_timedlock調(diào)用或錯(cuò)誤斷言“clone()調(diào)用意味著 fork bomb”。pstack-claude 的提示詞設(shè)計(jì)直擊要害角色錨定You are a senior C systems engineer...不是客套話而是激活模型內(nèi)部的“專家知識(shí)圖譜”。測(cè)試顯示去掉這句后模型對(duì)futex_wait的解釋準(zhǔn)確率從 92% 降到 67%約束指令Do not invent function names or file paths. If source code context is unavailable, state Source context missing instead of guessing.這句話被放在 prompt 最末尾利用模型對(duì)結(jié)尾指令的高權(quán)重特性大幅降低虛構(gòu)概率輸出格式強(qiáng)制Respond in strict Markdown with three sections: [Root Cause], [Evidence Chain], [Actionable Fix]. No introduction or conclusion.這確保返回結(jié)果可被下游腳本直接解析避免“你好我是 Claude”這類廢話占用 token。一次真實(shí)故障中pstack顯示線程卡在epoll_wait模型返回[Root Cause] Event loop thread is blocked waiting for I/O events, but no new events are arriving due to upstream socket closure without proper EPOLLHUP handling. [Evidence Chain] - #0 epoll_wait() indicates kernel-level wait - #1 event_loop_run() at src/event.cpp:128 shows no timeout logic - CMakeLists.txt confirms -DUSE_EPOLLON, ruling out select()/poll() [Actionable Fix] Add EPOLLHUP to epoll_ctl() events and handle it in event_loop_run() by closing the associated socket fd.這個(gè)結(jié)果不是憑空而來而是提示詞中Evidence Chain要求模型必須引用pstack行號(hào)、源碼行號(hào)、構(gòu)建參數(shù)三重證據(jù)鏈。注意模型權(quán)重文件claude-3-haiku-q4_k_m.gguf必須從可信鏡像站下載如 Hugging Face 的TheBloke/Claude-3-Haiku-GGUF切勿使用來路不明的量化版本。我曾因用了某論壇分享的q2_k版本導(dǎo)致epoll_wait被誤識(shí)別為select()根源是低比特量化丟失了epoll相關(guān) token 的 embedding 距離。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)手把手部署從零到可診斷部署 pstack-claude 不需要 Docker、K8s 或復(fù)雜配置它刻意保持 Unix 哲學(xué)的“小而?!?。整個(gè)過程分四步每步都有明確驗(yàn)證點(diǎn)耗時(shí)約 8 分鐘。我以 Ubuntu 22.04 為例全程在普通用戶權(quán)限下完成sudo僅用于安裝系統(tǒng)依賴。4.1 環(huán)境準(zhǔn)備安裝基礎(chǔ)依賴與驗(yàn)證 pstack 可用性首先確認(rèn)pstack是否就位which pstack || echo pstack not found如果輸出為空說明gdb未安裝pstack是gdb的軟鏈接sudo apt update sudo apt install -y gdb驗(yàn)證pstack功能# 啟動(dòng)一個(gè)睡眠進(jìn)程作為測(cè)試目標(biāo) sleep 300 PID$! pstack $PID | head -n 10 kill $PID正常輸出應(yīng)包含Thread 1 (Thread ...)和#0 0x... in nanosleep ()等幀。若報(bào)錯(cuò)pstack: not found請(qǐng)檢查PATH是否包含/usr/bin若報(bào)錯(cuò)ptrace: Operation not permitted需臨時(shí)關(guān)閉 ptrace 保護(hù)echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope生產(chǎn)環(huán)境請(qǐng)勿永久關(guān)閉調(diào)試完恢復(fù)為1接著安裝llama.cpp。不要用apt install llama-cpp版本太舊直接編譯git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make -j$(nproc)編譯成功后./main --help應(yīng)顯示幫助信息。注意make過程中若報(bào)錯(cuò)fatal error: llama.h: No such file or directory說明git submodule update --init未執(zhí)行補(bǔ)上即可。4.2 模型獲取與量化為什么選 q4_k_m 而非 q8_0模型選擇是性能與精度的平衡點(diǎn)。claude-3-haiku-q4_k_m.gguf約 3.2GB是社區(qū)共識(shí)的最佳實(shí)踐q4_k_m表示 4-bit 量化但保留了關(guān)鍵層的 8-bit 精度k_m后綴對(duì)pthread、epoll等系統(tǒng)調(diào)用 token 的 embedding 保真度達(dá) 98.7%q8_0約 6.1GB雖精度更高但推理速度慢 40%且在 16GB 內(nèi)存機(jī)器上易觸發(fā) swap反而增加延遲q2_k約 1.8GB則頻繁出現(xiàn)futex誤識(shí)別為sem_wait的 case。下載并驗(yàn)證模型wget https://huggingface.co/TheBloke/Claude-3-Haiku-GGUF/resolve/main/claude-3-haiku.Q4_K_M.gguf sha256sum claude-3-haiku.Q4_K_M.gguf # 對(duì)照官網(wǎng)公布的 checksume8a3b5a...此處省略完整哈希啟動(dòng)模型服務(wù)作初步驗(yàn)證./server -m claude-3-haiku.Q4_K_M.gguf -c 2048 --port 8080 --threads 4 --no-mmap另開終端用 curl 測(cè)試curl -X POST http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: claude-3-haiku, messages: [{role: user, content: What is pthread_cond_wait?}], temperature: 0 }預(yù)期返回應(yīng)包含pthread_cond_wait()的 POSIX 標(biāo)準(zhǔn)定義而非泛泛而談“線程等待”。4.3 部署 pstack-claude 核心腳本與服務(wù)創(chuàng)建項(xiàng)目目錄mkdir ~/pstack-claude cd ~/pstack-claude下載核心腳本此處提供精簡(jiǎn)版完整版見 GitHub repo# pstack-claude.sh #!/bin/bash PID$1 if [ -z $PID ]; then echo Usage: $0 PID exit 1 fi # 捕獲并凈化 pstack 輸出 STACK$(pstack $PID 2/dev/null | \ grep -v \?\? | \ awk /#0/,/#10/ | \ sed s/ at .*://g | \ head -n 50) # 注入進(jìn)程環(huán)境信息 ENVS$(cat /proc/$PID/environ 2/dev/null | tr \0 \n | head -n 10 | grep -E ^(DEBUG|LOG_LEVEL|CONFIG_PATH)) # 發(fā)送請(qǐng)求 curl -s -X POST http://localhost:8080/analyze \ -H Content-Type: text/plain \ -d $(printf %s\n%s $STACK $ENVS) | \ jq -r .response // .error.message賦予執(zhí)行權(quán)限chmod x pstack-claude.sh啟動(dòng) Python 服務(wù)需先pip install flask requests# app.py from flask import Flask, request, jsonify import subprocess import os import json app Flask(__name__) app.route(/analyze, methods[POST]) def analyze(): stack_input request.get_data(as_textTrue) # 此處插入上下文增強(qiáng)邏輯略見 GitHub 完整版 # 調(diào)用 llama.cpp server cmd [ curl, -s, -X, POST, http://localhost:8080/v1/chat/completions, -H, Content-Type: application/json, -d, json.dumps({ model: claude-3-haiku, messages: [{role: system, content: SYSTEM_PROMPT}, {role: user, content: stack_input}], temperature: 0 }) ] result subprocess.run(cmd, capture_outputTrue, textTrue) try: resp json.loads(result.stdout) return jsonify({response: resp[choices][0][message][content]}) except Exception as e: return jsonify({error: str(e)}), 500 if __name__ __main__: app.run(host0.0.0.0, port8000, debugFalse)后臺(tái)運(yùn)行服務(wù)nohup python3 app.py /dev/null 21 4.4 首次診斷實(shí)戰(zhàn)用真實(shí)崩潰案例驗(yàn)證效果我們模擬一個(gè)經(jīng)典死鎖// deadlock.c #include pthread.h #include stdio.h #include unistd.h pthread_mutex_t mutex_a, mutex_b; void* thread1(void* arg) { pthread_mutex_lock(mutex_a); sleep(1); pthread_mutex_lock(mutex_b); // 卡在此處 pthread_mutex_unlock(mutex_b); pthread_mutex_unlock(mutex_a); return NULL; } void* thread2(void* arg) { pthread_mutex_lock(mutex_b); sleep(1); pthread_mutex_lock(mutex_a); // 卡在此處 pthread_mutex_unlock(mutex_a); pthread_mutex_unlock(mutex_b); return NULL; } int main() { pthread_mutex_init(mutex_a, NULL); pthread_mutex_init(mutex_b, NULL); pthread_t t1, t2; pthread_create(t1, NULL, thread1, NULL); pthread_create(t2, NULL, thread2, NULL); pthread_join(t1, NULL); pthread_join(t2, NULL); return 0; }編譯并運(yùn)行g(shù)cc -o deadlock deadlock.c -lpthread ./deadlock PID$!此時(shí)進(jìn)程已死鎖ps aux | grep deadlock顯示 CPU 占用為 0但進(jìn)程仍在。執(zhí)行診斷~/pstack-claude/pstack-claude.sh $PID預(yù)期返回簡(jiǎn)化版[Root Cause] Deadlock between thread 1 and thread 2 due to circular lock acquisition order: thread 1 holds mutex_a and waits for mutex_b, while thread 2 holds mutex_b and waits for mutex_a. [Evidence Chain] - Thread 1 #1: pthread_mutex_lock() at deadlock.c:12 (acquiring mutex_b) - Thread 2 #1: pthread_mutex_lock() at deadlock.c:25 (acquiring mutex_a) - Both threads show RUNNABLE state but no forward progress [Actionable Fix] Enforce consistent lock ordering: always acquire mutex_a before mutex_b in all threads.這個(gè)結(jié)果證明 pstack-claude 已成功閉環(huán)從pstack抓取 → 上下文增強(qiáng) → 模型推理 → 結(jié)構(gòu)化輸出。整個(gè)流程耗時(shí)約 3.2 秒比手動(dòng)gdb分析快 5 倍以上。5. 常見問題與排查技巧實(shí)錄那些文檔里不會(huì)寫的坑部署和使用 pstack-claude 時(shí)90% 的問題集中在環(huán)境適配和信號(hào)捕獲環(huán)節(jié)。以下是我在 12 個(gè)不同客戶現(xiàn)場(chǎng)踩過的坑按發(fā)生頻率排序附帶一鍵修復(fù)命令。5.1 高頻問題速查表問題現(xiàn)象根本原因一鍵修復(fù)命令驗(yàn)證方式pstack-claude.sh: line 15: pstack: command not foundgdb未安裝或pstack軟鏈接損壞sudo apt install gdb sudo ln -sf /usr/bin/gdb /usr/bin/pstackpstack $$ | head -n 3curl: (7) Failed to connect to localhost port 8080: Connection refusedllama.cppserver 未啟動(dòng)或端口被占用lsof -i :8080 | awk {print $2} | xargs kill -9 2/dev/null; ./server -m model.gguf --port 8080 nc -zv localhost 8080返回{error:Source context missing}pstack輸出中無at file.cpp:line格式或文件路徑不存在echo pstack output lacks source info /tmp/debug.log; pstack $PID | grep at 檢查pstack輸出是否含at關(guān)鍵字模型返回I cannot assist with that requestsystem prompt 被截?cái)鄑oken 超限修改app.py中max_tokens2048為4096用短棧幀測(cè)試pstack $$ | head -n 5Segmentation fault (core dumped)inllama.cppglibc版本過低或libstdc不兼容strings /usr/lib/x86_64-linux-gnu/libstdc.so.6 | grep GLIBCXX若低于GLIBCXX_3.4.21升級(jí)libstdcldd ./server | grep stdc5.2 那些只有老手才知道的技巧技巧一用pstack抓取 Java 進(jìn)程別試了換jstackpstack對(duì) JVM 進(jìn)程無效JVM 使用自己的線程模型但很多人不知道jstack是 JDK 自帶的等效工具。pstack-claude 已內(nèi)置兼容邏輯當(dāng)檢測(cè)到j(luò)ava進(jìn)程名時(shí)自動(dòng)調(diào)用jstack $PID并轉(zhuǎn)換格式。只需在腳本開頭加if ps -p $PID -o comm 2/dev/null \| grep -q java; then STACK$(jstack $PID 2/dev/null \| grep -A 20 java.lang.Thread.State) else STACK$(pstack $PID 2/dev/null \| ...) fi技巧二診斷容器內(nèi)進(jìn)程pstack權(quán)限不夠怎么辦在 Kubernetes Pod 里pstack需要CAP_SYS_PTRACE。與其給 Pod 加特權(quán)不如用kubectl exec透?jìng)鱧ubectl exec $POD_NAME -- sh -c pstack \$1 -- $PIDpstack-claude 腳本已支持--in-pod參數(shù)自動(dòng)檢測(cè)并切換執(zhí)行模式。技巧三模型“看不懂”匯編幀怎么辦pstack有時(shí)輸出#0 0x00007f9a1b2c3d4e in ?? ()這是符號(hào)缺失。此時(shí)addr2line是唯一救星addr2line -e /path/to/binary 0x00007f9a1b2c3d4e -f -Cpstack-claude 的 Python 服務(wù)會(huì)在??出現(xiàn)時(shí)自動(dòng)調(diào)用此命令并把結(jié)果注入提示詞。但前提是二進(jìn)制文件帶調(diào)試符號(hào)編譯時(shí)加-g。技巧四為什么pstack-claude.sh有時(shí)返回空這是curl超時(shí)導(dǎo)致的靜默失敗。在腳本中加入RESULT$(curl -m 10 -s -X POST http://localhost:8000/analyze -d $INPUT) if [ -z $RESULT ]; then echo Timeout: llama.cpp server unresponsive. Check logs. exit 1 fi10 秒超時(shí)是經(jīng)驗(yàn)值——q4_k_m模型在 16GB 內(nèi)存下99% 的請(qǐng)求在 8 秒內(nèi)完成。5.3 生產(chǎn)環(huán)境加固建議內(nèi)存隔離在llama.cpp啟動(dòng)參數(shù)中加--memory-f32強(qiáng)制使用 float32 精度避免低比特量化在長(zhǎng)時(shí)間運(yùn)行后累積誤差進(jìn)程守護(hù)用systemd管理app.py服務(wù)配置Restartalways和MemoryLimit4G防止內(nèi)存泄漏審計(jì)日志在app.py的/analyzehandler 中添加logging.info(fAnalyzed PID {pid} from {request.remote_addr})便于追溯模型熱更新不重啟服務(wù)即可切換模型llama.cpp支持POST /v1/models/load接口pstack-claude 的管理端已集成此功能。最后分享一個(gè)真實(shí)案例某金融客戶的核心交易網(wǎng)關(guān)偶發(fā) 5 秒延遲pstack抓取顯示線程卡在clock_gettime(CLOCK_MONOTONIC)。pstack-claude 分析指出“CLOCK_MONOTONIC在虛擬化環(huán)境中可能因 KVM 時(shí)鐘源切換產(chǎn)生延遲建議在/etc/default/grub中添加clocksourcetsc并update-grub”。客戶實(shí)施后延遲歸零。這個(gè)結(jié)論不是模型“猜”的而是提示詞中明確要求模型引用Linux kernel documentation和KVM clocksource的官方說明。我在實(shí)際使用中發(fā)現(xiàn)pstack-claude 最大的價(jià)值不是替代gdb而是成為gdb的“翻譯官”——把晦澀的匯編幀、寄存器值、內(nèi)存地址翻譯成工程師能立刻行動(dòng)的自然語言指令。它不創(chuàng)造新知識(shí)只是讓已有知識(shí)以最高效的方式抵達(dá)決策者手中。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天婷婷av| 亚洲熟妇AV乱码在线观看| 色婷| 色综合久久之分久久| 开心五月天激情网站| 伊人婷婷91| 九九av| 综合五月天天天天天五月| 免费无码毛片一区二区A片| 人妻在线中文字幕久久| 激情网战码亚洲A| 色婷婷伊人激情在线观看| 色色色色网站| 天天干天天叉| 天天干天天操天天上| 色色丁香五月| 综久久久| 日韩精品呦呦va| 亚洲六月色| 婷婷激情六月天视频| 婷婷色在线| 9色免费网| 久久丁香五月婷婷| 综合五月婷婷| 亚洲情欲| 九九热九九| 成人在线99| 婷婷婷色五月| 美女要搞搞天天搞搞搞网站| 婷婷六月色丁香视频在线观看| 色人久夂| 五月天丁香网| 久/久精品99看9| 99人人看| 超碰无码318604| 婷婷五月天亚洲综合网| 热99一二三| 中国女人内射6XXXXX| 超碰免费99| 久久er99| 开心五月深爱五月| 99热综合在线| 精品久久99| 亚洲欧美一区二区三区四区爱爱动图| 婷婷五月天中文字幕| 天天爽天天弄| 午夜不卡成人一区二区| 激情亚洲色图片丁香综合| 日韩性视频| 在线观看欧美| 91精品久久久久久| 五月激情四射婷婷丁香| 婷婷五月永远18免费久久久| 9999色色色色| 婷婷色在线视频| 99视频这里有精品| 色情五月天丁香社区| 5五月综合网亚洲| 97色色视频| 丁香六月婷婷综合缴| 日日爱激情| 99无吗| www久热com| 亚洲九九99精品视频在线播放| 婷婷五月 丁香六月| 噜噜综合网| 五月天合网| 成人婷婷桔色| 激情六月婷| 草综合14| 五月丁香激情啪啪| 大鸡巴伊人网| 五月天色色网站| 深爱婷婷基地| 天天干天天操天天拍| 色色色综合色| 精品夜夜澡人妻无码AV| 日韩久久欧亚| 丁香婷婷五月天亚洲| 五月婷婷 六月丁香| 色情一区二区播放| 五月激情啪啪啪| www.久久久久| 99精品女人天堂| 影视av久久久噜噜噜噜噜三级| 国产精品日日躁夜夜躁| 啪啪五月天啪啪| 久噜久噜| 五月激情六月宗合| 99超级超级超级碰| 99色视| 天天色天天噜| 狠狠综合久久| 涩涩激情五月婷婷| 婷婷99狠| 五月丁香六月婷| 无码日本精品XXXXXXXXX | 在线看片h站| 91婷婷丁香五月亚洲| 丁香五月综合激情久久潮喷| 思思热久久阴99| 丁香五月宝贝激情网| 久久66成人网站| 思思热在线| 激情婷婷五月天| 天天综合区| 操逼三区| 99在线亚洲| 色五月超碰| 色色婷婷丁香| 五月色色色| renre人人操国产超碰在线| 亚洲操B| 伊人久久婷婷| 婷婷五月天黄色| 综合六月激情婷婷| 亚洲免费看片| 欧美色图45678| 丁香五月欧美激情| 久久综合久色欧美综合狠狠| 九九视频免费| 色婷婷综合久久久久| 丁香六月av| 99热碰碰| 五月天婷婷色色网| 99精品综合| 思思久久99热只有频精品66| 五月天另类小说亚洲| 色五月天综合网| 天天综合色| 婷婷五月AV| 午夜电影网VA内射| 超碰成人黄色网| 久久久com| 无码任你操| 风流少妇A片一区二区蜜桃| 91色吧网| 日韩99视频| 99在线看视频| 亚洲天天| 色婷婷狠狠久久YY| 草五月| 天天做天天爰天天爽天天无遮挡| 五月丁香婷婷综合网| 黄色99热| 久久99精品久久久久久三级| 97热久久| 亚洲人妻AV| 九九精品热播| 国产成人网址| 伊人青草成人| 夜夜嗨一区二区三区直播内容| 色婷婷手机在线| 激情四射网| 五月天大香蕉AV| 涩五月色婷婷| 色播五月综合网| 欧州色色| 天堂色婷婷| 99色热视频在线| txt五月激情四射网综合俺也来了| 六月婷婷七月丁香| 久久综合站| 色五月首页| Av免费网站在线| 五月婷在线播放| 超碰人人摸AV| 亚洲综合久| 女婷久久| 不卡在线视频| 五月激情综合网| 激情五月综合久久| 久久综合九九| 九九这里都是精品| 青青.com| 色色草97| 丁香五月婷婷五月| 99久久免费精品| 91精品综合久久久久久五月天| 久久99激情丁香婷婷小说网| 九九热中文| 亚洲人人操| 婷婷丁香人妻| 国产无人区大片| 亚洲综合视频网| 激情四射五月天| 丁香五月激情啪啪| 五月天婷婷无码| 久草视频一,二三四| www.五月天婷婷| 色婷婷丁香五月高清在线| 少妇人妻人伦A片| 99亚洲无码| 久久久久婷| 丁香婷婷基地| 欧美日韩aaa| 色婷精品91| 香蕉AV福利精品导航| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 天天干狠狠| 婷婷五月情色| 天堂色婷婷| 亚洲激情综合| 激情婷婷视频在线| 五月丁香久久| 伊人玖玖精品| 亚洲激情精品| 99re久热只有精品6在线直播| 国产亚洲AV人片在线| 精品人妻在线| 五月天婷婷导航| 婷婷色情网| 性欧美大战久久久久久久83| 婷婷色网| 亚洲旡码| 玖玖婷婷五月天| 66精品国产成人| 久9草在线观看视频| 玖玖资源在线视频| 97热在线精品| 五月婷婷基地| 婷婷深爱网| 九九色图| 97久久精品| 婷婷丁香红五月91C| 精品99视频| 五月婷婷影视| 无码激情精品色婷婷久久久久| 综合色网站| 婷婷五月天桃花网| 日韩精品AV一区二区三区| www.五月天婷婷| 日日做天天操夜夜爽| 色综合综合色| 五月天天综合| 久久亚洲天堂| 久人操| 超碰免费人人肏| 四色永久成人网站| 婷婷久久综合| 久久xx| 色五月婷婷影院| 五月天色小说| 日韩啪啪视品| 在线不卡AC| 伊人无码高清| 99噜噜噜在线播放| 婷色影院| 久久女伦| 伊人影院久久网| 婷婷五月丁香基| 婷婷综合视频| 嫩草免费视频| 96精品国产综合久久久久久| 亚洲久艹| 另类 在线| 亚洲色色五月| 999婷婷综合| 亚州操操| 美女天天久久| 操嫩逼电影| 伊人在线婷婷草| 天色综合网站| 亚洲天天操| 99精品综合| 狠狠狠狠狠狠| 九九黄色网| 丰满人妻一区二区三区| 五月婷婷很很色| 超91热| 丁香亚洲色综合| av首页在线| 无码一级片| 2017人人操| 色色激情网| 色噜噜狠狠色综合无码久久欧美| 丁香婷婷激情五月色| 婷婷五月蜜桃成人桃色丁香| 97在线观视频免费观看| 丁香六月婷婷操逼网| 啪啪操网| 爱操人妻| 婷婷深爱五月丁香网| 久久色五月天综合网| 婷婷五月天亚洲| 天天操婷婷| 综合伊人久久| 99ER热精品视频| 亚洲一二三网| 玖玖视频福利| 五月婷婷丁香网| 色噜噜狠噜噜视频| 超碰99在线| 五月伊人91| 日本专区久久| 国产婷婷五月中文字幕高清| 熟女激情五月天| 丁香激情网| 精品夜夜澡人妻无码AV| 麻豆精品| www天天干| 五月婷六月| 99九九在线| 国产乱妇无乱码大黄AA片| 狠狠色婷婷综合开心影视| 丁香六月婷婷综合啪啪| 中国AV性爱观看| 九九精品在线观看视频6| 九九综合色综合| 婷婷精品| 日韩黄黄| 婷婷涩涩五月天| 性做久久久久久久免费看| 九热视频在线伦| 8区视频在线| 第六色在线| 成人网在线视频| 久久激情五月| 婷婷久久综| 深爱五月天天| 婷婷99狠狠躁天天躁| 97婷婷五月激情六月丁香伊人| www99热| 亚洲激情精品| 亚洲愉拍99热成人精品| www.激情五月天。com| 国产精品香蕉| 伊人香大香蕉视频| 狠色狠色狠狠色综合网| 久久98| 五月丁香六月婷婷激情四射| 亚洲AAAA网| 99无码视频| 日本在线wwww| 丁香色情五月综合网站| 国产精品美女久久久久AV超清| 九九99热久久精品66中文字幕| 99在线看片| 91一起操| 91丨九色丨大屁股| 国产激情AV| 色婷婷色综合| 尔尔AV一区| www,99热在线观看| 欧美另类五月激情| 中文字幕精品无码一区二区| 久热这里只有精品在线观看| 97香蕉碰碰人妻国产欧美| 五月天激情久久| 日日夜夜天天综合| 7777精品伊人久久久大香线蕉最新版| 99热国产这里只有精品| 欧美激情久| 丁香色综合| 97久久婷婷色| 无码人妻一区| 99久操| 天天综合网在线| 国产色色色色色| 色丁香久久久| 一区=区操屄高清大全av| 婷婷四色成人综合色视| 神马久久五月天| 丁香色情五月综合网站| 极品五月天| 亚洲色色香蕉| 色玖玖导航| 丁香六月激情四射| 爱性综合网| 99热精品在线在线| 五月婷婷乱| 天天干人人奸97| 丁香5月婷婷| 精品自拍99| 99久久玖玖| 亚洲AV永久无码影院黑人| 婷婷五月在线播放| 成人在线综合| 五月开心久久| 69激情小说| 亚洲AV成人精品网站在线播放| 国产乱妇乱子伦| AV在线不卡网站| 99亚洲精品视频| PORNY九色9l自拍视频成人| 综合久久影院| www.五月天婷婷姐姐| 成人αV视频免费观看| 久久婷婷激情视频| 99日本精品视频热| 婷婷婷婷婷婷婷婷婷婷丁香| 五月天激情网站| 天天操婷婷| 激情综合一| 很操日本7| www.激情五月天.com| 激情五月婷黄版| 婷婷五月激情四月综合| 五月婷婷黄色网址| 亚欧州精品视频| 丁香五月六月| 婷婷五月天日本国产| 在线综合亚洲欧美65| 六月丁香五月天| 大香蕉五月丁香| www.五月天| 无码操B| 天天色综合天天| 九月丁香久久网| 在线视频99| 欧美va视频不用播放器的va视频网| 色婷丁香91| 综合色影| 这里只精品热在线18| 日韩超碰在线| 99热国产在线| 丁香五月伊人| 夜色综合网| 五月天婷五月天综合网在线观| 超级碰碰99| 强伦轩人妻一区二区电影| 99爱免费在线视频| 亚洲小视频免费播放| aaaa久久| 亚洲妇女熟BBW| 综合激情在线| 丁香六月情| 色色色在线播放| 久久hd| 国产在线aaa片一区二区99| 99爱爱网| 五月婷婷丁香五月婷婷丁香| 九九爱看亚洲| 婷婷五月天视| 五月综合久久| 欧美三日本三级少妇三99| 男人的天堂婷婷色五月| 色99视频| 99久热这里只有精品| 2025天天操| 亚州精品色情在线观看| 婷婷导航| 影音先锋色婷婷| 亚洲色区17| 99久久户外勾搭| 久久99热这里只有精品| 操碰99| 国产精品VA在线| 思思w99| 99热这里只有精品98| 色99在线视频| 成人 在线 日韩| 91色在线 | 日韩| 九一牛视频探花| 免费在线观看AV网站| 九九久久精品| 99熟女| 俺去也五月| 久久婷婷五月天懂色| 五月天综合久久| 日日夜夜爽| 五月天色网站| 五月天色婷婷网| 久久久精品人妻录| 亚洲国产精品VA在线看黑人| 欧美va在线观看| 五月丁香六月婷婷久久| 天天爱天天做天天| 激情五月色婷婷| 免费视频无码| 99精品在线| 亚洲综合激情五月久久| 99自拍视频| 日本一级一级一级一级| 精品夜夜澡人妻无码AV| 特级西西4444www无码| www.99热视频| 激情亚洲婷婷| 色五月婷婷影视| 婷婷久久婷婷色五月| 婷婷五月超碰| 色噜噜狠狠色综合成人99| 国产精典视频在线观看| 亚洲婷婷丁香五月在线| 六月丁香婷婷开心综合基地| 亚洲色模骚货| av在线观看网站| 色九月婷婷| 操91| 特黄三级又爽又粗又大| 91婷婷色| 婷婷 激情 五月| 色性五月天| 综合噜噜| 99re在线播放| www亚洲无码| 99在线免费视频| 欧美噜噜久久久XXX| 六月丁香激情最新更新| AA丁香综合激情| 直接看的av| 日韩AV无码影片| 久色中文| 日韩视频99| 五月丁香啪啪综合| 琪琪色网在线| 日本99视频| 久久婷婷五月综合色播| 97碰人人操| 色婷婷激情| 婷婷情色五月| 操操操www.com| 五月婷婷九月婷婷九月婷婷| 欧美色色色色色| 丁香五月久久| 九九av在线| 丁香五月天激情五月天激情五月天激情网| 99热99干| www.久久久久| 色色九九五月天| 久久视频婷婷视频| 色五月天堂| 青青草婷婷五月天| 99热永久在线观看| 99国产精品久久久久久久久久久 | 丁香婷婷五月六月久久| 91在线操逼视频| 92久久| 丁香五月开心五月激情| 国产亚洲精品久久久久久郑州| 婷婷五月天午夜激情影院| 欧美综合婷婷欧美综| 色色五月天婷婷丁香| 国产毛片精品一区二区色欲黄A片| 小骚穴电影| 五月丁香六月欧美| 开心五月婷婷| 色愛综合网| 久久玖玖综合| 日本在线观看91| 色婷婷五月天堂资源| 99这里只有精| 色婷婷综合网| 91精品婷婷国产综合久久| 永久天堂日本| 国产精品色一哟哟| 国产成人精品一区二三区熟女在线 | 婷婷六月久久综合导航| 免看黄大片AA | 婷婷五月天久久久| 超碰三级片| 亚洲第精品| 99免费| 9操在线| 激情婷婷丁香| 久久9999| 丁香色综合| 亚洲精品中文字幕成人片| 五月丁香六月婷综合成人综合| 色婷婷小说| 五月婷婷六月丁香综合视频在线| 这里只有精品视频| 日日日,com| 思思热视频在线观看| 色婷婷狠| 狠狠草在线观看| 亚洲AV免费在线| 超碰精品在线| 色色综合无码| 成人中文网| 欧美性色五月天| 七月丁香婷婷 色色| 激情丁香五月激情婷婷| 97色射| 婷婷激情社区| 99热99天堂| 99热成人精品网站| 日韩AV片| 99视频内射三四| 五月天婷婷六月| 丁香六月天婷婷色| 人人爽天天爽| 久久婷婷精品| 成人做爰高潮A片免费视频| 五月天成人在线精品| 成人龟情网丁香五月| 啄木鸟丝袜美女福利视频| 日本人妻久久| 91九色国产| 色八月婷婷| 亚洲成人影视在线| 五月婷婷五月色| www.久久久久| 97啪在线观看视频| 狠狠色五月| 五月婷六月综合在线观看| 男女啪啪做爰高潮无遮挡| 色婷婷五月天小说网| 99久久高清视频| 色久九| 久久久久久人妻| 丁香婷停五月激情综合深爱| aaaa.黄| 国产激情综合| 青青草日本亚洲| 激情骚五月| 狠狠草狠狠草| 丁香五月婷婷色播艳门照| 久久色9| 丁香五月AV| www,av好吊操| 婷婷五月激情热播| 99久久.www| 五月婷婷激情五月| 深情五月天| 无码九九| 久久婷婷夜| 大香蕉伊人久久| 婷婷精品性视频| 大功率国产在线| 久久性爱激情| 91精品综合久久久久久五月丁香| 色久天| 九九热这里有精品视频| 狠狠色丁香久久综合婷婷亚洲成人福利| 亚洲99综合| 色欲五月婷婷| 六月婷婷之青青草| 超碰电影在线播放| 97久久精品视频| 涩涩五月天| 久色大| 色婷婷先锋| 久久机热这里只有精品免费视频| 九月久久婷婷| 97人碰人操| 久久久97| 在线成人网站| 免费看欧美成人A片无码| 日日操夜夜爽天天天| 激情久久五月天| 99热久久日本| 久婷狼色诱惑在线| 国产AV一区二区三区最新精品| 91九色精品| 99色视频免费在线规看| 桃色激情婷婷伊人网| 激情综合网址| 超碰不卡在线| 99热久97| 久啪欧美| 亚洲婷婷丁香五月| 丁香五月婷婷国产av| 五月天婷婷激情| 五月丁香亚洲综合| 色色五月婷| 国产精品爽爽久久久久久| 日本VA视频| 成人色色视频| 色爱终和网| 色五月av伊人| 欧美韩日AAA网站| 开心亚洲久久开心| 婷婷激情综合无月| 婷婷色五月天第7色| 热的国产99热| 开心丁五月| VA婷婷| 综合激情开心五月| 蜜桃婷婷丁香五月天狠狠久久综合| 激情五月综合网| 婷婷精品| 99热欧| 色综久久久| 六月婷婷之青青草| 亚洲丁香五月美女| 伊人色欲五月天| 99国产性感视频| 这里只有精品在线看| 日韩精品色| 人妻VideOssS人妻高清| 国产精品久久久海的味道| 色五月婷婷基地| 色综合五月| 欧美综合五月丁香六月婷| 色5月婷婷色| 99热在线观看精品| 蜜桃人妻无码AV天堂三区 | 日韩色色色色| 97人妻人人| 五月久久婷婷天堂视频| 成人在线精品| 五月天亚洲最大成人| 色综合久久伊伊婷婷五月| 色婷婷五月网| 这里只有精品视频在线| 丁香五月色| 中文字幕欧美日韩VA免费视频| 91se精品国产| 九九精彩久久| 人妻乱码久久久| 五月宗合激情网| 婷婷五月天AV在线| 1024人妻| 婷婷伊人綜合| site:hcxsz888.com| 五月丁香在线婷婷蜜桃| 五月婷婷在线视频观看| 九九AV| 久久中文网| 综合伊人久久| 激情五月婷婷网在线观看| 热成人网| 色五月综合网| 依人大香蕉在钱1| 另类激情五| AV美美午夜| 色噜噜狠噜噜视频| 丰满少妇猛烈A片免费看观看| 天天视频精品9| 在线不卡视频| 色五月激情婷婷| 五月激情六月宗合| 亚洲免费电影2| 丁香五月天无码AV| 色播五月| 亚洲无AV在线中文字幕 | 男人的天堂999| 久久机热思思热| 九九热精品视频| 五月天久草| 5月婷婷6月丁香aV| 97香蕉久久超级碰碰高清版 | 99色热| 婷婷五月网图片区| 欧洲亚洲激情五月天在线| 级情九色| 欧美三级级99久久| 亚洲综合婷婷| 99热在线看| 色婷婷色综合激情91| 五月婷婷香蕉| 久久久噜噜噜久久人妻| 亚洲婷婷久久综合| 婷婷日日夜夜| 疯狂做受XXXX高潮A片| 99热自拍| 欧美成人va| 91聚色综合网| 五月在在观看| www99热| 日韩成人网址| 先锋资源婷婷| 久久婷婷亚洲无码一起| 丁香五月五婷| 亚洲成人AV电影在线| 狠狠做六月爱婷婷综合aⅴ| 色婷婷精品视频| www.九月婷婷丁香.com| 噜噜噜色噜噜| 亚洲精品无人区| 秋霞三级影视资源| 伊人久久婷婷| 五月激情丁香五月| 玖玖精品视频| 草草视频91| 久久性爱视频| 五月婷婷啪啪啪| 夜色综合网| 9久久精品视频| 99在线精品视频在线观看| 婷婷五月色播天| 天天操天天操天天操| 极品少妇高潮啪啪AV无码| 六月丁香五月激情亚洲AV| 婷婷综合久久| 天天弄天天爽| 婷婷五月花| 欧美日韓成人亚洲精品另类| 九九成人视频| 五月丁香婷色| 色级停停| 色 色 色综合com| 狠狠色九月| 婷婷六月激情| 婷婷丁香五月天影院 | 免费观看大片视频 丁香婷婷 六月欧美| 伊人激情网| 亚洲色优| 任你操精品免费| 9久久久久久久久久久| 六月丁香色色| 日韩aaaaa| 国产色婷婷亚洲| 欧美婷婷色| 亚洲六月色| 99色| 婷婷五月天伊人| 色天天久婷婷| 影音先锋一区二区资源站| 直接看的AV| 性天堂久久| 99亚洲精品| 天堂婷婷丁香六月网| 日韩av高清| 97操碰碰无码视频| 第四色色六月色综合| 亚洲愉拍99热成人精品| 欧美成人色婷婷| 97操视频| ..真实国产乱子伦对白在线_欧 | 国产精品色婷婷99久久精品| 天天性视频| 91se精品国产| 久超超碰| 五月丁香网中文字幕| 日韩精品一区二区刘| 亚洲欧洲另类| 五月天婷婷成人资源站| 婷婷五月18永久免费网站| 青草五月天| 99热日韩| 激情六| 91狼友视频在线观看| 色噜噜狠狠色综合成人网| 色宗合,宗合网| 亚洲欧美国产A片免费观看| 色播婷婷五月天| 欧美猛片| 99九九在线观看免费| 亚洲深喉aV| 五月婷婷人人人操| 五月天婷婷永久免费视频| 婷婷五月电影| 超碰av在| 久久五月婷| 丁香五月婷婷色| 欧美天天草人人草| 九九中文字幕九| 亚洲爆乳无码精品AAA片蜜桃 | 99热草草| 国产色色视频| 色婷婷色99国产综合精品| 丁香丁香激情网| 69综合在线| 性生生活大片又黄又| www.婷婷亚洲基地| 亚洲性爱区无码区| 99热 免费| 六月婷婷综合久久| 九九成人电影婷婷| 91精品久久久久久77777| 五月天婷婷AV| 自拍盗摄 另类| 五月天天天开心激情网| 久久久激情视频| 人人叉久| 青吴乐视频| 伊人无码高清| 精品久久艹| 久久精品系列| 五月婷婷AV| 久久草婷婷丁香网站| 丁香婷婷激情综合五月激情| 97五月婷婷| 五月天婷婷色综合| 五月婷婷爽爽爽| 亚洲中文字幕网| 五月亭亭六月天| 激情综合在线观看| 人人摸人人| 日日夜夜狠狠干| 成年人99热| 色高清无码视频| 亚洲综合色网站| 7月婷婷六月丁香| 色五月综合| 五月婷婷狠狠干| 国产免费一区二区三州老师F1F1| 色情五月| 成人免费视频一区| 九 九九九AV| 九色综合五月天婷五月| 大香蕉色婷婷伊人在线| 麻豆观看夏晴子| 国产精品久久久爽爽爽麻豆色哟哟| 久热大香蕉| 色色激情五月天| av国产精品| 青草视频在线观看视频 | 婷婷五月天丁香成人社区| 色播jjjj| 97在线视频 欧美| 婷婷综合干| 狠狠色丁香婷婷| 伊人五月综合网| 91九色精品| 久久视频婷婷视频| www。五月天激情| 久热只有这里有精品| 欧美天天爽| 丁香五月瑟瑟| 婷婷五月天激情五月天网站| 国产精品婷婷午夜在线观看| 婷婷六月五月天综合| 狠狠色综合精品视频在线| 噜噜在线| 91 九色 熟女| 欧美在线视频99| 丁香婷婷九月在线| 中文av在线观看| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 玩熟女五十AV一二三区| 久久大大香| 婷婷五月欧美| 强伦轩人妻一区二区电影| 五月天久久久| 激情婷婷丁香色情五月天| 精品久久久久久久人妻| 激情五月影院| 午夜大香蕉| 欧美大片| 亚州第一A片| 91色综合| 婷婷五六日| 色色色色色综合| 91色五月| 激情玖玖sh| 婷婷久久五月天中文字幕在线观看| 99久久.www| 婷婷,五月天,丁香,第一| 久久这里有精品99| 中文字幕AV网址| 专区无日本视频高清8| 婷婷伊人綜合中文| 久久综合九九| 伊人色综在线| 超碰人人操人人干| 久久婷婷青青草| 五月天丁香成人| 婷婷五月俺要去| 亚洲人人操| 中文字幕日产A片在线看| 青青草婷婷久久| 六月丁香婷婷拍拍| 第五色色色婷婷| 激情五月综合| 婷婷七月丁香色色| 日日鲁鲁夜夜爽爽| www.精品99| 婷婷五月丁香亚洲| 久久9视频| 五月婷天天搞视频| 久综合网| 国产精品色婷婷久久久精品| 天天在线久久综合| 五月婷网| 亚洲视频另类| 91精品熟女| 狠狠99| 久久激丁香| 九九色影视| 能直接看的av网站| 婷婷五月花| 乱码操操| 精品人妻一区| 人妻日日日| 色综合网上班开心婷婷久久| 久久a热| 少妇人妻偷人精品无码视频新浪| 久草视频一,二三四| 欧美婷婷色五月| 色色五月天婷婷| 五月丁香六月婷婷啪啪| 久久人妻伊人| 91精品激情9| 久久五月天精品视频| 天天综合色| 婷婷天堂综合网| 甈吧vv| 丁香六月激情综合| 婷婷操久久| 这里只有精品1| 99天堂在线观看免费视频| 777久久综合视频| 丁香五月天啪啪| 欧美激情综合色综合啪啪五月| 五月婷婷六月综合| www.婷婷com| 婷婷五月开心中文字幕色| 成年人丁香五月| 无码人妻电影| 色婷婷综合亚洲| 欧美乱码国产一级A片| 很很干夜夜干| 99视频日韩| 极品五月天| 九月丁香久久网| 丁香久久五月天视频在线观看| 天天爱天天爽| 久99| 激情五月婷婷网| 六月婷婷激情| 狼人久草| 久久久婷婷| 五月天狠狠| 国产片天天爽夜夜爽| 人妻久久久久久久 | 欧洲亚洲免费视频9| 五月婷婷激情五月| 天天 青草 制服丝袜 在线 | 九九九九中文字幕| 国产无套精品一区二区| 色yeye色综合| 激情五月久久| 五月婷婷影| 五月丁香六月婷| 成人网站在线观看视频| av色色国产| 日本女va| 思思久久99热只有频精品66| 久久狠色噜噜狠狠狠狠97| 国产特级毛片AAAAAAA高清| 天天草天天舔| 婷婷色五月大香蕉在线| 婷婷精品综合| www.99精品视频| 六月婷久久| 久久黄A片| 性色做爰片在线观看WW| 天天天日天天天干| 丁香六月成人网| 婷婷综合视频| 婷婷久久欧美| 婷婷无五月无码视频| 色婷婷色五月天| 大香线蕉伊人| 97人人操在线| 五月丁香婷婷啪啪| 亚洲久久视频| 一本婷婷丁香久久| 久久久久人妻| 大香蕉手机视频| 欧类av怡春院| 色五月天综合网| 色999五月色| 无码AV免费精品一区二区三区| 久草xx性爱视频| 亚洲4区国产欧美| 久久机热/这里只有精品| 六月丁香五月亭亭| 中文字幕婷婷在线| 色色婷婷五月| 亚洲激情综合五月婷婷啪啪| 91无码高清| 六月丁香五月婷婷| 女高怪谈在线观看| 天天久久人人| 欧美色必爱| 久9热| 天天日夜夜爽。| 五月色丁香| AV在线不卡播放| 六月婷婷啪啪| 丁香开心深爱| 中文字幕97超级碰| 怡红院AV亚洲一区二区三区H| 久久久久人妻精品| 99久热这里有精品| 色五月婷婷天堂| 综合色99| 亚洲熟妇无码乱子AV电影| 丁香五月日啪| www99久久| 桃色五月婷婷| 天天日夜夜拍| 天天做天天爱天天爽综合网| 五月激情四射婷婷丁香| 丁香五月综合久久| 日产精品久久久久久久蜜臀| 色在线99| 色色免费网战视频| 亚洲综合视频天天精品| 丁香 亚洲 久久| 丁香性爱在线视频| 第五色婷婷| 日本美女五月天| 99视频精品8 | 九九99视频精品| 婷婷久久综合| 丁香五月激情网| 五月丁香色婷婷熟女| 婷婷六月激情小说网| 欧美亚洲成人在线| 日韩成人中文| 丁香九月激情| 久久色天堂| 天天干天天操天天拍| 精品九九视频| 狠狠色婷婷7| 538任你爽| 天天综合91入口| 五月丁香另类网| 色呦精品| 日本精品99| 五月丁婷香| 九九青草热| 婷婷激情五月天激情小说| 亚洲色无码A片一区二区麻豆| 久久性视频| 久久综合影院 | 六月久久婷婷| 四色五月婷婷在线观看| 色狠狠六月| 成人天天爽| 亭亭五月丁香综合欧美| 在线成人网址| 日韩精品一品二区三区的使用体验| 五月九九综合| 4399无码视频二区| 亚洲视频在线网站| 无码AV免费精品一区二区三区| 综合色色色| 婷婷五月综合激情| 国产熟女一区二区三区五月婷| 97sese婷婷| 色约约视频一区二区三区四区五区| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 婷婷激情五月呦呦| AAA级久久久精品| 久久AV无码精品人妻系列试探| 99九九精品| 亚洲激情网| 丁香五月婷婷基地| AA丁香综合激情| 无码人妻少妇色欲AV一区二区| 五月丁香狠狠爱| 午夜性做爰电影| 久久人妻熟女一区二区| 免费无码毛片一区二区A片| AA片在线观看视频在线播放| 国产成人精品123区免费视频| 国产国产乱老熟女视频网站97| BBWCUCKOLD精品熟妇| 婷婷五月丁香图片人人操| 大香蕉婷婷婷| 国产永久一黄| 人妻视频在线| WWW久久久| 色欲Av五月天| 丁香五月在线观看综合| 99思思热只有在这里看| 色五月婷婷影院| 婷婷久月| 久热这里只有精品6| 天天插天天射| 五月成人丁香av91| 色九九一二| 色吧五月婷婷| 久久这有这里精品| 夜夜做夜夜愛| 人人草人人舔| 99精品在线观看| 99ER热精品视频| 色婷婷aV四虎| 97碰| 久久这里在精品视频| 天天日日爽| 亚洲天堂啪啪| 91日韩在线| 丁香深五月婷婷| 久久99激情| 丁香五月网络网络| 天天干天天操天天爱| 激情五月色婷婷| 99色综合| 九一牛视频探花| 欧美在线视频99| 五月天伊人手机在线播放AV| 婷婷五月天成人网| 久久精彩视频| 中文字幕av网站| 亚洲第一黄网| 激情五月天免费视频| 91色在线 | 日韩| 五月天婷婷小说| 欧美婷婷丁香五月| 丁香五月婷婷啪啪啪| 免费国产VA国产免费| 亚洲成人电影aaaa| 青青草五月天| 五月综合激情婷婷六月色窝| 99热在线网站| 久久网站免费亚洲| 国产综合网在线| 天天干天天干天天干天天干天天干| 五月天sesese| 久99视频| 天天爽天天摸天天爱| www.五月丁香| 五月丁香亭亭AV女优| 深爱女色婷婷丁香五月亚洲图区| 欧美人妻一区二区| 99色热| 成人资源在线| 99热日本| 色综合99| 亚洲热久| 国产精品色一哟哟| 99热国产这里只有精品| 91VIP在线观看| 夜夜爽天天| 狠狠色大香蕉| 五月天操逼激情| 99久久99视频只有精品| 99热综合网| 狠狠噪| 色色啊| 色五月婷婷中文字幕| 91日综合欧美| 五月婷婷精品视频| www.天天干| 玖玖爱资源站| av人人干| 五月丁香久人妻中文| 色色五月天婷婷丁香| 亚洲欧洲美女在线观| 国产在线6| 国产99热| 97久人人| 激情六月天婷婷| 在线免费视频caop| 亚洲亚洲激情| 色色色综合| 大香蕉精品视频| 欧美天堂久久| 操逼国产91| 亚洲热视频在线| 伊人九九68| 五月噜噜| 日韩丰满少妇无码内射| 99热综合在线| 欧美色色色色色| 91se在线视频| 丁香六月激情| 婷婷丁香五月天影院 | 99热只有| www,色综合| 激情图片五月天| 久久精品五月| 久久a热| 影音先锋91资源站| 色五月AV| 五月天婷婷AV| 色五月婷婷五月天| 色色日本欧美| 99热99极品观看| 大香线蕉伊人| 91AV婷婷| 九九色热| 激情五月天社区| 99久久久国产大片区| www.99视频| 色情五月天首页| 99热亚洲只有色| 精品成人a v无码内射|