簡介《FusionCompute實驗手冊1》是華為HCIP-Cloud Computing V4.0認證培訓中FusionCompute部分的實驗指導材料面向備考該認證的學員以及希望系統掌握華為服務器虛擬化平臺日常運營與運維的技術人員。內容按7個實驗、四大模塊組織從KVM嵌套環(huán)境下安裝CNA到部署VRM理解FusionCompute基礎架構再練習計算、存儲、網絡三類虛擬資源管理體會計算虛擬化、存儲虛擬化與網絡虛擬化的資源調度優(yōu)勢隨后進入虛擬機發(fā)放與管理涵蓋虛擬機創(chuàng)建、Tools安裝、模板封裝、快照、規(guī)格調整、HA、熱遷移、安全組和規(guī)則組等操作最后通過用戶管理、管理數據備份與時間管理熟悉日常運維。資源包共1個docx文件約10.53MB內容集中、便于按實驗查閱。已有227人學習適合用作搭建實驗環(huán)境、復盤操作流程和查漏補缺的參考。1. 從 KVM 嵌套起步FusionCompute 6.5.0 裝之前先想清楚三件事在 KVM 里嵌套裝一套 FusionCompute 6.5.0最先勸退人的往往不是安裝向導有多長而是 CNA 引導到分區(qū)那一步就黑屏重啟。CPU 沒做透傳前面鏡像下載、網段規(guī)劃、虛擬機創(chuàng)建全部變成白工。這套環(huán)境在虛擬化與桌面云方向的認證實驗里出現頻率極高V4.0 的實驗手冊把 7 個實驗壓在四大部分里從 CNA、VRM 安裝一路排到虛擬機發(fā)放、存儲網絡接入和日常運維幾乎每個動手環(huán)節(jié)都要求一個能正常登錄的管理面。裝不好會怎樣CNA 起來了 VRM 部署卡在進度條或者存儲接口沒綁對掃描設備永遠掃不出盤。這篇按我自己的落地順序寫適合第一次搭 FusionCompute 實驗環(huán)境、手上只有兩臺機器甚至只有一臺物理機做嵌套的人。2. 實驗環(huán)境先落地嵌套虛擬化、網段規(guī)劃與安裝介質動手之前需要先把“能不能裝”和“裝完能不能通”這件事想清楚。這套實驗的設計前提是兩臺硬件服務器跑 CNAVRM 獨立部署管理和存儲分兩個網段如果是在一臺物理機上做嵌套這兩臺“服務器”就是你創(chuàng)建出來的兩臺虛擬機物理機只是宿主機。我見過最常見的返工是虛擬機建好、ISO 掛上、裝到一半發(fā)現 CPU 不帶 VMX或者管理網和存儲網全塞進一個網段最后 VRM 能登錄但主機加不上。下面三塊內容建議在創(chuàng)建第一臺虛擬機之前全部確認完。2.1 嵌套環(huán)境里 CPU 透傳不開CNA 裝到一半就會黑屏FusionCompute 的 CNA 本身就是一層虛擬化系統它對 VT-x 或 AMD-V 有硬性依賴。在物理機的 KVM 上再跑一層 CNA屬于二級嵌套宿主機的 KVM 模塊必須顯式打開嵌套支持否則客戶機里看不到硬件虛擬化標志。先查宿主機參數輸出為 N 就是沒開。# 查 Intel 平臺嵌套開關輸出 Y 表示已開啟 cat /sys/module/kvm_intel/parameters/nested # 現場臨時打開重啟后失效 sudo modprobe -r kvm_intel sudo modprobe kvm_intel nested1 cat /sys/module/kvm_intel/parameters/nested # 永久生效寫進模塊配置 echo options kvm_intel nested1 | sudo tee /etc/modprobe.d/kvm.conf第一條命令是判斷依據Y表示宿主機允許把虛擬化能力繼續(xù)向下傳遞N時后面兩步才需要做。modprobe -r會卸載模塊執(zhí)行前要確認宿主機上沒有正在運行的 KVM 虛擬機否則卸載會失敗。寫/etc/modprobe.d/kvm.conf是為了重啟后依然生效避免下次開機又回到 N。模塊開了還不夠虛擬機的 CPU 模式也得配合。默認的host-model有時會把 vmx 特性過濾掉我一般直接改成host-passthrough再顯式要求 vmx。改 XML 比在圖形化工具里點選項可靠得多。!-- 虛擬機 XML 中的 CPU 配置片段 -- cpu modehost-passthrough checknone migratableoff !-- 強制把 vmx 特性透傳給客戶機CNA 才能起得來 -- feature policyrequire namevmx/ /cpumodehost-passthrough表示客戶機 CPU 直接對齊宿主機型號犧牲的是跨宿主機的遷移能力實驗環(huán)境完全不需要考慮這一點。feature policyrequire是硬性要求宿主機若不支持會直接報錯而不是靜默降級這正好幫你提前發(fā)現問題。migratableoff是為了讓透傳更徹底避免 libvirt 為了遷移兼容性裁剪指令集。磁盤和內存按 CNA 的角色給別摳。我一般給每臺 CNA 8 vCPU、16 GB 內存系統盤 120 GB再掛一塊 200 GB 的數據盤留給后面做存儲實驗。VRM 那臺給 4 vCPU、8 GB 就夠。磁盤用 qcow2 方便打快照做壞了直接回滾這就是實驗環(huán)境最便宜的后悔藥。# 預分配兩塊盤qcow2 格式便于快照回滾 qemu-img create -f qcow2 /var/lib/libvirt/images/cna01.qcow2 120G qemu-img create -f qcow2 /var/lib/libvirt/images/cna01-data.qcow2 200G-f qcow2指定格式不寫會按 raw 創(chuàng)建占滿實際空間且沒法做快照。文件路徑按你宿主機的存儲池來改兩塊盤分別對應系統盤和數據盤命名上帶主機名后面掛錯盤的概率會低很多。2.2 管理與存儲分網段IP 一次規(guī)劃到底實驗拓撲里管理網是 192.168.201.0/24存儲網是 192.168.202.0/24存儲走 VLAN 202。這個劃分不是形式主義管理網跑 CNA 與 VRM 之間的心跳、Web 登錄、虛擬機管理流量存儲網跑 iSCSI 數據混在一起最典型的后果是虛擬機一開機管理面就轉圈或者存儲掃描超時。地址規(guī)劃建議在表格里一次定死后面每個界面照著填別臨場發(fā)揮。網元管理 IP存儲 IP所屬 VLAN說明CNA01192.168.201.101192.168.202.101管理 201 / 存儲 202第一臺計算節(jié)點CNA02192.168.201.102192.168.202.102管理 201 / 存儲 202第二臺計算節(jié)點VRM192.168.201.100192.168.202.100管理 201 / 存儲 202管理面獨立部署網關192.168.201.1——管理網默認網關存儲設備—192.168.202.10存儲 202IP-SAN 目標端端口 3260規(guī)劃時有兩個細節(jié)容易被忽略。第一VRM 的地址要在安裝 CNA 之前就留出來因為 VRM 部署向導里要填填錯只能在管理面里改中間還得重啟服務。第二存儲網的地址段不要和宿主機上已有的網橋沖突嵌套環(huán)境里宿主機往往已經占了 192.168.122.0/24 這類默認網段撞上之后現象是 CNA 能 ping 通自己但 ping 不通存儲排查起來非常玄學。2.3 安裝介質與客戶端工具缺一樣都會卡在中途實驗手冊里列出的軟件清單不長但每一樣都有明確用途提前下齊比裝到一半再找要省事。文件 / 工具用途備注FusionCompute 6.5.0_Installer.zipCNA 安裝鏡像來源引導安裝 CNA 用FusionCompute 6.5.0_VRM.zipVRM 軟件包VRM 部署階段使用CentOS-7-x86_64-DVD-1810.iso實驗用 Linux 虛擬機鏡像后面發(fā)虛擬機、裝 Tools 用Windows 10 專業(yè)版鏡像實驗用 Windows 虛擬機鏡像模板制作場景PuttySSH 登錄 CNA 與 Linux 虛擬機命令行排查主力WinSCP文件上傳下載傳 ISO、導模板VNC Viewer連 KVM 虛擬機的控制臺圖形界面操作時用介質版本建議和手冊保持一致6.5.0 這套組合里的 CNA、VRM、Tools 是配套的混用不同小版本的 VRM 包部署向導可能直接拒絕或者裝完管理面打不開。另外宿主機上要留足空間兩個 CNA 加一個 VRM系統盤加油漆盤算下來至少 700 GB 起步空間不夠會在安裝中途報寫入失敗而這個報錯通常只給一行很容易誤判成鏡像損壞。3. 安裝 CNA從 ISO 引導到兩臺節(jié)點 SSH 可達CNA 的安裝過程本身不難難的是幾個界面一旦選錯后面要么起不來要么加不進集群。這一章按單臺節(jié)點的完整安裝走一遍再說明第二臺怎么裝才不撞車最后用 SSH 確認底層真的通了再往下走。3.1 引導之后的幾個界面值得停下來多看兩眼把 Installer 里的 CNA 鏡像掛到虛擬機光驅設置從光驅引導進入安裝向導后大致會經歷語言與時區(qū)、磁盤選擇、網絡配置、密碼設置這幾步。每一步的具體選項在不同小版本里措辭略有差異但需要你決策的點是固定的。語言與鍵盤選英文或簡體中文都行鍵盤默認 US選錯后面輸密碼會出現字符對不上的情況。時區(qū)選 Asia/Shanghai時間不對會導致后面 VRM 與 CNA 心跳異常這類問題排查成本極高。安裝磁盤選那塊 120 GB 的系統盤別選到數據盤選錯只能重裝。管理網口選規(guī)劃中對應管理網的那塊網卡通常就是第一塊。管理 IP、掩碼、網關按 2.2 的表格填CNA01 是 192.168.201.101網關 192.168.201.1。主機名CNA01兩臺節(jié)點必須不同。root 密碼記牢后面加主機、SSH 排查全靠它。有一點要提前說明安裝向導里只配管理網存儲網是在 CNA 裝好、進入管理面之后通過“存儲接口”配的別在安裝階段找存儲 IP 的輸入框找不到是正常的。我第一次裝的時候就因為在向導里反復翻頁找存儲配置白白重裝了一遍。安裝完成后系統會自動重啟此時拔掉 ISO 或改回硬盤引導否則會又進一遍安裝程序。重啟后如果看到登錄提示符說明 CNA 本體裝完了接下來驗證網絡。3.2 第二臺 CNA 怎么裝才不撞車第二臺的流程和第一臺完全一樣但有三處必須改否則加集群時會失敗或者出現更隱蔽的問題。第一處是主機名兩臺都叫 localhost 或 CNA01VRM 添加主機時會提示名稱沖突有些版本干脆加不上。第二處是管理 IP這個不用說。第三處是 iSCSI 啟動器名稱CNA 默認生成的 IQN 里帶有節(jié)點標識如果兩臺機器是從同一塊盤克隆出來的IQN 可能一模一樣現象是存儲側只能看到一個發(fā)起端另一臺永遠掃不到盤。這個問題在后面第 5 章還會展開。如果為了省時間用克隆的方式做第二臺克隆完務必進系統改主機名和 IP并重新生成機器標識。我一般的做法是不克隆直接按向導再裝一遍多花二十分鐘省掉后面一堆“為什么只有一臺能連存儲”的排查。3.3 用 SSH 和 ping 先把底層確認掉兩臺 CNA 裝完先別急著開瀏覽器。從一臺跳板機可以是宿主機也可以是實驗用的 Windows 虛擬機確認管理面可達再 SSH 進去看幾個關鍵信息。# 從跳板機確認兩臺 CNA 管理面可達 ping -c 4 192.168.201.101 ping -c 4 192.168.201.102 # SSH 登錄第一臺首次連接要確認指紋 ssh root192.168.201.101 # 登錄后核對主機名和網卡地址 cat /etc/hostname ip addr show | grep -E inet |state UP # 看系統盤與數據盤是否都識別到了 lsblk df -hping -c 4只發(fā)四個包快速判斷鏈路和 ARP 是否正常通不了先查虛擬機的網卡是不是橋到了正確的網橋。ip addr show用來確認管理 IP 真的落在預期網卡上嵌套環(huán)境里經常出現網卡順序變化向導里選了 eth0結果 IP 落到 eth1。lsblk是看數據盤有沒有被識別如果只看到系統盤說明虛擬機掛的第二塊盤沒生效需要回去檢查磁盤配置。這幾步都通了再打開瀏覽器訪問https://192.168.201.101:8443能看到 CNA 的登錄頁就說明安裝階段結束。瀏覽器提示證書不受信任是正常的實驗環(huán)境直接繼續(xù)訪問即可。4. 部署 VRM 并接入存儲與網絡讓資源池真正可用CNA 只是計算節(jié)點沒有 VRM 就沒有統一管理面也沒法建集群、加主機。這一章把 VRM 部署、集群納管、存儲接口和分布式交換機一次串完順序不要打亂先有管理面才能配后面的東西。4.1 VRM 部署向導里三個必須一次填對的項VRM 的部署入口在 CNA 的 Web 界面里用瀏覽器登錄https://192.168.201.101:8443找到 VRM 部署相關入口按向導走。整個向導里真正需要停下來想的是三項。第一項是 VRM 的管理 IP、掩碼和網關填 192.168.201.100 / 255.255.255.0 / 192.168.201.1。這個地址一旦填錯VRM 裝完你連不上管理面只能在 CNA 上重裝 VRM。第二項是 VRM 部署在哪臺 CNA 上選 CNA01。VRM 是以虛擬機的形式跑在 CNA 上的后面 CNA01 重啟會帶著 VRM 一起重啟實驗階段無所謂生產上不會這么干。第三項是 VRM 的系統盤大小和 root 密碼。系統盤給 120 GB 足夠密碼單獨記一份它和 CNA 的 root 密碼不是一回事我見過不止一個人拿 CNA 密碼去登 VRM登到懷疑人生。向導跑完會提示部署成功此時用瀏覽器訪問https://192.168.201.100:8443能看到 FusionCompute 的登錄頁。首次登錄用默認管理員賬號登錄后立刻改密碼這一步別省后面所有實驗都用這個賬號。4.2 建集群、加主機確認狀態(tài)是“正?！钡卿浌芾砻嬷蟮牡谝患虏皇前l(fā)虛擬機而是把兩臺 CNA 納管進來。流程是創(chuàng)建集群給集群起個名字比如 Cluster01然后在集群下添加主機填入 CNA01 的 192.168.201.101 和 root 密碼再加 CNA02。添加完成后不要只看“添加成功”的提示要回到主機列表看狀態(tài)列。狀態(tài)顯示“正?！辈潘阏嬲尤腼@示“離線”或者一直轉圈八成是管理網不通或者密碼錯。這一步如果卡住先回到 3.3 用 SSH 確認 CNA 本身沒問題再檢查 VRM 到 CNA 的 8443 端口是否可達。集群建好之后可以順手看一眼集群策略HA 和電源管理這些默認開著就行。實驗里后面要做主機故障模擬和熱遷移HA 打開是前提現在不勾做到那一節(jié)還得回來補。4.3 iSCSI 啟動器號、端口綁定與 IP-SAN 添加存儲這塊是整套環(huán)境里最容易翻車的部分因為它同時依賴三樣東西存儲網的連通性、iSCSI 啟動器的唯一性、存儲接口的綁定關系。順序上我一般這么走。先配存儲接口。在管理面找到對應 CNA 的存儲接口配置添加一個存儲接口IP 填 192.168.202.101對應 CNA01CNA02 填 192.168.202.102。這一步相當于告訴 CNA“存儲流量從哪個口走”。再改 iSCSI 啟動器名稱。兩臺 CNA 必須不同命名上帶節(jié)點標識最直觀。節(jié)點iSCSI 啟動器名稱示例存儲接口 IPCNA01iqn.2024-01.local.cna:cna01192.168.202.101CNA02iqn.2024-01.local.cna:cna02192.168.202.102名稱格式只要符合 IQN 規(guī)范、全局唯一即可重點是兩臺不能重復。改完之后在存儲設備側刷新發(fā)起端列表應該能看到兩個不同的名稱。然后配端口綁定。如果 CNA 上的存儲網口做了綁定要在管理面里把存儲接口和綁定后的邏輯口對應上綁錯的現象是接口顯示正常但流量走不出去。綁定關系確認后從 CNA 上直接驗證存儲網連通性。# 登錄 CNA01驗證存儲平面到存儲設備的連通 ssh root192.168.201.101 ping -c 4 192.168.202.10 # 確認 iSCSI 服務在監(jiān)聽 3260 ss -lntp | grep 3260 # 查看當前的 iSCSI 會話添加存儲后應該能看到目標端 iscsiadm -m sessionping這一步不通后面的掃描一定失敗先查存儲接口 IP 和 VLAN。ss -lntp | grep 3260是確認本端 iSCSI 服務正常監(jiān)聽端口沒起來說明服務異常。iscsiadm -m session用來驗證會話是否建立添加存儲資源并掃描成功后這里會多出一條目標端記錄這是最直接的證據。最后回到管理面添加存儲資源類型選 IP-SAN填存儲設備的 192.168.202.10 和端口 3260然后掃描存儲設備。掃描出來的 LUN 添加到數據存儲命名成 Datastore01 之類后面發(fā)虛擬機才有地方放磁盤。4.4 分布式交換機、上行鏈路與 VLAN 池網絡資源的配置順序是創(chuàng)建分布式交換機把主機加進去添加上行鏈路劃 VLAN 池最后建端口組。這個順序顛倒會出各種奇怪的問題比如先建端口組再添上行鏈路端口組狀態(tài)一直不對。創(chuàng)建分布式交換機時給個名字比如 DVS01然后把 CNA01 和 CNA02 都添加進來。上行鏈路選物理網口管理網和存儲網對應的網口分別綁上去。VLAN 池按規(guī)劃加 201 和 202如果實驗里還要給虛擬機劃業(yè)務 VLAN也在這里一起加。端口組按用途建管理口組、存儲口組、業(yè)務口組各一個VLAN ID 對應填好。建完之后在虛擬機的網絡配置里就能選到這些端口組發(fā)虛擬機的時候選業(yè)務口組虛擬機之間才能按 VLAN 隔離。5. 裝這套環(huán)境最容易翻車的五個地方這一章是我自己踩過、也見過別人踩的五條記錄按“現象、原因、解決”寫。每條都對應前面某個步驟做完前面再回頭看會更有感覺。5.1 CNA 裝完瀏覽器打不開 8443現象SSH 能登進去ping也通但瀏覽器訪問https://192.168.201.101:8443一直轉圈或者直接連接被拒。原因多數是瀏覽器對自簽名證書的處理策略變了或者本機防火墻攔了出站少數情況是 CNA 的 Web 服務沒起來。解決先換一個瀏覽器或者用隱私窗口試排除緩存和證書策略再從跳板機用curl -k https://192.168.201.101:8443看是否有響應有響應就是瀏覽器問題沒響應就 SSH 進去查服務狀態(tài)并重啟相關服務。嵌套環(huán)境里還要確認虛擬機的網卡橋接在能通 192.168.201.0/24 的網橋上。5.2 VRM 部署卡在進度條不動現象VRM 部署向導走到一半進度條長時間停在某個百分比最后提示失敗。原因常見的是 CNA 與宿主機的時鐘偏差過大或者部署過程中管理網出現短暫中斷。解決先把兩臺 CNA 和宿主機的時間對齊再重新部署。重裝之前把上一次失敗的 VRM 殘留清掉否則可能提示地址被占用。部署期間不要動虛擬機的網絡配置也不要在宿主機上做重負載操作。5.3 掃描存儲設備什么都掃不出來現象IP-SAN 添加完成點掃描列表是空的日志里也沒有明顯報錯。原因三種可能iSCSI 啟動器名稱兩臺重復、存儲網不通、存儲設備側沒放行新發(fā)起端。解決按 4.3 的順序倒查。先ping存儲設備確認網絡再核對兩臺 CNA 的 IQN 是否不同最后去存儲設備側刷新發(fā)起端白名單。三步里任何一步沒過掃描都不會有結果。5.4 主機加進集群后狀態(tài)一直是離線現象添加主機時提示成功但列表里狀態(tài)顯示離線點進去也看不到詳細信息。原因VRM 到 CNA 的 8443 端口不通或者添加時填的 root 密碼有誤。解決從 VRM 所在節(jié)點本質是 CNA01 上的虛擬機去curlCNA 的管理地址確認端口可達密碼錯就刪掉主機重新添加別在離線狀態(tài)上反復點“刷新”刷不出結果。5.5 虛擬機創(chuàng)建成功但起不來現象按模板發(fā)了一臺虛擬機任務顯示成功但電源打不開或者開了立刻關機。原因集群資源不足、鏡像文件路徑不可達、虛擬機網卡選的端口組不存在。解決先看集群剩余內存和存儲容量再看虛擬機的磁盤所在數據存儲是否正常最后核對網卡綁定的端口組。嵌套環(huán)境里還有一種情況是 CPU 特性沒透傳虛擬機一開就報指令集錯誤回到 2.1 檢查 CPU 配置即可。6. 裝完怎么驗證發(fā)一臺虛擬機、裝 Tools、跑一次熱遷移環(huán)境裝完不能只看管理面能登錄就算完真正能證明這套 FusionCompute 跑通的是三件事能發(fā)虛擬機、能裝 Tools、能熱遷移。我一般按這個順序驗證每一步都有明確的觀察點。第一步從 CentOS 模板發(fā)一臺虛擬機。選業(yè)務端口組磁盤放 Datastore01規(guī)格 2 vCPU / 4 GB。任務完成后不要只看“成功”進虛擬機控制臺確認能引導到登錄界面這一步驗證的是計算、存儲、網絡三條鏈路同時正常。第二步裝 Tools。掛載 Tools 鏡像到虛擬機的光驅進系統掛載光驅并執(zhí)行安裝腳本。裝完重啟管理面里虛擬機的 Tools 狀態(tài)應該從“未安裝”變成“已運行”。這個狀態(tài)是判斷 Tools 裝沒裝好的唯一標準別只看腳本有沒有跑完。驗證項操作通過標準虛擬機發(fā)放從模板部署一臺 CentOS 虛擬機能引導到登錄界面Tools 安裝掛載 Tools 鏡像并安裝后重啟管理面狀態(tài)顯示“已運行”快照對虛擬機打一個快照并恢復恢復后系統正常啟動熱遷移把運行中的虛擬機從 CNA01 遷到 CNA02遷移完成業(yè)務不中斷HA模擬一臺 CNA 宕機虛擬機在另一臺自動拉起第三步打快照再恢復?？煺漳艽蚰芑謴驼f明存儲側的讀寫和元數據都正常這一步在實驗里經常被跳過但它是后面做模板封裝和回滾的基礎。第四步熱遷移。虛擬機保持開機從 CNA01 遷到 CNA02觀察遷移任務和虛擬機內部是否有明顯中斷。遷移失敗最常見的原因是兩臺主機的 CPU 特性不一致嵌套環(huán)境里尤其明顯如果遷不過去回到 2.1 把兩臺虛擬機的 CPU 配置改成完全一致再試。這套驗證跑完實驗手冊里第一部分的安裝目標就算真正達成了后面計算資源、存儲資源、虛擬機管理那些實驗才有穩(wěn)定的底座。從那以后我每次搭這套環(huán)境都會在裝 CNA 之前先把嵌套開關和 IP 規(guī)劃表過一遍哪怕時間再緊也不跳過因為這兩步省下來的十分鐘通常要用兩個小時去排查。希望幫到你。本文還有配套的精品資源點擊獲取 KVM嵌套虛擬化下FusionCompute 6.5.0部署與排錯
簡介《FusionCompute實驗手冊1》是華為HCIP-Cloud Computing V4.0認證培訓中FusionCompute部分的實驗指導材料面向備考該認證的學員以及希望系統掌握華為服務器虛擬化平臺日常運營與運維的技術人員。內容按7個實驗、四大模塊組織從KVM嵌套環(huán)境下安裝CNA到部署VRM理解FusionCompute基礎架構再練習計算、存儲、網絡三類虛擬資源管理體會計算虛擬化、存儲虛擬化與網絡虛擬化的資源調度優(yōu)勢隨后進入虛擬機發(fā)放與管理涵蓋虛擬機創(chuàng)建、Tools安裝、模板封裝、快照、規(guī)格調整、HA、熱遷移、安全組和規(guī)則組等操作最后通過用戶管理、管理數據備份與時間管理熟悉日常運維。資源包共1個docx文件約10.53MB內容集中、便于按實驗查閱。已有227人學習適合用作搭建實驗環(huán)境、復盤操作流程和查漏補缺的參考。1. 從 KVM 嵌套起步FusionCompute 6.5.0 裝之前先想清楚三件事在 KVM 里嵌套裝一套 FusionCompute 6.5.0最先勸退人的往往不是安裝向導有多長而是 CNA 引導到分區(qū)那一步就黑屏重啟。CPU 沒做透傳前面鏡像下載、網段規(guī)劃、虛擬機創(chuàng)建全部變成白工。這套環(huán)境在虛擬化與桌面云方向的認證實驗里出現頻率極高V4.0 的實驗手冊把 7 個實驗壓在四大部分里從 CNA、VRM 安裝一路排到虛擬機發(fā)放、存儲網絡接入和日常運維幾乎每個動手環(huán)節(jié)都要求一個能正常登錄的管理面。裝不好會怎樣CNA 起來了 VRM 部署卡在進度條或者存儲接口沒綁對掃描設備永遠掃不出盤。這篇按我自己的落地順序寫適合第一次搭 FusionCompute 實驗環(huán)境、手上只有兩臺機器甚至只有一臺物理機做嵌套的人。2. 實驗環(huán)境先落地嵌套虛擬化、網段規(guī)劃與安裝介質動手之前需要先把“能不能裝”和“裝完能不能通”這件事想清楚。這套實驗的設計前提是兩臺硬件服務器跑 CNAVRM 獨立部署管理和存儲分兩個網段如果是在一臺物理機上做嵌套這兩臺“服務器”就是你創(chuàng)建出來的兩臺虛擬機物理機只是宿主機。我見過最常見的返工是虛擬機建好、ISO 掛上、裝到一半發(fā)現 CPU 不帶 VMX或者管理網和存儲網全塞進一個網段最后 VRM 能登錄但主機加不上。下面三塊內容建議在創(chuàng)建第一臺虛擬機之前全部確認完。2.1 嵌套環(huán)境里 CPU 透傳不開CNA 裝到一半就會黑屏FusionCompute 的 CNA 本身就是一層虛擬化系統它對 VT-x 或 AMD-V 有硬性依賴。在物理機的 KVM 上再跑一層 CNA屬于二級嵌套宿主機的 KVM 模塊必須顯式打開嵌套支持否則客戶機里看不到硬件虛擬化標志。先查宿主機參數輸出為 N 就是沒開。# 查 Intel 平臺嵌套開關輸出 Y 表示已開啟 cat /sys/module/kvm_intel/parameters/nested # 現場臨時打開重啟后失效 sudo modprobe -r kvm_intel sudo modprobe kvm_intel nested1 cat /sys/module/kvm_intel/parameters/nested # 永久生效寫進模塊配置 echo options kvm_intel nested1 | sudo tee /etc/modprobe.d/kvm.conf第一條命令是判斷依據Y表示宿主機允許把虛擬化能力繼續(xù)向下傳遞N時后面兩步才需要做。modprobe -r會卸載模塊執(zhí)行前要確認宿主機上沒有正在運行的 KVM 虛擬機否則卸載會失敗。寫/etc/modprobe.d/kvm.conf是為了重啟后依然生效避免下次開機又回到 N。模塊開了還不夠虛擬機的 CPU 模式也得配合。默認的host-model有時會把 vmx 特性過濾掉我一般直接改成host-passthrough再顯式要求 vmx。改 XML 比在圖形化工具里點選項可靠得多。!-- 虛擬機 XML 中的 CPU 配置片段 -- cpu modehost-passthrough checknone migratableoff !-- 強制把 vmx 特性透傳給客戶機CNA 才能起得來 -- feature policyrequire namevmx/ /cpumodehost-passthrough表示客戶機 CPU 直接對齊宿主機型號犧牲的是跨宿主機的遷移能力實驗環(huán)境完全不需要考慮這一點。feature policyrequire是硬性要求宿主機若不支持會直接報錯而不是靜默降級這正好幫你提前發(fā)現問題。migratableoff是為了讓透傳更徹底避免 libvirt 為了遷移兼容性裁剪指令集。磁盤和內存按 CNA 的角色給別摳。我一般給每臺 CNA 8 vCPU、16 GB 內存系統盤 120 GB再掛一塊 200 GB 的數據盤留給后面做存儲實驗。VRM 那臺給 4 vCPU、8 GB 就夠。磁盤用 qcow2 方便打快照做壞了直接回滾這就是實驗環(huán)境最便宜的后悔藥。# 預分配兩塊盤qcow2 格式便于快照回滾 qemu-img create -f qcow2 /var/lib/libvirt/images/cna01.qcow2 120G qemu-img create -f qcow2 /var/lib/libvirt/images/cna01-data.qcow2 200G-f qcow2指定格式不寫會按 raw 創(chuàng)建占滿實際空間且沒法做快照。文件路徑按你宿主機的存儲池來改兩塊盤分別對應系統盤和數據盤命名上帶主機名后面掛錯盤的概率會低很多。2.2 管理與存儲分網段IP 一次規(guī)劃到底實驗拓撲里管理網是 192.168.201.0/24存儲網是 192.168.202.0/24存儲走 VLAN 202。這個劃分不是形式主義管理網跑 CNA 與 VRM 之間的心跳、Web 登錄、虛擬機管理流量存儲網跑 iSCSI 數據混在一起最典型的后果是虛擬機一開機管理面就轉圈或者存儲掃描超時。地址規(guī)劃建議在表格里一次定死后面每個界面照著填別臨場發(fā)揮。網元管理 IP存儲 IP所屬 VLAN說明CNA01192.168.201.101192.168.202.101管理 201 / 存儲 202第一臺計算節(jié)點CNA02192.168.201.102192.168.202.102管理 201 / 存儲 202第二臺計算節(jié)點VRM192.168.201.100192.168.202.100管理 201 / 存儲 202管理面獨立部署網關192.168.201.1——管理網默認網關存儲設備—192.168.202.10存儲 202IP-SAN 目標端端口 3260規(guī)劃時有兩個細節(jié)容易被忽略。第一VRM 的地址要在安裝 CNA 之前就留出來因為 VRM 部署向導里要填填錯只能在管理面里改中間還得重啟服務。第二存儲網的地址段不要和宿主機上已有的網橋沖突嵌套環(huán)境里宿主機往往已經占了 192.168.122.0/24 這類默認網段撞上之后現象是 CNA 能 ping 通自己但 ping 不通存儲排查起來非常玄學。2.3 安裝介質與客戶端工具缺一樣都會卡在中途實驗手冊里列出的軟件清單不長但每一樣都有明確用途提前下齊比裝到一半再找要省事。文件 / 工具用途備注FusionCompute 6.5.0_Installer.zipCNA 安裝鏡像來源引導安裝 CNA 用FusionCompute 6.5.0_VRM.zipVRM 軟件包VRM 部署階段使用CentOS-7-x86_64-DVD-1810.iso實驗用 Linux 虛擬機鏡像后面發(fā)虛擬機、裝 Tools 用Windows 10 專業(yè)版鏡像實驗用 Windows 虛擬機鏡像模板制作場景PuttySSH 登錄 CNA 與 Linux 虛擬機命令行排查主力WinSCP文件上傳下載傳 ISO、導模板VNC Viewer連 KVM 虛擬機的控制臺圖形界面操作時用介質版本建議和手冊保持一致6.5.0 這套組合里的 CNA、VRM、Tools 是配套的混用不同小版本的 VRM 包部署向導可能直接拒絕或者裝完管理面打不開。另外宿主機上要留足空間兩個 CNA 加一個 VRM系統盤加油漆盤算下來至少 700 GB 起步空間不夠會在安裝中途報寫入失敗而這個報錯通常只給一行很容易誤判成鏡像損壞。3. 安裝 CNA從 ISO 引導到兩臺節(jié)點 SSH 可達CNA 的安裝過程本身不難難的是幾個界面一旦選錯后面要么起不來要么加不進集群。這一章按單臺節(jié)點的完整安裝走一遍再說明第二臺怎么裝才不撞車最后用 SSH 確認底層真的通了再往下走。3.1 引導之后的幾個界面值得停下來多看兩眼把 Installer 里的 CNA 鏡像掛到虛擬機光驅設置從光驅引導進入安裝向導后大致會經歷語言與時區(qū)、磁盤選擇、網絡配置、密碼設置這幾步。每一步的具體選項在不同小版本里措辭略有差異但需要你決策的點是固定的。語言與鍵盤選英文或簡體中文都行鍵盤默認 US選錯后面輸密碼會出現字符對不上的情況。時區(qū)選 Asia/Shanghai時間不對會導致后面 VRM 與 CNA 心跳異常這類問題排查成本極高。安裝磁盤選那塊 120 GB 的系統盤別選到數據盤選錯只能重裝。管理網口選規(guī)劃中對應管理網的那塊網卡通常就是第一塊。管理 IP、掩碼、網關按 2.2 的表格填CNA01 是 192.168.201.101網關 192.168.201.1。主機名CNA01兩臺節(jié)點必須不同。root 密碼記牢后面加主機、SSH 排查全靠它。有一點要提前說明安裝向導里只配管理網存儲網是在 CNA 裝好、進入管理面之后通過“存儲接口”配的別在安裝階段找存儲 IP 的輸入框找不到是正常的。我第一次裝的時候就因為在向導里反復翻頁找存儲配置白白重裝了一遍。安裝完成后系統會自動重啟此時拔掉 ISO 或改回硬盤引導否則會又進一遍安裝程序。重啟后如果看到登錄提示符說明 CNA 本體裝完了接下來驗證網絡。3.2 第二臺 CNA 怎么裝才不撞車第二臺的流程和第一臺完全一樣但有三處必須改否則加集群時會失敗或者出現更隱蔽的問題。第一處是主機名兩臺都叫 localhost 或 CNA01VRM 添加主機時會提示名稱沖突有些版本干脆加不上。第二處是管理 IP這個不用說。第三處是 iSCSI 啟動器名稱CNA 默認生成的 IQN 里帶有節(jié)點標識如果兩臺機器是從同一塊盤克隆出來的IQN 可能一模一樣現象是存儲側只能看到一個發(fā)起端另一臺永遠掃不到盤。這個問題在后面第 5 章還會展開。如果為了省時間用克隆的方式做第二臺克隆完務必進系統改主機名和 IP并重新生成機器標識。我一般的做法是不克隆直接按向導再裝一遍多花二十分鐘省掉后面一堆“為什么只有一臺能連存儲”的排查。3.3 用 SSH 和 ping 先把底層確認掉兩臺 CNA 裝完先別急著開瀏覽器。從一臺跳板機可以是宿主機也可以是實驗用的 Windows 虛擬機確認管理面可達再 SSH 進去看幾個關鍵信息。# 從跳板機確認兩臺 CNA 管理面可達 ping -c 4 192.168.201.101 ping -c 4 192.168.201.102 # SSH 登錄第一臺首次連接要確認指紋 ssh root192.168.201.101 # 登錄后核對主機名和網卡地址 cat /etc/hostname ip addr show | grep -E inet |state UP # 看系統盤與數據盤是否都識別到了 lsblk df -hping -c 4只發(fā)四個包快速判斷鏈路和 ARP 是否正常通不了先查虛擬機的網卡是不是橋到了正確的網橋。ip addr show用來確認管理 IP 真的落在預期網卡上嵌套環(huán)境里經常出現網卡順序變化向導里選了 eth0結果 IP 落到 eth1。lsblk是看數據盤有沒有被識別如果只看到系統盤說明虛擬機掛的第二塊盤沒生效需要回去檢查磁盤配置。這幾步都通了再打開瀏覽器訪問https://192.168.201.101:8443能看到 CNA 的登錄頁就說明安裝階段結束。瀏覽器提示證書不受信任是正常的實驗環(huán)境直接繼續(xù)訪問即可。4. 部署 VRM 并接入存儲與網絡讓資源池真正可用CNA 只是計算節(jié)點沒有 VRM 就沒有統一管理面也沒法建集群、加主機。這一章把 VRM 部署、集群納管、存儲接口和分布式交換機一次串完順序不要打亂先有管理面才能配后面的東西。4.1 VRM 部署向導里三個必須一次填對的項VRM 的部署入口在 CNA 的 Web 界面里用瀏覽器登錄https://192.168.201.101:8443找到 VRM 部署相關入口按向導走。整個向導里真正需要停下來想的是三項。第一項是 VRM 的管理 IP、掩碼和網關填 192.168.201.100 / 255.255.255.0 / 192.168.201.1。這個地址一旦填錯VRM 裝完你連不上管理面只能在 CNA 上重裝 VRM。第二項是 VRM 部署在哪臺 CNA 上選 CNA01。VRM 是以虛擬機的形式跑在 CNA 上的后面 CNA01 重啟會帶著 VRM 一起重啟實驗階段無所謂生產上不會這么干。第三項是 VRM 的系統盤大小和 root 密碼。系統盤給 120 GB 足夠密碼單獨記一份它和 CNA 的 root 密碼不是一回事我見過不止一個人拿 CNA 密碼去登 VRM登到懷疑人生。向導跑完會提示部署成功此時用瀏覽器訪問https://192.168.201.100:8443能看到 FusionCompute 的登錄頁。首次登錄用默認管理員賬號登錄后立刻改密碼這一步別省后面所有實驗都用這個賬號。4.2 建集群、加主機確認狀態(tài)是“正?！钡卿浌芾砻嬷蟮牡谝患虏皇前l(fā)虛擬機而是把兩臺 CNA 納管進來。流程是創(chuàng)建集群給集群起個名字比如 Cluster01然后在集群下添加主機填入 CNA01 的 192.168.201.101 和 root 密碼再加 CNA02。添加完成后不要只看“添加成功”的提示要回到主機列表看狀態(tài)列。狀態(tài)顯示“正?！辈潘阏嬲尤腼@示“離線”或者一直轉圈八成是管理網不通或者密碼錯。這一步如果卡住先回到 3.3 用 SSH 確認 CNA 本身沒問題再檢查 VRM 到 CNA 的 8443 端口是否可達。集群建好之后可以順手看一眼集群策略HA 和電源管理這些默認開著就行。實驗里后面要做主機故障模擬和熱遷移HA 打開是前提現在不勾做到那一節(jié)還得回來補。4.3 iSCSI 啟動器號、端口綁定與 IP-SAN 添加存儲這塊是整套環(huán)境里最容易翻車的部分因為它同時依賴三樣東西存儲網的連通性、iSCSI 啟動器的唯一性、存儲接口的綁定關系。順序上我一般這么走。先配存儲接口。在管理面找到對應 CNA 的存儲接口配置添加一個存儲接口IP 填 192.168.202.101對應 CNA01CNA02 填 192.168.202.102。這一步相當于告訴 CNA“存儲流量從哪個口走”。再改 iSCSI 啟動器名稱。兩臺 CNA 必須不同命名上帶節(jié)點標識最直觀。節(jié)點iSCSI 啟動器名稱示例存儲接口 IPCNA01iqn.2024-01.local.cna:cna01192.168.202.101CNA02iqn.2024-01.local.cna:cna02192.168.202.102名稱格式只要符合 IQN 規(guī)范、全局唯一即可重點是兩臺不能重復。改完之后在存儲設備側刷新發(fā)起端列表應該能看到兩個不同的名稱。然后配端口綁定。如果 CNA 上的存儲網口做了綁定要在管理面里把存儲接口和綁定后的邏輯口對應上綁錯的現象是接口顯示正常但流量走不出去。綁定關系確認后從 CNA 上直接驗證存儲網連通性。# 登錄 CNA01驗證存儲平面到存儲設備的連通 ssh root192.168.201.101 ping -c 4 192.168.202.10 # 確認 iSCSI 服務在監(jiān)聽 3260 ss -lntp | grep 3260 # 查看當前的 iSCSI 會話添加存儲后應該能看到目標端 iscsiadm -m sessionping這一步不通后面的掃描一定失敗先查存儲接口 IP 和 VLAN。ss -lntp | grep 3260是確認本端 iSCSI 服務正常監(jiān)聽端口沒起來說明服務異常。iscsiadm -m session用來驗證會話是否建立添加存儲資源并掃描成功后這里會多出一條目標端記錄這是最直接的證據。最后回到管理面添加存儲資源類型選 IP-SAN填存儲設備的 192.168.202.10 和端口 3260然后掃描存儲設備。掃描出來的 LUN 添加到數據存儲命名成 Datastore01 之類后面發(fā)虛擬機才有地方放磁盤。4.4 分布式交換機、上行鏈路與 VLAN 池網絡資源的配置順序是創(chuàng)建分布式交換機把主機加進去添加上行鏈路劃 VLAN 池最后建端口組。這個順序顛倒會出各種奇怪的問題比如先建端口組再添上行鏈路端口組狀態(tài)一直不對。創(chuàng)建分布式交換機時給個名字比如 DVS01然后把 CNA01 和 CNA02 都添加進來。上行鏈路選物理網口管理網和存儲網對應的網口分別綁上去。VLAN 池按規(guī)劃加 201 和 202如果實驗里還要給虛擬機劃業(yè)務 VLAN也在這里一起加。端口組按用途建管理口組、存儲口組、業(yè)務口組各一個VLAN ID 對應填好。建完之后在虛擬機的網絡配置里就能選到這些端口組發(fā)虛擬機的時候選業(yè)務口組虛擬機之間才能按 VLAN 隔離。5. 裝這套環(huán)境最容易翻車的五個地方這一章是我自己踩過、也見過別人踩的五條記錄按“現象、原因、解決”寫。每條都對應前面某個步驟做完前面再回頭看會更有感覺。5.1 CNA 裝完瀏覽器打不開 8443現象SSH 能登進去ping也通但瀏覽器訪問https://192.168.201.101:8443一直轉圈或者直接連接被拒。原因多數是瀏覽器對自簽名證書的處理策略變了或者本機防火墻攔了出站少數情況是 CNA 的 Web 服務沒起來。解決先換一個瀏覽器或者用隱私窗口試排除緩存和證書策略再從跳板機用curl -k https://192.168.201.101:8443看是否有響應有響應就是瀏覽器問題沒響應就 SSH 進去查服務狀態(tài)并重啟相關服務。嵌套環(huán)境里還要確認虛擬機的網卡橋接在能通 192.168.201.0/24 的網橋上。5.2 VRM 部署卡在進度條不動現象VRM 部署向導走到一半進度條長時間停在某個百分比最后提示失敗。原因常見的是 CNA 與宿主機的時鐘偏差過大或者部署過程中管理網出現短暫中斷。解決先把兩臺 CNA 和宿主機的時間對齊再重新部署。重裝之前把上一次失敗的 VRM 殘留清掉否則可能提示地址被占用。部署期間不要動虛擬機的網絡配置也不要在宿主機上做重負載操作。5.3 掃描存儲設備什么都掃不出來現象IP-SAN 添加完成點掃描列表是空的日志里也沒有明顯報錯。原因三種可能iSCSI 啟動器名稱兩臺重復、存儲網不通、存儲設備側沒放行新發(fā)起端。解決按 4.3 的順序倒查。先ping存儲設備確認網絡再核對兩臺 CNA 的 IQN 是否不同最后去存儲設備側刷新發(fā)起端白名單。三步里任何一步沒過掃描都不會有結果。5.4 主機加進集群后狀態(tài)一直是離線現象添加主機時提示成功但列表里狀態(tài)顯示離線點進去也看不到詳細信息。原因VRM 到 CNA 的 8443 端口不通或者添加時填的 root 密碼有誤。解決從 VRM 所在節(jié)點本質是 CNA01 上的虛擬機去curlCNA 的管理地址確認端口可達密碼錯就刪掉主機重新添加別在離線狀態(tài)上反復點“刷新”刷不出結果。5.5 虛擬機創(chuàng)建成功但起不來現象按模板發(fā)了一臺虛擬機任務顯示成功但電源打不開或者開了立刻關機。原因集群資源不足、鏡像文件路徑不可達、虛擬機網卡選的端口組不存在。解決先看集群剩余內存和存儲容量再看虛擬機的磁盤所在數據存儲是否正常最后核對網卡綁定的端口組。嵌套環(huán)境里還有一種情況是 CPU 特性沒透傳虛擬機一開就報指令集錯誤回到 2.1 檢查 CPU 配置即可。6. 裝完怎么驗證發(fā)一臺虛擬機、裝 Tools、跑一次熱遷移環(huán)境裝完不能只看管理面能登錄就算完真正能證明這套 FusionCompute 跑通的是三件事能發(fā)虛擬機、能裝 Tools、能熱遷移。我一般按這個順序驗證每一步都有明確的觀察點。第一步從 CentOS 模板發(fā)一臺虛擬機。選業(yè)務端口組磁盤放 Datastore01規(guī)格 2 vCPU / 4 GB。任務完成后不要只看“成功”進虛擬機控制臺確認能引導到登錄界面這一步驗證的是計算、存儲、網絡三條鏈路同時正常。第二步裝 Tools。掛載 Tools 鏡像到虛擬機的光驅進系統掛載光驅并執(zhí)行安裝腳本。裝完重啟管理面里虛擬機的 Tools 狀態(tài)應該從“未安裝”變成“已運行”。這個狀態(tài)是判斷 Tools 裝沒裝好的唯一標準別只看腳本有沒有跑完。驗證項操作通過標準虛擬機發(fā)放從模板部署一臺 CentOS 虛擬機能引導到登錄界面Tools 安裝掛載 Tools 鏡像并安裝后重啟管理面狀態(tài)顯示“已運行”快照對虛擬機打一個快照并恢復恢復后系統正常啟動熱遷移把運行中的虛擬機從 CNA01 遷到 CNA02遷移完成業(yè)務不中斷HA模擬一臺 CNA 宕機虛擬機在另一臺自動拉起第三步打快照再恢復?？煺漳艽蚰芑謴驼f明存儲側的讀寫和元數據都正常這一步在實驗里經常被跳過但它是后面做模板封裝和回滾的基礎。第四步熱遷移。虛擬機保持開機從 CNA01 遷到 CNA02觀察遷移任務和虛擬機內部是否有明顯中斷。遷移失敗最常見的原因是兩臺主機的 CPU 特性不一致嵌套環(huán)境里尤其明顯如果遷不過去回到 2.1 把兩臺虛擬機的 CPU 配置改成完全一致再試。這套驗證跑完實驗手冊里第一部分的安裝目標就算真正達成了后面計算資源、存儲資源、虛擬機管理那些實驗才有穩(wěn)定的底座。從那以后我每次搭這套環(huán)境都會在裝 CNA 之前先把嵌套開關和 IP 規(guī)劃表過一遍哪怕時間再緊也不跳過因為這兩步省下來的十分鐘通常要用兩個小時去排查。希望幫到你。本文還有配套的精品資源點擊獲取