戰(zhàn)：從安裝到運(yùn)維的完整指南)
1. 為什么要自己搭一個(gè) Docker Registry很多剛接觸 Docker 的朋友覺得鏡像嘛直接 pull 下來(lái)用就是了干嘛還要費(fèi)勁自己搭一個(gè)倉(cāng)庫(kù)這個(gè)想法在最開始沒問(wèn)題但等你真正跑起來(lái)幾個(gè)服務(wù)、開始往生產(chǎn)環(huán)境部署的時(shí)候很快就會(huì)遇到幾個(gè)繞不開的痛點(diǎn)。第一個(gè)痛點(diǎn)就是速度。我早期在某公司做內(nèi)部平臺(tái)的時(shí)候團(tuán)隊(duì)五六個(gè)人大家都從公網(wǎng)拉鏡像。高峰期一個(gè)稍微大點(diǎn)的鏡像比如帶了一堆依賴的 Python 運(yùn)行時(shí)拉一次十分鐘起步還經(jīng)常超時(shí)中斷。后來(lái)我統(tǒng)計(jì)了一下一天下來(lái)光等鏡像的時(shí)間就夠?qū)懲暌粋€(gè)小需求了。自己搭一個(gè)內(nèi)網(wǎng) Registry相當(dāng)于在本地做了一個(gè)鏡像緩存第一次從公網(wǎng)拉一次之后所有人都是從內(nèi)網(wǎng)秒開。這個(gè)體感差異用過(guò)的都知道有多爽。第二個(gè)痛點(diǎn)是鏡像的可見性和管理。你們公司有沒有這種經(jīng)歷——某個(gè)同事在本地 build 了一個(gè)鏡像傳到某個(gè)公共平臺(tái)別人根本不知道有沒有更新也沒法確認(rèn)這個(gè)鏡像是誰(shuí)打的、里面裝了什么。自己搭 Registry 之后所有鏡像都集中在一個(gè)地方配合標(biāo)簽規(guī)范和清理策略整個(gè)團(tuán)隊(duì)的鏡像資產(chǎn)一目了然。第三個(gè)痛點(diǎn)是合規(guī)和隔離。很多公司內(nèi)部網(wǎng)絡(luò)是隔離的生產(chǎn)環(huán)境根本不能訪問(wèn)外網(wǎng)需要有一個(gè)完全內(nèi)網(wǎng)閉環(huán)的鏡像分發(fā)通道。這種場(chǎng)景下自建 Registry 幾乎是唯一解。那為什么選 Docker Registry 而不是其他方案比如 Harbor、Sonatype Nexus答案是看你處在什么階段。如果你是一個(gè)三五人的小團(tuán)隊(duì)或者還在個(gè)人項(xiàng)目階段Docker Registry 就是那個(gè)性能最輕、部署最快、資源占用最少的方案。Harbor 功能確實(shí)全但它自帶數(shù)據(jù)庫(kù)、UI 門戶、RBAC 權(quán)限部署和維護(hù)成本都不低。Nexus 本身是個(gè)制品倉(cāng)庫(kù)也能存鏡像但配置偏復(fù)雜對(duì) Docker 的協(xié)議支持也沒有原生 Registry 那么純粹。我自己實(shí)踐下來(lái)階段一用 Docker Registry 跑通內(nèi)網(wǎng)鏡像分發(fā)階段二如果團(tuán)隊(duì)規(guī)模大了、權(quán)限要求細(xì)了再平滑遷移到 Harbor。這個(gè)過(guò)渡路徑很順因?yàn)?Docker Registry 的數(shù)據(jù)格式是標(biāo)準(zhǔn)的 OCI 分發(fā)規(guī)范Harbor 可以直接接管已有的鏡像存儲(chǔ)。先從小東西開始永遠(yuǎn)比一上來(lái)就上重型方案穩(wěn)妥。這篇文章我就把 Docker Registry 從安裝、運(yùn)行、配置到日常維護(hù)的整套流程捋一遍。里面有我踩過(guò)的坑也有能直接抄走的配置。你照著做最快十幾分鐘就能跑起來(lái)一個(gè)可用的內(nèi)網(wǎng)鏡像倉(cāng)庫(kù)。2. 安裝前需要想清楚的三件事在敲那行docker run之前我建議你先停下來(lái)想三件事不然之后返工的幾率很大。2.1 存儲(chǔ)目錄怎么規(guī)劃Docker Registry 默認(rèn)的存儲(chǔ)路徑在容器里的/var/lib/registry但容器本身就是個(gè)隨時(shí)可能銷毀的實(shí)體數(shù)據(jù)不能放在容器可寫層里必須掛載到宿主機(jī)持久化目錄。宿主機(jī)目錄的選擇有幾個(gè)講究。第一所在分區(qū)剩余空間要足夠大鏡像倉(cāng)庫(kù)會(huì)隨時(shí)間膨脹建議至少預(yù)留 50GB 起步。第二如果你的宿主機(jī)有數(shù)據(jù)盤、系統(tǒng)盤之分一定要把鏡像目錄放在數(shù)據(jù)盤上別擠在系統(tǒng)盤里否則系統(tǒng)盤滿了會(huì)連帶影響整機(jī)運(yùn)行。第三如果條件允許直接把目錄放在 SSD 上鏡像多了之后SSD 和機(jī)械盤在 push/pull 速度上的差距會(huì)非常明顯。我在生產(chǎn)環(huán)境用的是/data/registry這個(gè)路徑單獨(dú)掛了一塊數(shù)據(jù)盤。測(cè)試環(huán)境就直接用/opt/registry沒那么多講究但路徑規(guī)劃的思路是一樣的。2.2 認(rèn)證方式怎么選Docker Registry 本身默認(rèn)是完全開放的只要端口暴露出去誰(shuí)都能往里推鏡像。這在純內(nèi)網(wǎng)、完全可信的環(huán)境里也許能接受但只要你的網(wǎng)絡(luò)稍微信任邊界模糊一點(diǎn)就必須加認(rèn)證。認(rèn)證方案主要有兩種一種是htpasswd 基礎(chǔ)認(rèn)證這是 Registry 官方支持最簡(jiǎn)單、最直接的方式。用戶名密碼通過(guò)htpasswd工具生成存在一個(gè)文件里。適合小團(tuán)隊(duì)內(nèi)部使用配置成本很低幾分鐘就能搞定。另一種是Token 認(rèn)證屬于更高級(jí)的方案比如對(duì)接公司現(xiàn)有的 LDAP 或 SSO 系統(tǒng)每次請(qǐng)求都去認(rèn)證服務(wù)器換取臨時(shí) token。功能強(qiáng)大但配置復(fù)雜度高一般團(tuán)隊(duì)剛起步?jīng)]必要上這個(gè)。我的建議是無(wú)論你現(xiàn)在覺得環(huán)境多安全都把 htpasswd 認(rèn)證加上。原因很簡(jiǎn)單Docker Registry 一旦暴露在網(wǎng)絡(luò)上又不設(shè)防別人可以直接把惡意鏡像推給你你拉取的時(shí)候就可能中招。加一層密碼認(rèn)證就是加了一層非常必要的保險(xiǎn)。2.3 單機(jī)還是分布式Docker Registry 的部署形態(tài)有兩種常見路徑單機(jī)模式就是直接在宿主機(jī)上跑一個(gè)容器數(shù)據(jù)目錄掛本地磁盤適合部署量不大、單點(diǎn)故障可接受的場(chǎng)景。大多數(shù)團(tuán)隊(duì)起步階段都是這個(gè)形態(tài)。分布式模式則是把存儲(chǔ)后端切到對(duì)象存儲(chǔ)或者云存儲(chǔ)比如 S3、阿里云 OSS或者把數(shù)據(jù)放在共享文件系統(tǒng)上配合多個(gè) Registry 實(shí)例做負(fù)載均衡。這個(gè)方案是為了高可用和大規(guī)模分發(fā)準(zhǔn)備的。我見過(guò)不少團(tuán)隊(duì)一上來(lái)就想搞分布式結(jié)果運(yùn)維成本比鏡像分發(fā)本身還高。我的建議是先跑單機(jī)等真的出現(xiàn)容量瓶頸或者單點(diǎn)故障導(dǎo)致的不可接受停擺再去動(dòng)架構(gòu)。3. Docker Registry 安裝與啟動(dòng)全流程環(huán)境假設(shè)你有一臺(tái) Linux 服務(wù)器裝好了 Docker接下來(lái)我會(huì)把從拉取鏡像到啟動(dòng)容器的每一步都過(guò)一遍。3.1 拉取鏡像并準(zhǔn)備配置目錄Docker Registry 的官方鏡像名是registry。這里有個(gè)大家都忽略的細(xì)節(jié)一定要指定具體的版本標(biāo)簽不要用latest。docker pull registry:2.8.3為什么要單獨(dú)拿出來(lái)說(shuō)因?yàn)?Registry 在過(guò)去有過(guò)幾次比較大的版本變動(dòng)latest標(biāo)簽跟著更新如果你哪次重新拉取或者重新部署拉到的鏡像和之前的差異可能會(huì)讓你莫名其妙。指定版本號(hào)比如2.8.3可以保證每次部署的行為完全一致。接下來(lái)創(chuàng)建配置目錄和認(rèn)證文件目錄mkdir -p /data/registry mkdir -p /etc/docker/registry配置目錄放config.yml認(rèn)證目錄放htpasswd文件。3.2 用 htpasswd 生成認(rèn)證文件如果你之前從沒生成過(guò) htpasswd 文件可以先安裝工具# Debian/Ubuntu apt-get install -y apache2-utils # CentOS/RHEL yum install -y httpd-tools然后生成認(rèn)證文件比如創(chuàng)建一個(gè)用戶叫dockeruserhtpasswd -Bc /etc/docker/registry/htpasswd dockeruser這里有個(gè)關(guān)鍵點(diǎn)-B參數(shù)一定要加。-B表示使用 bcrypt 算法加密密碼Registry 在認(rèn)證時(shí)默認(rèn)要求 bcrypt。如果你不加-B用了默認(rèn)的 MD5 算法后面 Registry 會(huì)直接報(bào)認(rèn)證失敗這是我踩過(guò)的第一個(gè)坑。如果后續(xù)要添加新用戶注意去掉-c參數(shù)否則會(huì)整個(gè)文件覆蓋htpasswd -B /etc/docker/registry/htpasswd anotheruser3.3 編寫 config.yml 配置文件Registry 的配置通過(guò)config.yml控制。這個(gè)文件如果不存在Registry 會(huì)用內(nèi)置默認(rèn)配置啟動(dòng)。如果存在就以你提供的配置為準(zhǔn)。下面是一份適合小團(tuán)隊(duì)起步的配置文件我逐行解釋關(guān)鍵項(xiàng)version: 0.1 log: level: info fields: service: registry storage: filesystem: rootdirectory: /var/lib/registry delete: enabled: true http: addr: :5000 headers: X-Content-Type-Options: [nosniff] auth: htpasswd: realm: basic-realm path: /auth/htpasswd health: storagedriver: enabled: true interval: 10s threshold: 3storage.filesystem.rootdirectory容器內(nèi)存儲(chǔ)路徑要和容器啟動(dòng)時(shí)掛載的目錄對(duì)應(yīng)。storage.delete.enabled允許刪除鏡像。默認(rèn)是 false所以如果你選在 Web UI 上看不到刪除按鈕就檢查一下這里。http.addr監(jiān)聽端口。我用的是 5000Docker Registry 的默認(rèn)端口。auth.htpasswd.path認(rèn)證文件在容器內(nèi)的路徑。注意我配的是/auth/htpasswd不是宿主機(jī)路徑因?yàn)槿萜髟L問(wèn)不到宿主機(jī)目錄這里要用容器內(nèi)的掛載點(diǎn)。health.storagedriver健康檢查。這個(gè)比較重要Registry 會(huì)定期檢查存儲(chǔ)后端是否正常有問(wèn)題會(huì)在日志里報(bào)警方便早期發(fā)現(xiàn)磁盤故障。3.4 啟動(dòng)容器并做端口映射配置文件就緒之后啟動(dòng)命令如下docker run -d \ --name registry \ --restartalways \ -p 5000:5000 \ -v /data/registry:/var/lib/registry \ -v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml \ -v /etc/docker/registry/htpasswd:/auth/htpasswd \ registry:2.8.3逐個(gè)參數(shù)說(shuō)明--restartalways容器掛了自動(dòng)重啟。Registry 這種基礎(chǔ)設(shè)施不能宕機(jī)了不去管它。-v /data/registry:/var/lib/registry把宿主機(jī)存儲(chǔ)目錄掛載到容器內(nèi)存儲(chǔ)目錄。-v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml把配置文件掛載進(jìn)去。-v /etc/docker/registry/htpasswd:/auth/htpasswd把認(rèn)證文件掛載進(jìn)去。注意這里宿主機(jī)目錄和容器內(nèi)路徑可以不一樣容器內(nèi)路徑要和 config.yml 里寫的一致。啟動(dòng)完之后檢查一下狀態(tài)docker ps | grep registry docker logs registry --tail 50如果日志里沒有報(bào)錯(cuò)說(shuō)明 Registry 已經(jīng)在跑了。3.5 本機(jī)自測(cè) registry 是否可用先用 curl 簡(jiǎn)單驗(yàn)證一下服務(wù)有沒有起來(lái)curl -u dockeruser:你的密碼 http://localhost:5000/v2/如果返回{}說(shuō)明 Registry 正常響應(yīng)。如果提示 401說(shuō)明認(rèn)證生效了你的用戶名密碼有問(wèn)題。然后做一次完整的 push/pull 驗(yàn)證。先把一個(gè)現(xiàn)有鏡像打上 registry 的標(biāo)簽docker tag nginx:latest localhost:5000/nginx:latest然后登錄docker login localhost:5000輸入用戶名密碼提示Login Succeeded后推送鏡像docker push localhost:5000/nginx:latest推送完成后在另一臺(tái)機(jī)器上或者本機(jī)先把鏡像刪了拉取docker pull localhost:5000/nginx:latest如果一切順利說(shuō)明你手里已經(jīng)有一個(gè)能用、帶認(rèn)證的內(nèi)網(wǎng)鏡像倉(cāng)庫(kù)了。4. 讓其他機(jī)器能用上你的 RegistryRegistry 跑起來(lái)了問(wèn)題也就來(lái)了——其他機(jī)器的 Docker 客戶端連不上。這個(gè)環(huán)節(jié)是新手遇到問(wèn)題最多的我把幾種典型場(chǎng)景和排查方式都列出來(lái)。4.1 確認(rèn)是否是 https/http 的問(wèn)題Docker 客戶端默認(rèn)情況下只信任 HTTPS 的 Registry。除非你直接訪問(wèn)localhost否則走 HTTP 會(huì)被 Docker 直接拒絕。看下 Docker 客戶端報(bào)錯(cuò)如果出現(xiàn)類似Error response from daemon: Get http://registry.example.com:5000/v2/: http: server gave HTTP response to HTTPS client說(shuō)明客戶端認(rèn)為你是 HTTPS但服務(wù)端實(shí)際是 HTTP。解決辦法是讓 Docker 客戶端把該地址視為 insecure registry。修改客戶端的/etc/docker/daemon.json{ insecure-registries: [ registry.example.com:5000 ] }如果還有其他配置項(xiàng)把insecure-registries合并進(jìn)去然后重啟 Dockersystemctl restart docker注意重啟 Docker 會(huì)把你所有正在運(yùn)行的容器停下來(lái)生產(chǎn)環(huán)境操作前要評(píng)估一下影響。4.2 跨機(jī)器的地址替換很多人在本機(jī)測(cè)試沒問(wèn)題跨機(jī)器就拉取失敗核心原因就是用了localhost這個(gè)地址。其他機(jī)器上的 Docker 解析不了你機(jī)器上的localhost它只會(huì)去找自己本機(jī)。正確做法是打標(biāo)簽的時(shí)候直接用能被對(duì)方訪問(wèn)到的地址比如你的服務(wù)器 IP 或者內(nèi)網(wǎng)域名docker tag nginx:latest 192.168.1.100:5000/nginx:latest docker push 192.168.1.100:5000/nginx:latest內(nèi)部團(tuán)隊(duì)使用我強(qiáng)烈建議申請(qǐng)一個(gè)內(nèi)網(wǎng)域名比如registry.internal這樣然后在每臺(tái)機(jī)器的/etc/hosts里配上解析。用 IP 當(dāng)然也能跑但域名有明顯的好處后面遷移服務(wù)器、換 IP 的時(shí)候不用去每臺(tái)機(jī)器改配置只要把 DNS 或 hosts 指到新地址就行。4.3 防火墻和端口連通性排查你在服務(wù)器本地怎么測(cè)試都通換臺(tái)機(jī)器就提示 connection refused十有八九是防火墻把 5000 端口擋了。確認(rèn)端口監(jiān)聽狀態(tài)ss -lntp | grep 5000確認(rèn)防火墻規(guī)則以 firewalld 為例firewall-cmd --permanent --add-port5000/tcp firewall-cmd --reload如果用的是云服務(wù)器還要去安全組里放行 5000 端口的入方向規(guī)則。這一步很多人忘因?yàn)楸镜鼐W(wǎng)絡(luò)沒有這道關(guān)卡上云就卡住了。4.4 給 Registry 配上 HTTPS 的簡(jiǎn)便做法既然 Docker 客戶端默認(rèn)只信任 HTTPS那最徹底的辦法就是直接給 Registry 配上 HTTPS。這樣所有機(jī)器都無(wú)需設(shè)置 insecure-registry安全性和易用性同時(shí)滿足。最方便的方案是讓 Registry 直接用宿主機(jī)上已有的證書。假設(shè)你已經(jīng)有了證書文件domain.crt和domain.key把它們放到宿主機(jī)目錄比如mkdir -p /etc/docker/registry/certs cp domain.crt /etc/docker/registry/certs/ cp domain.key /etc/docker/registry/certs/然后修改 config.yml把 http 段換成 https 配置http: addr: :5000 tls: certificate: /certs/domain.crt key: /certs/domain.key重新啟動(dòng)容器時(shí)多掛載一個(gè)證書目錄docker run -d \ --name registry \ --restartalways \ -p 5000:5000 \ -v /data/registry:/var/lib/registry \ -v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml \ -v /etc/docker/registry/htpasswd:/auth/htpasswd \ -v /etc/docker/registry/certs:/certs \ registry:2.8.3配置了 HTTPS 之后所有客戶端機(jī)器哪怕不在 insecure-registries 列表里也能正常登錄和推送鏡像。這是我在實(shí)際環(huán)境中最推薦的做法因?yàn)椴挥妹颗_(tái)機(jī)器單獨(dú)改 Docker 配置一勞永逸。5. 鏡像倉(cāng)庫(kù)的日常運(yùn)維與管理倉(cāng)庫(kù)跑起來(lái)只是開始日常運(yùn)維才是重頭戲。這一節(jié)我把鏡像的推拉、刪除、清理、備份等操作都過(guò)一遍全是我自己實(shí)踐驗(yàn)證過(guò)的。5.1 鏡像推送和拉取的正確姿勢(shì)推送鏡像時(shí)標(biāo)簽的格式會(huì)決定鏡像的去向。標(biāo)準(zhǔn)格式是倉(cāng)庫(kù)地址/命名空間/鏡像名:標(biāo)簽。舉個(gè)例子我要把本地 Dockerfile 構(gòu)建出來(lái)的應(yīng)用鏡像推到內(nèi)網(wǎng)倉(cāng)庫(kù)docker build -t 192.168.1.100:5000/myapp/backend:v1.0 . docker push 192.168.1.100:5000/myapp/backend:v1.0這里myapp/backend是命名空間加鏡像名v1.0是版本標(biāo)簽。推送完Registry 上就有了這個(gè)鏡像。拉取的時(shí)候docker pull 192.168.1.100:5000/myapp/backend:v1.0拉取下來(lái)之后如果你想把鏡像名變成更簡(jiǎn)潔的本地名再打一次標(biāo)簽docker tag 192.168.1.100:5000/myapp/backend:v1.0 backend:v1.0這樣可以避免本地鏡像名帶一長(zhǎng)串前綴看著清爽運(yùn)行容器時(shí)也不用寫那么長(zhǎng)。5.2 鏡像版本標(biāo)簽的規(guī)范建議鏡像標(biāo)簽如果不做規(guī)范時(shí)間一長(zhǎng)倉(cāng)庫(kù)里就全是latest、v1、final這種毫無(wú)辨識(shí)度的名字。我這里的團(tuán)隊(duì)約定了一套規(guī)則主版本號(hào).次版本號(hào).修訂號(hào)-環(huán)境標(biāo)識(shí)比如v1.2.0-prod生產(chǎn)環(huán)境發(fā)布的版本v1.2.0-test測(cè)試環(huán)境驗(yàn)證的版本v1.2.0-dev開發(fā)環(huán)境最新構(gòu)建同時(shí)約定latest標(biāo)簽只能由 CI/CD 流水線在每次發(fā)布成功后自動(dòng)更新不允許任何人手動(dòng)往latest上亂推。這樣大家看到latest就知道是當(dāng)前最新的穩(wěn)定構(gòu)建而不是某個(gè)人本地隨手打出來(lái)的包。5.3 刪除鏡像的正確方法Registry 的 HTTP API 本身就是支持刪除鏡像的但有前提條件配置文件里要開啟storage.delete.enabled: true。刪除鏡像有一個(gè)先后順序問(wèn)題必須先刪除 manifest再刪除相應(yīng)的 blob不然磁盤空間不會(huì)釋放。先用 API 查看倉(cāng)庫(kù)里的鏡像列表curl -u dockeruser:密碼 https://registry.example.com:5000/v2/_catalog返回類似{repositories:[myapp/backend,myapp/frontend]}查看某個(gè)鏡像的所有標(biāo)簽curl -u dockeruser:密碼 https://registry.example.com:5000/v2/myapp/backend/tags/list再獲取指定標(biāo)簽的 digest也就是鏡像的唯一摘要curl -u dockeruser:密碼 -H Accept: application/vnd.docker.distribution.manifest.v2json \ https://registry.example.com:5000/v2/myapp/backend/manifests/v1.2.0-prod在響應(yīng)頭里找Docker-Content-Digest返回的十六進(jìn)制字符串就是 digest。然后調(diào)用刪除接口curl -u dockeruser:密碼 -X DELETE \ https://registry.example.com:5000/v2/myapp/backend/manifests/digest值刪除之后還需要定期執(zhí)行 GC 才能真正釋放磁盤空間。GC 操作需要跑到容器內(nèi)部執(zhí)行docker exec registry registry garbage-collect /etc/docker/registry/config.yml執(zhí)行完 GC之前刪掉鏡像殘留的存儲(chǔ)層會(huì)被清除磁盤空間才會(huì)真正釋放出來(lái)。5.4 用腳本定期清理老舊鏡像人工清理一兩次可以長(zhǎng)期這么干誰(shuí)都受不了。我寫了一個(gè)簡(jiǎn)單的清理腳本放在服務(wù)器上配合 crontab 定期跑。腳本思路是列出每個(gè)鏡像的所有標(biāo)簽根據(jù)標(biāo)簽里的版本號(hào)排序把規(guī)定保留數(shù)量之外的鏡像全部刪除最后執(zhí)行 GC。#!/bin/bash REGISTRYhttps://registry.example.com:5000 USERdockeruser PASS密碼 KEEP_VERSION_COUNT5 # 獲取所有倉(cāng)庫(kù) REPOS$(curl -s -u $USER:$PASS $REGISTRY/v2/_catalog | python3 -c import sys,json; print(\n.join(json.load(sys.stdin)[repositories]))) for repo in $REPOS; do # 獲取所有標(biāo)簽 TAGS$(curl -s -u $USER:$PASS $REGISTRY/v2/$repo/tags/list | python3 -c import sys,json; print(\n.join(json.load(sys.stdin)[tags]))) # 這里按版本號(hào)排序保留最新的 KEEP_VERSION_COUNT 個(gè) STALE_TAGS$(echo $TAGS | sort -V | head -n -$KEEP_VERSION_COUNT) for tag in $STALE_TAGS; do # 獲取 digest DIGEST$(curl -s -u $USER:$PASS -H Accept: application/vnd.docker.distribution.manifest.v2json \ $REGISTRY/v2/$repo/manifests/$tag -D - | grep -i Docker-Content-Digest | awk {print $2} | tr -d \r) # 刪除 manifest curl -s -u $USER:$PASS -X DELETE $REGISTRY/v2/$repo/manifests/$DIGEST done done # 執(zhí)行 GC 釋放空間 docker exec registry registry garbage-collect /etc/docker/registry/config.yml腳本里用到了sort -V這是按版本號(hào)自然排序v1.9會(huì)排在v1.10前面不是簡(jiǎn)單按字典序。然后在 crontab 里配一下0 3 * * 6 /opt/scripts/cleanup_registry.sh /var/log/registry_cleanup.log 21每周六凌晨三點(diǎn)跑一次。注意 GC 執(zhí)行時(shí)Registry 會(huì)短暫停頓所以安排在業(yè)務(wù)低峰期比較穩(wěn)妥。5.5 數(shù)據(jù)備份與恢復(fù)鏡像倉(cāng)庫(kù)里的數(shù)據(jù)本質(zhì)上都是文件備份思路就是把存儲(chǔ)目錄整個(gè)打包。最常用的命令tar -czf registry_backup_$(date %Y%m%d).tar.gz -C /data registry恢復(fù)的時(shí)候把壓縮包解壓回/data目錄然后重新啟動(dòng)容器即可。因?yàn)榕渲梦募顽R像數(shù)據(jù)是分開掛載的恢復(fù)時(shí)先確認(rèn) config.yml 和 htpasswd 還在再確認(rèn)數(shù)據(jù)目錄解壓完整。如果數(shù)據(jù)量特別大比如幾百 GB用 tar 打包會(huì)很慢可以考慮用 rsync 增量同步到備份服務(wù)器rsync -avz --delete /data/registry/ backup-server:/data/registry/不管用哪種方式定期備份真的很重要。我見過(guò)有人不備份結(jié)果磁盤壞了鏡像全沒重建容器還得重新 build 每一個(gè)鏡像痛苦程度誰(shuí)經(jīng)歷誰(shuí)知道。6. 常見問(wèn)題與排查技巧實(shí)錄這一節(jié)我把自己在運(yùn)維過(guò)程中遇到比較多的和團(tuán)隊(duì)里其他同事問(wèn)我的問(wèn)題匯總一下直接給你解決辦法。6.1 鏡像推不上去提示認(rèn)證失敗現(xiàn)象docker push時(shí)提示unauthorized: authentication required。排查步驟確認(rèn)你有沒有執(zhí)行docker login并且登錄的是正確的倉(cāng)庫(kù)地址很多人登錄了一個(gè)地址推送的目標(biāo)地址又是另外一個(gè)。確認(rèn)用戶名密碼是否輸對(duì)htpasswd 是 bcrypt 加密的話輸錯(cuò)密碼肯定登錄不了。確認(rèn) config.yml 里auth.htpasswd.path是否指向容器內(nèi)正確的文件路徑路徑寫錯(cuò) Registry 根本讀不到認(rèn)證文件。確認(rèn)容器啟動(dòng)時(shí)是否把 htpasswd 文件正確掛載進(jìn)去了?？梢赃M(jìn)入容器手動(dòng)檢查文件是否存在docker exec -it registry ls -l /auth/htpasswd6.2 拉取鏡像時(shí)提示 dial tcp connection refused現(xiàn)象docker pull時(shí)提示dial tcp 192.168.1.100:5000: connect: connection refused。排查步驟用telnet 192.168.1.100 5000在客戶端機(jī)器上測(cè)一下端口通不通。如果不通說(shuō)明中間的網(wǎng)絡(luò)鏈路有問(wèn)題。確認(rèn) Registry 容器在服務(wù)器上是否正常運(yùn)行docker ps | grep registry。確認(rèn)防火墻和安全組有沒有放行 5000 端口我上面已經(jīng)講過(guò)。如果服務(wù)器上還有別的程序占用了 5000 端口Registry 啟動(dòng)會(huì)失敗用ss -lntp | grep 5000可以確認(rèn)。6.3 拉取鏡像時(shí)提示 server gave HTTP response to HTTPS client現(xiàn)象報(bào)錯(cuò)信息里包含http: server gave HTTP response to HTTPS client。原因Docker 客戶端默認(rèn)用 HTTPS 去連你的倉(cāng)庫(kù)但你的倉(cāng)庫(kù)跑的是純 HTTP。解決辦法兩個(gè)方向要么給 Registry 配上 HTTPS 證書要么在客戶端 daemon.json 里添加insecure-registries配置。我推薦前者一勞永逸后面不用每臺(tái)機(jī)器都改。6.4 磁盤空間被鏡像文件占滿現(xiàn)象服務(wù)器磁盤告警發(fā)現(xiàn)/data/registry目錄特別大。解決思路用docker exec registry registry garbage-collect執(zhí)行一次 GC把已刪除鏡像的殘留數(shù)據(jù)清掉。如果 GC 之后空間還是不夠就得從清理策略入手設(shè)置保留版本數(shù)自動(dòng)清理老舊鏡像。從根上解決就是給 Registry 換更大的數(shù)據(jù)盤或者遷移到對(duì)象存儲(chǔ)。6.5 認(rèn)證文件生成后 Registry 無(wú)法啟動(dòng)現(xiàn)象啟動(dòng)容器后日志里出現(xiàn)authtoken: htpasswd: invalid hashing algorithm for user dockeruser原因生成 htpasswd 的時(shí)候沒有用-B參數(shù)默認(rèn)生成的 MD5 格式 Registry 不認(rèn)。解決辦法重新用htpasswd -B生成文件覆蓋掉原來(lái)的。6.6 鏡像列表接口返回 401現(xiàn)象curl訪問(wèn)/v2/_catalog拿到 401。原因認(rèn)證生效了但你沒帶用戶名密碼。解決辦法curl 加-u參數(shù)即可curl -u dockeruser:密碼 https://registry.example.com:5000/v2/_catalog6.7 刪除鏡像后磁盤空間沒有釋放現(xiàn)象通過(guò) API 把鏡像刪了但du -sh /data/registry看磁盤占用沒有變小。原因刪除操作只是標(biāo)記了 manifest 為不可用實(shí)際的數(shù)據(jù)層文件要等 GC 才會(huì)清理。解決辦法執(zhí)行g(shù)arbage-collect命令。這算是 Registry 設(shè)計(jì)的一個(gè)特性不是 bug理解了就不會(huì)慌。7. 進(jìn)階方向從 Docker Registry 向更高階方案演進(jìn)如果你把上面的內(nèi)容全部實(shí)踐了一遍你的內(nèi)網(wǎng)鏡像分發(fā)體系已經(jīng)能支撐一個(gè)幾十人的團(tuán)隊(duì)日常用了。再往后走有幾個(gè)方向可以根據(jù)實(shí)際情況考慮。第一個(gè)方向是給 Registry 加 UI。Docker Registry 原生沒有界面查看鏡像只能靠命令行 API。需要可視化的時(shí)候可以部署一個(gè)輕量的 UI 項(xiàng)目比如 Docker Registry Frontend 或者類似的第三方前端直接以容器方式跑起來(lái)讓它跟 Registry 走同一個(gè)網(wǎng)絡(luò)配置一下就能看到鏡像列表、標(biāo)簽和大小也能找到刪除等操作入口。對(duì)于不愛敲命令的同事來(lái)說(shuō)這個(gè) UI 還是有用的。第二個(gè)方向是權(quán)限模型升級(jí)。Docker Registry 的 htpasswd 認(rèn)證是全局的所有人都用同一份憑據(jù)沒法做精細(xì)的隔離。你們團(tuán)隊(duì)如果發(fā)展成多個(gè)項(xiàng)目組A 組的鏡像不想讓 B 組看到就需要上 Harbor 這種帶 RBAC 權(quán)限控制的方案了。Harbor 可以創(chuàng)建多個(gè)項(xiàng)目每個(gè)項(xiàng)目單獨(dú)設(shè)置訪問(wèn)權(quán)限還能跟 LDAP 打通統(tǒng)一賬號(hào)體系不用每人都維護(hù)獨(dú)立的 htpasswd 賬號(hào)。第三個(gè)方向是 CI/CD 集成。自建 Registry 最大的價(jià)值就是和持續(xù)集成流水線無(wú)縫配合。每次代碼合并流水線自動(dòng)構(gòu)建鏡像并推送到 Registry部署環(huán)境直接從 Registry 拉取指定版本整個(gè)過(guò)程不需要人工介入。這個(gè)流程一旦跑順交付效率會(huì)有質(zhì)的提升。但不管你最后演進(jìn)到什么方案前期從 Docker Registry 起步學(xué)到的這些存儲(chǔ)結(jié)構(gòu)、認(rèn)證原理、GC 機(jī)制、鏡像生命周期管理都是通用且不會(huì)浪費(fèi)的。8. 最后補(bǔ)充幾個(gè)容易被忽略的細(xì)節(jié)有幾個(gè)很小但容易坑人的細(xì)節(jié)單獨(dú)再說(shuō)一下。第一是 Registry 日志。默認(rèn)日志級(jí)別是 info如果你覺得日志太吵可以在 config.yml 里把log.level改成warn只輸出警告和錯(cuò)誤。排查問(wèn)題時(shí)再臨時(shí)改回 debug問(wèn)題解決后記得改回來(lái)。第二是健康檢查接口。Registry 在/v2/路徑返回{}就代表服務(wù)正常。如果你有監(jiān)控系統(tǒng)可以把這個(gè)接口做成監(jiān)控項(xiàng)定時(shí)檢測(cè)倉(cāng)庫(kù)是否存活。第三是端口沖突。5000 端口是 Registry 默認(rèn)端口但有些環(huán)境里這個(gè)端口已經(jīng)被其他服務(wù)占了。如果沖突把 config.yml 里http.addr改成別的端口同時(shí)調(diào)整啟動(dòng)命令里的端口映射。改的時(shí)候兩個(gè)地方要一致不然配置不生效。第四是鏡像命名空間。鏡像倉(cāng)庫(kù)支持命名空間的層級(jí)結(jié)構(gòu)比如auth/api-gateway和order/service可以放在同一個(gè)倉(cāng)庫(kù)里用命名空間區(qū)分業(yè)務(wù)模塊。這個(gè)不額外配置直接推送帶命名空間的鏡像標(biāo)簽即可但建議提前規(guī)劃命名規(guī)范免得后面亂。Docker Registry 本身并不復(fù)雜說(shuō)白了一個(gè)容器加一份配置文件就能跑起來(lái)。但真正跑好它讓團(tuán)隊(duì)所有人用得順手、數(shù)據(jù)安全可靠是要在細(xì)節(jié)里下功夫的。這篇文章里的每一段基本都能對(duì)應(yīng)到我實(shí)際運(yùn)維中遇到過(guò)的場(chǎng)景你照著一路實(shí)踐下來(lái)很快也能積累起自己的一套打法。 自建Docker Registry實(shí)戰(zhàn)：從安裝到運(yùn)維的完整指南
1. 為什么要自己搭一個(gè) Docker Registry很多剛接觸 Docker 的朋友覺得鏡像嘛直接 pull 下來(lái)用就是了干嘛還要費(fèi)勁自己搭一個(gè)倉(cāng)庫(kù)這個(gè)想法在最開始沒問(wèn)題但等你真正跑起來(lái)幾個(gè)服務(wù)、開始往生產(chǎn)環(huán)境部署的時(shí)候很快就會(huì)遇到幾個(gè)繞不開的痛點(diǎn)。第一個(gè)痛點(diǎn)就是速度。我早期在某公司做內(nèi)部平臺(tái)的時(shí)候團(tuán)隊(duì)五六個(gè)人大家都從公網(wǎng)拉鏡像。高峰期一個(gè)稍微大點(diǎn)的鏡像比如帶了一堆依賴的 Python 運(yùn)行時(shí)拉一次十分鐘起步還經(jīng)常超時(shí)中斷。后來(lái)我統(tǒng)計(jì)了一下一天下來(lái)光等鏡像的時(shí)間就夠?qū)懲暌粋€(gè)小需求了。自己搭一個(gè)內(nèi)網(wǎng) Registry相當(dāng)于在本地做了一個(gè)鏡像緩存第一次從公網(wǎng)拉一次之后所有人都是從內(nèi)網(wǎng)秒開。這個(gè)體感差異用過(guò)的都知道有多爽。第二個(gè)痛點(diǎn)是鏡像的可見性和管理。你們公司有沒有這種經(jīng)歷——某個(gè)同事在本地 build 了一個(gè)鏡像傳到某個(gè)公共平臺(tái)別人根本不知道有沒有更新也沒法確認(rèn)這個(gè)鏡像是誰(shuí)打的、里面裝了什么。自己搭 Registry 之后所有鏡像都集中在一個(gè)地方配合標(biāo)簽規(guī)范和清理策略整個(gè)團(tuán)隊(duì)的鏡像資產(chǎn)一目了然。第三個(gè)痛點(diǎn)是合規(guī)和隔離。很多公司內(nèi)部網(wǎng)絡(luò)是隔離的生產(chǎn)環(huán)境根本不能訪問(wèn)外網(wǎng)需要有一個(gè)完全內(nèi)網(wǎng)閉環(huán)的鏡像分發(fā)通道。這種場(chǎng)景下自建 Registry 幾乎是唯一解。那為什么選 Docker Registry 而不是其他方案比如 Harbor、Sonatype Nexus答案是看你處在什么階段。如果你是一個(gè)三五人的小團(tuán)隊(duì)或者還在個(gè)人項(xiàng)目階段Docker Registry 就是那個(gè)性能最輕、部署最快、資源占用最少的方案。Harbor 功能確實(shí)全但它自帶數(shù)據(jù)庫(kù)、UI 門戶、RBAC 權(quán)限部署和維護(hù)成本都不低。Nexus 本身是個(gè)制品倉(cāng)庫(kù)也能存鏡像但配置偏復(fù)雜對(duì) Docker 的協(xié)議支持也沒有原生 Registry 那么純粹。我自己實(shí)踐下來(lái)階段一用 Docker Registry 跑通內(nèi)網(wǎng)鏡像分發(fā)階段二如果團(tuán)隊(duì)規(guī)模大了、權(quán)限要求細(xì)了再平滑遷移到 Harbor。這個(gè)過(guò)渡路徑很順因?yàn)?Docker Registry 的數(shù)據(jù)格式是標(biāo)準(zhǔn)的 OCI 分發(fā)規(guī)范Harbor 可以直接接管已有的鏡像存儲(chǔ)。先從小東西開始永遠(yuǎn)比一上來(lái)就上重型方案穩(wěn)妥。這篇文章我就把 Docker Registry 從安裝、運(yùn)行、配置到日常維護(hù)的整套流程捋一遍。里面有我踩過(guò)的坑也有能直接抄走的配置。你照著做最快十幾分鐘就能跑起來(lái)一個(gè)可用的內(nèi)網(wǎng)鏡像倉(cāng)庫(kù)。2. 安裝前需要想清楚的三件事在敲那行docker run之前我建議你先停下來(lái)想三件事不然之后返工的幾率很大。2.1 存儲(chǔ)目錄怎么規(guī)劃Docker Registry 默認(rèn)的存儲(chǔ)路徑在容器里的/var/lib/registry但容器本身就是個(gè)隨時(shí)可能銷毀的實(shí)體數(shù)據(jù)不能放在容器可寫層里必須掛載到宿主機(jī)持久化目錄。宿主機(jī)目錄的選擇有幾個(gè)講究。第一所在分區(qū)剩余空間要足夠大鏡像倉(cāng)庫(kù)會(huì)隨時(shí)間膨脹建議至少預(yù)留 50GB 起步。第二如果你的宿主機(jī)有數(shù)據(jù)盤、系統(tǒng)盤之分一定要把鏡像目錄放在數(shù)據(jù)盤上別擠在系統(tǒng)盤里否則系統(tǒng)盤滿了會(huì)連帶影響整機(jī)運(yùn)行。第三如果條件允許直接把目錄放在 SSD 上鏡像多了之后SSD 和機(jī)械盤在 push/pull 速度上的差距會(huì)非常明顯。我在生產(chǎn)環(huán)境用的是/data/registry這個(gè)路徑單獨(dú)掛了一塊數(shù)據(jù)盤。測(cè)試環(huán)境就直接用/opt/registry沒那么多講究但路徑規(guī)劃的思路是一樣的。2.2 認(rèn)證方式怎么選Docker Registry 本身默認(rèn)是完全開放的只要端口暴露出去誰(shuí)都能往里推鏡像。這在純內(nèi)網(wǎng)、完全可信的環(huán)境里也許能接受但只要你的網(wǎng)絡(luò)稍微信任邊界模糊一點(diǎn)就必須加認(rèn)證。認(rèn)證方案主要有兩種一種是htpasswd 基礎(chǔ)認(rèn)證這是 Registry 官方支持最簡(jiǎn)單、最直接的方式。用戶名密碼通過(guò)htpasswd工具生成存在一個(gè)文件里。適合小團(tuán)隊(duì)內(nèi)部使用配置成本很低幾分鐘就能搞定。另一種是Token 認(rèn)證屬于更高級(jí)的方案比如對(duì)接公司現(xiàn)有的 LDAP 或 SSO 系統(tǒng)每次請(qǐng)求都去認(rèn)證服務(wù)器換取臨時(shí) token。功能強(qiáng)大但配置復(fù)雜度高一般團(tuán)隊(duì)剛起步?jīng)]必要上這個(gè)。我的建議是無(wú)論你現(xiàn)在覺得環(huán)境多安全都把 htpasswd 認(rèn)證加上。原因很簡(jiǎn)單Docker Registry 一旦暴露在網(wǎng)絡(luò)上又不設(shè)防別人可以直接把惡意鏡像推給你你拉取的時(shí)候就可能中招。加一層密碼認(rèn)證就是加了一層非常必要的保險(xiǎn)。2.3 單機(jī)還是分布式Docker Registry 的部署形態(tài)有兩種常見路徑單機(jī)模式就是直接在宿主機(jī)上跑一個(gè)容器數(shù)據(jù)目錄掛本地磁盤適合部署量不大、單點(diǎn)故障可接受的場(chǎng)景。大多數(shù)團(tuán)隊(duì)起步階段都是這個(gè)形態(tài)。分布式模式則是把存儲(chǔ)后端切到對(duì)象存儲(chǔ)或者云存儲(chǔ)比如 S3、阿里云 OSS或者把數(shù)據(jù)放在共享文件系統(tǒng)上配合多個(gè) Registry 實(shí)例做負(fù)載均衡。這個(gè)方案是為了高可用和大規(guī)模分發(fā)準(zhǔn)備的。我見過(guò)不少團(tuán)隊(duì)一上來(lái)就想搞分布式結(jié)果運(yùn)維成本比鏡像分發(fā)本身還高。我的建議是先跑單機(jī)等真的出現(xiàn)容量瓶頸或者單點(diǎn)故障導(dǎo)致的不可接受停擺再去動(dòng)架構(gòu)。3. Docker Registry 安裝與啟動(dòng)全流程環(huán)境假設(shè)你有一臺(tái) Linux 服務(wù)器裝好了 Docker接下來(lái)我會(huì)把從拉取鏡像到啟動(dòng)容器的每一步都過(guò)一遍。3.1 拉取鏡像并準(zhǔn)備配置目錄Docker Registry 的官方鏡像名是registry。這里有個(gè)大家都忽略的細(xì)節(jié)一定要指定具體的版本標(biāo)簽不要用latest。docker pull registry:2.8.3為什么要單獨(dú)拿出來(lái)說(shuō)因?yàn)?Registry 在過(guò)去有過(guò)幾次比較大的版本變動(dòng)latest標(biāo)簽跟著更新如果你哪次重新拉取或者重新部署拉到的鏡像和之前的差異可能會(huì)讓你莫名其妙。指定版本號(hào)比如2.8.3可以保證每次部署的行為完全一致。接下來(lái)創(chuàng)建配置目錄和認(rèn)證文件目錄mkdir -p /data/registry mkdir -p /etc/docker/registry配置目錄放config.yml認(rèn)證目錄放htpasswd文件。3.2 用 htpasswd 生成認(rèn)證文件如果你之前從沒生成過(guò) htpasswd 文件可以先安裝工具# Debian/Ubuntu apt-get install -y apache2-utils # CentOS/RHEL yum install -y httpd-tools然后生成認(rèn)證文件比如創(chuàng)建一個(gè)用戶叫dockeruserhtpasswd -Bc /etc/docker/registry/htpasswd dockeruser這里有個(gè)關(guān)鍵點(diǎn)-B參數(shù)一定要加。-B表示使用 bcrypt 算法加密密碼Registry 在認(rèn)證時(shí)默認(rèn)要求 bcrypt。如果你不加-B用了默認(rèn)的 MD5 算法后面 Registry 會(huì)直接報(bào)認(rèn)證失敗這是我踩過(guò)的第一個(gè)坑。如果后續(xù)要添加新用戶注意去掉-c參數(shù)否則會(huì)整個(gè)文件覆蓋htpasswd -B /etc/docker/registry/htpasswd anotheruser3.3 編寫 config.yml 配置文件Registry 的配置通過(guò)config.yml控制。這個(gè)文件如果不存在Registry 會(huì)用內(nèi)置默認(rèn)配置啟動(dòng)。如果存在就以你提供的配置為準(zhǔn)。下面是一份適合小團(tuán)隊(duì)起步的配置文件我逐行解釋關(guān)鍵項(xiàng)version: 0.1 log: level: info fields: service: registry storage: filesystem: rootdirectory: /var/lib/registry delete: enabled: true http: addr: :5000 headers: X-Content-Type-Options: [nosniff] auth: htpasswd: realm: basic-realm path: /auth/htpasswd health: storagedriver: enabled: true interval: 10s threshold: 3storage.filesystem.rootdirectory容器內(nèi)存儲(chǔ)路徑要和容器啟動(dòng)時(shí)掛載的目錄對(duì)應(yīng)。storage.delete.enabled允許刪除鏡像。默認(rèn)是 false所以如果你選在 Web UI 上看不到刪除按鈕就檢查一下這里。http.addr監(jiān)聽端口。我用的是 5000Docker Registry 的默認(rèn)端口。auth.htpasswd.path認(rèn)證文件在容器內(nèi)的路徑。注意我配的是/auth/htpasswd不是宿主機(jī)路徑因?yàn)槿萜髟L問(wèn)不到宿主機(jī)目錄這里要用容器內(nèi)的掛載點(diǎn)。health.storagedriver健康檢查。這個(gè)比較重要Registry 會(huì)定期檢查存儲(chǔ)后端是否正常有問(wèn)題會(huì)在日志里報(bào)警方便早期發(fā)現(xiàn)磁盤故障。3.4 啟動(dòng)容器并做端口映射配置文件就緒之后啟動(dòng)命令如下docker run -d \ --name registry \ --restartalways \ -p 5000:5000 \ -v /data/registry:/var/lib/registry \ -v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml \ -v /etc/docker/registry/htpasswd:/auth/htpasswd \ registry:2.8.3逐個(gè)參數(shù)說(shuō)明--restartalways容器掛了自動(dòng)重啟。Registry 這種基礎(chǔ)設(shè)施不能宕機(jī)了不去管它。-v /data/registry:/var/lib/registry把宿主機(jī)存儲(chǔ)目錄掛載到容器內(nèi)存儲(chǔ)目錄。-v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml把配置文件掛載進(jìn)去。-v /etc/docker/registry/htpasswd:/auth/htpasswd把認(rèn)證文件掛載進(jìn)去。注意這里宿主機(jī)目錄和容器內(nèi)路徑可以不一樣容器內(nèi)路徑要和 config.yml 里寫的一致。啟動(dòng)完之后檢查一下狀態(tài)docker ps | grep registry docker logs registry --tail 50如果日志里沒有報(bào)錯(cuò)說(shuō)明 Registry 已經(jīng)在跑了。3.5 本機(jī)自測(cè) registry 是否可用先用 curl 簡(jiǎn)單驗(yàn)證一下服務(wù)有沒有起來(lái)curl -u dockeruser:你的密碼 http://localhost:5000/v2/如果返回{}說(shuō)明 Registry 正常響應(yīng)。如果提示 401說(shuō)明認(rèn)證生效了你的用戶名密碼有問(wèn)題。然后做一次完整的 push/pull 驗(yàn)證。先把一個(gè)現(xiàn)有鏡像打上 registry 的標(biāo)簽docker tag nginx:latest localhost:5000/nginx:latest然后登錄docker login localhost:5000輸入用戶名密碼提示Login Succeeded后推送鏡像docker push localhost:5000/nginx:latest推送完成后在另一臺(tái)機(jī)器上或者本機(jī)先把鏡像刪了拉取docker pull localhost:5000/nginx:latest如果一切順利說(shuō)明你手里已經(jīng)有一個(gè)能用、帶認(rèn)證的內(nèi)網(wǎng)鏡像倉(cāng)庫(kù)了。4. 讓其他機(jī)器能用上你的 RegistryRegistry 跑起來(lái)了問(wèn)題也就來(lái)了——其他機(jī)器的 Docker 客戶端連不上。這個(gè)環(huán)節(jié)是新手遇到問(wèn)題最多的我把幾種典型場(chǎng)景和排查方式都列出來(lái)。4.1 確認(rèn)是否是 https/http 的問(wèn)題Docker 客戶端默認(rèn)情況下只信任 HTTPS 的 Registry。除非你直接訪問(wèn)localhost否則走 HTTP 會(huì)被 Docker 直接拒絕。看下 Docker 客戶端報(bào)錯(cuò)如果出現(xiàn)類似Error response from daemon: Get http://registry.example.com:5000/v2/: http: server gave HTTP response to HTTPS client說(shuō)明客戶端認(rèn)為你是 HTTPS但服務(wù)端實(shí)際是 HTTP。解決辦法是讓 Docker 客戶端把該地址視為 insecure registry。修改客戶端的/etc/docker/daemon.json{ insecure-registries: [ registry.example.com:5000 ] }如果還有其他配置項(xiàng)把insecure-registries合并進(jìn)去然后重啟 Dockersystemctl restart docker注意重啟 Docker 會(huì)把你所有正在運(yùn)行的容器停下來(lái)生產(chǎn)環(huán)境操作前要評(píng)估一下影響。4.2 跨機(jī)器的地址替換很多人在本機(jī)測(cè)試沒問(wèn)題跨機(jī)器就拉取失敗核心原因就是用了localhost這個(gè)地址。其他機(jī)器上的 Docker 解析不了你機(jī)器上的localhost它只會(huì)去找自己本機(jī)。正確做法是打標(biāo)簽的時(shí)候直接用能被對(duì)方訪問(wèn)到的地址比如你的服務(wù)器 IP 或者內(nèi)網(wǎng)域名docker tag nginx:latest 192.168.1.100:5000/nginx:latest docker push 192.168.1.100:5000/nginx:latest內(nèi)部團(tuán)隊(duì)使用我強(qiáng)烈建議申請(qǐng)一個(gè)內(nèi)網(wǎng)域名比如registry.internal這樣然后在每臺(tái)機(jī)器的/etc/hosts里配上解析。用 IP 當(dāng)然也能跑但域名有明顯的好處后面遷移服務(wù)器、換 IP 的時(shí)候不用去每臺(tái)機(jī)器改配置只要把 DNS 或 hosts 指到新地址就行。4.3 防火墻和端口連通性排查你在服務(wù)器本地怎么測(cè)試都通換臺(tái)機(jī)器就提示 connection refused十有八九是防火墻把 5000 端口擋了。確認(rèn)端口監(jiān)聽狀態(tài)ss -lntp | grep 5000確認(rèn)防火墻規(guī)則以 firewalld 為例firewall-cmd --permanent --add-port5000/tcp firewall-cmd --reload如果用的是云服務(wù)器還要去安全組里放行 5000 端口的入方向規(guī)則。這一步很多人忘因?yàn)楸镜鼐W(wǎng)絡(luò)沒有這道關(guān)卡上云就卡住了。4.4 給 Registry 配上 HTTPS 的簡(jiǎn)便做法既然 Docker 客戶端默認(rèn)只信任 HTTPS那最徹底的辦法就是直接給 Registry 配上 HTTPS。這樣所有機(jī)器都無(wú)需設(shè)置 insecure-registry安全性和易用性同時(shí)滿足。最方便的方案是讓 Registry 直接用宿主機(jī)上已有的證書。假設(shè)你已經(jīng)有了證書文件domain.crt和domain.key把它們放到宿主機(jī)目錄比如mkdir -p /etc/docker/registry/certs cp domain.crt /etc/docker/registry/certs/ cp domain.key /etc/docker/registry/certs/然后修改 config.yml把 http 段換成 https 配置http: addr: :5000 tls: certificate: /certs/domain.crt key: /certs/domain.key重新啟動(dòng)容器時(shí)多掛載一個(gè)證書目錄docker run -d \ --name registry \ --restartalways \ -p 5000:5000 \ -v /data/registry:/var/lib/registry \ -v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml \ -v /etc/docker/registry/htpasswd:/auth/htpasswd \ -v /etc/docker/registry/certs:/certs \ registry:2.8.3配置了 HTTPS 之后所有客戶端機(jī)器哪怕不在 insecure-registries 列表里也能正常登錄和推送鏡像。這是我在實(shí)際環(huán)境中最推薦的做法因?yàn)椴挥妹颗_(tái)機(jī)器單獨(dú)改 Docker 配置一勞永逸。5. 鏡像倉(cāng)庫(kù)的日常運(yùn)維與管理倉(cāng)庫(kù)跑起來(lái)只是開始日常運(yùn)維才是重頭戲。這一節(jié)我把鏡像的推拉、刪除、清理、備份等操作都過(guò)一遍全是我自己實(shí)踐驗(yàn)證過(guò)的。5.1 鏡像推送和拉取的正確姿勢(shì)推送鏡像時(shí)標(biāo)簽的格式會(huì)決定鏡像的去向。標(biāo)準(zhǔn)格式是倉(cāng)庫(kù)地址/命名空間/鏡像名:標(biāo)簽。舉個(gè)例子我要把本地 Dockerfile 構(gòu)建出來(lái)的應(yīng)用鏡像推到內(nèi)網(wǎng)倉(cāng)庫(kù)docker build -t 192.168.1.100:5000/myapp/backend:v1.0 . docker push 192.168.1.100:5000/myapp/backend:v1.0這里myapp/backend是命名空間加鏡像名v1.0是版本標(biāo)簽。推送完Registry 上就有了這個(gè)鏡像。拉取的時(shí)候docker pull 192.168.1.100:5000/myapp/backend:v1.0拉取下來(lái)之后如果你想把鏡像名變成更簡(jiǎn)潔的本地名再打一次標(biāo)簽docker tag 192.168.1.100:5000/myapp/backend:v1.0 backend:v1.0這樣可以避免本地鏡像名帶一長(zhǎng)串前綴看著清爽運(yùn)行容器時(shí)也不用寫那么長(zhǎng)。5.2 鏡像版本標(biāo)簽的規(guī)范建議鏡像標(biāo)簽如果不做規(guī)范時(shí)間一長(zhǎng)倉(cāng)庫(kù)里就全是latest、v1、final這種毫無(wú)辨識(shí)度的名字。我這里的團(tuán)隊(duì)約定了一套規(guī)則主版本號(hào).次版本號(hào).修訂號(hào)-環(huán)境標(biāo)識(shí)比如v1.2.0-prod生產(chǎn)環(huán)境發(fā)布的版本v1.2.0-test測(cè)試環(huán)境驗(yàn)證的版本v1.2.0-dev開發(fā)環(huán)境最新構(gòu)建同時(shí)約定latest標(biāo)簽只能由 CI/CD 流水線在每次發(fā)布成功后自動(dòng)更新不允許任何人手動(dòng)往latest上亂推。這樣大家看到latest就知道是當(dāng)前最新的穩(wěn)定構(gòu)建而不是某個(gè)人本地隨手打出來(lái)的包。5.3 刪除鏡像的正確方法Registry 的 HTTP API 本身就是支持刪除鏡像的但有前提條件配置文件里要開啟storage.delete.enabled: true。刪除鏡像有一個(gè)先后順序問(wèn)題必須先刪除 manifest再刪除相應(yīng)的 blob不然磁盤空間不會(huì)釋放。先用 API 查看倉(cāng)庫(kù)里的鏡像列表curl -u dockeruser:密碼 https://registry.example.com:5000/v2/_catalog返回類似{repositories:[myapp/backend,myapp/frontend]}查看某個(gè)鏡像的所有標(biāo)簽curl -u dockeruser:密碼 https://registry.example.com:5000/v2/myapp/backend/tags/list再獲取指定標(biāo)簽的 digest也就是鏡像的唯一摘要curl -u dockeruser:密碼 -H Accept: application/vnd.docker.distribution.manifest.v2json \ https://registry.example.com:5000/v2/myapp/backend/manifests/v1.2.0-prod在響應(yīng)頭里找Docker-Content-Digest返回的十六進(jìn)制字符串就是 digest。然后調(diào)用刪除接口curl -u dockeruser:密碼 -X DELETE \ https://registry.example.com:5000/v2/myapp/backend/manifests/digest值刪除之后還需要定期執(zhí)行 GC 才能真正釋放磁盤空間。GC 操作需要跑到容器內(nèi)部執(zhí)行docker exec registry registry garbage-collect /etc/docker/registry/config.yml執(zhí)行完 GC之前刪掉鏡像殘留的存儲(chǔ)層會(huì)被清除磁盤空間才會(huì)真正釋放出來(lái)。5.4 用腳本定期清理老舊鏡像人工清理一兩次可以長(zhǎng)期這么干誰(shuí)都受不了。我寫了一個(gè)簡(jiǎn)單的清理腳本放在服務(wù)器上配合 crontab 定期跑。腳本思路是列出每個(gè)鏡像的所有標(biāo)簽根據(jù)標(biāo)簽里的版本號(hào)排序把規(guī)定保留數(shù)量之外的鏡像全部刪除最后執(zhí)行 GC。#!/bin/bash REGISTRYhttps://registry.example.com:5000 USERdockeruser PASS密碼 KEEP_VERSION_COUNT5 # 獲取所有倉(cāng)庫(kù) REPOS$(curl -s -u $USER:$PASS $REGISTRY/v2/_catalog | python3 -c import sys,json; print(\n.join(json.load(sys.stdin)[repositories]))) for repo in $REPOS; do # 獲取所有標(biāo)簽 TAGS$(curl -s -u $USER:$PASS $REGISTRY/v2/$repo/tags/list | python3 -c import sys,json; print(\n.join(json.load(sys.stdin)[tags]))) # 這里按版本號(hào)排序保留最新的 KEEP_VERSION_COUNT 個(gè) STALE_TAGS$(echo $TAGS | sort -V | head -n -$KEEP_VERSION_COUNT) for tag in $STALE_TAGS; do # 獲取 digest DIGEST$(curl -s -u $USER:$PASS -H Accept: application/vnd.docker.distribution.manifest.v2json \ $REGISTRY/v2/$repo/manifests/$tag -D - | grep -i Docker-Content-Digest | awk {print $2} | tr -d \r) # 刪除 manifest curl -s -u $USER:$PASS -X DELETE $REGISTRY/v2/$repo/manifests/$DIGEST done done # 執(zhí)行 GC 釋放空間 docker exec registry registry garbage-collect /etc/docker/registry/config.yml腳本里用到了sort -V這是按版本號(hào)自然排序v1.9會(huì)排在v1.10前面不是簡(jiǎn)單按字典序。然后在 crontab 里配一下0 3 * * 6 /opt/scripts/cleanup_registry.sh /var/log/registry_cleanup.log 21每周六凌晨三點(diǎn)跑一次。注意 GC 執(zhí)行時(shí)Registry 會(huì)短暫停頓所以安排在業(yè)務(wù)低峰期比較穩(wěn)妥。5.5 數(shù)據(jù)備份與恢復(fù)鏡像倉(cāng)庫(kù)里的數(shù)據(jù)本質(zhì)上都是文件備份思路就是把存儲(chǔ)目錄整個(gè)打包。最常用的命令tar -czf registry_backup_$(date %Y%m%d).tar.gz -C /data registry恢復(fù)的時(shí)候把壓縮包解壓回/data目錄然后重新啟動(dòng)容器即可。因?yàn)榕渲梦募顽R像數(shù)據(jù)是分開掛載的恢復(fù)時(shí)先確認(rèn) config.yml 和 htpasswd 還在再確認(rèn)數(shù)據(jù)目錄解壓完整。如果數(shù)據(jù)量特別大比如幾百 GB用 tar 打包會(huì)很慢可以考慮用 rsync 增量同步到備份服務(wù)器rsync -avz --delete /data/registry/ backup-server:/data/registry/不管用哪種方式定期備份真的很重要。我見過(guò)有人不備份結(jié)果磁盤壞了鏡像全沒重建容器還得重新 build 每一個(gè)鏡像痛苦程度誰(shuí)經(jīng)歷誰(shuí)知道。6. 常見問(wèn)題與排查技巧實(shí)錄這一節(jié)我把自己在運(yùn)維過(guò)程中遇到比較多的和團(tuán)隊(duì)里其他同事問(wèn)我的問(wèn)題匯總一下直接給你解決辦法。6.1 鏡像推不上去提示認(rèn)證失敗現(xiàn)象docker push時(shí)提示unauthorized: authentication required。排查步驟確認(rèn)你有沒有執(zhí)行docker login并且登錄的是正確的倉(cāng)庫(kù)地址很多人登錄了一個(gè)地址推送的目標(biāo)地址又是另外一個(gè)。確認(rèn)用戶名密碼是否輸對(duì)htpasswd 是 bcrypt 加密的話輸錯(cuò)密碼肯定登錄不了。確認(rèn) config.yml 里auth.htpasswd.path是否指向容器內(nèi)正確的文件路徑路徑寫錯(cuò) Registry 根本讀不到認(rèn)證文件。確認(rèn)容器啟動(dòng)時(shí)是否把 htpasswd 文件正確掛載進(jìn)去了?？梢赃M(jìn)入容器手動(dòng)檢查文件是否存在docker exec -it registry ls -l /auth/htpasswd6.2 拉取鏡像時(shí)提示 dial tcp connection refused現(xiàn)象docker pull時(shí)提示dial tcp 192.168.1.100:5000: connect: connection refused。排查步驟用telnet 192.168.1.100 5000在客戶端機(jī)器上測(cè)一下端口通不通。如果不通說(shuō)明中間的網(wǎng)絡(luò)鏈路有問(wèn)題。確認(rèn) Registry 容器在服務(wù)器上是否正常運(yùn)行docker ps | grep registry。確認(rèn)防火墻和安全組有沒有放行 5000 端口我上面已經(jīng)講過(guò)。如果服務(wù)器上還有別的程序占用了 5000 端口Registry 啟動(dòng)會(huì)失敗用ss -lntp | grep 5000可以確認(rèn)。6.3 拉取鏡像時(shí)提示 server gave HTTP response to HTTPS client現(xiàn)象報(bào)錯(cuò)信息里包含http: server gave HTTP response to HTTPS client。原因Docker 客戶端默認(rèn)用 HTTPS 去連你的倉(cāng)庫(kù)但你的倉(cāng)庫(kù)跑的是純 HTTP。解決辦法兩個(gè)方向要么給 Registry 配上 HTTPS 證書要么在客戶端 daemon.json 里添加insecure-registries配置。我推薦前者一勞永逸后面不用每臺(tái)機(jī)器都改。6.4 磁盤空間被鏡像文件占滿現(xiàn)象服務(wù)器磁盤告警發(fā)現(xiàn)/data/registry目錄特別大。解決思路用docker exec registry registry garbage-collect執(zhí)行一次 GC把已刪除鏡像的殘留數(shù)據(jù)清掉。如果 GC 之后空間還是不夠就得從清理策略入手設(shè)置保留版本數(shù)自動(dòng)清理老舊鏡像。從根上解決就是給 Registry 換更大的數(shù)據(jù)盤或者遷移到對(duì)象存儲(chǔ)。6.5 認(rèn)證文件生成后 Registry 無(wú)法啟動(dòng)現(xiàn)象啟動(dòng)容器后日志里出現(xiàn)authtoken: htpasswd: invalid hashing algorithm for user dockeruser原因生成 htpasswd 的時(shí)候沒有用-B參數(shù)默認(rèn)生成的 MD5 格式 Registry 不認(rèn)。解決辦法重新用htpasswd -B生成文件覆蓋掉原來(lái)的。6.6 鏡像列表接口返回 401現(xiàn)象curl訪問(wèn)/v2/_catalog拿到 401。原因認(rèn)證生效了但你沒帶用戶名密碼。解決辦法curl 加-u參數(shù)即可curl -u dockeruser:密碼 https://registry.example.com:5000/v2/_catalog6.7 刪除鏡像后磁盤空間沒有釋放現(xiàn)象通過(guò) API 把鏡像刪了但du -sh /data/registry看磁盤占用沒有變小。原因刪除操作只是標(biāo)記了 manifest 為不可用實(shí)際的數(shù)據(jù)層文件要等 GC 才會(huì)清理。解決辦法執(zhí)行g(shù)arbage-collect命令。這算是 Registry 設(shè)計(jì)的一個(gè)特性不是 bug理解了就不會(huì)慌。7. 進(jìn)階方向從 Docker Registry 向更高階方案演進(jìn)如果你把上面的內(nèi)容全部實(shí)踐了一遍你的內(nèi)網(wǎng)鏡像分發(fā)體系已經(jīng)能支撐一個(gè)幾十人的團(tuán)隊(duì)日常用了。再往后走有幾個(gè)方向可以根據(jù)實(shí)際情況考慮。第一個(gè)方向是給 Registry 加 UI。Docker Registry 原生沒有界面查看鏡像只能靠命令行 API。需要可視化的時(shí)候可以部署一個(gè)輕量的 UI 項(xiàng)目比如 Docker Registry Frontend 或者類似的第三方前端直接以容器方式跑起來(lái)讓它跟 Registry 走同一個(gè)網(wǎng)絡(luò)配置一下就能看到鏡像列表、標(biāo)簽和大小也能找到刪除等操作入口。對(duì)于不愛敲命令的同事來(lái)說(shuō)這個(gè) UI 還是有用的。第二個(gè)方向是權(quán)限模型升級(jí)。Docker Registry 的 htpasswd 認(rèn)證是全局的所有人都用同一份憑據(jù)沒法做精細(xì)的隔離。你們團(tuán)隊(duì)如果發(fā)展成多個(gè)項(xiàng)目組A 組的鏡像不想讓 B 組看到就需要上 Harbor 這種帶 RBAC 權(quán)限控制的方案了。Harbor 可以創(chuàng)建多個(gè)項(xiàng)目每個(gè)項(xiàng)目單獨(dú)設(shè)置訪問(wèn)權(quán)限還能跟 LDAP 打通統(tǒng)一賬號(hào)體系不用每人都維護(hù)獨(dú)立的 htpasswd 賬號(hào)。第三個(gè)方向是 CI/CD 集成。自建 Registry 最大的價(jià)值就是和持續(xù)集成流水線無(wú)縫配合。每次代碼合并流水線自動(dòng)構(gòu)建鏡像并推送到 Registry部署環(huán)境直接從 Registry 拉取指定版本整個(gè)過(guò)程不需要人工介入。這個(gè)流程一旦跑順交付效率會(huì)有質(zhì)的提升。但不管你最后演進(jìn)到什么方案前期從 Docker Registry 起步學(xué)到的這些存儲(chǔ)結(jié)構(gòu)、認(rèn)證原理、GC 機(jī)制、鏡像生命周期管理都是通用且不會(huì)浪費(fèi)的。8. 最后補(bǔ)充幾個(gè)容易被忽略的細(xì)節(jié)有幾個(gè)很小但容易坑人的細(xì)節(jié)單獨(dú)再說(shuō)一下。第一是 Registry 日志。默認(rèn)日志級(jí)別是 info如果你覺得日志太吵可以在 config.yml 里把log.level改成warn只輸出警告和錯(cuò)誤。排查問(wèn)題時(shí)再臨時(shí)改回 debug問(wèn)題解決后記得改回來(lái)。第二是健康檢查接口。Registry 在/v2/路徑返回{}就代表服務(wù)正常。如果你有監(jiān)控系統(tǒng)可以把這個(gè)接口做成監(jiān)控項(xiàng)定時(shí)檢測(cè)倉(cāng)庫(kù)是否存活。第三是端口沖突。5000 端口是 Registry 默認(rèn)端口但有些環(huán)境里這個(gè)端口已經(jīng)被其他服務(wù)占了。如果沖突把 config.yml 里http.addr改成別的端口同時(shí)調(diào)整啟動(dòng)命令里的端口映射。改的時(shí)候兩個(gè)地方要一致不然配置不生效。第四是鏡像命名空間。鏡像倉(cāng)庫(kù)支持命名空間的層級(jí)結(jié)構(gòu)比如auth/api-gateway和order/service可以放在同一個(gè)倉(cāng)庫(kù)里用命名空間區(qū)分業(yè)務(wù)模塊。這個(gè)不額外配置直接推送帶命名空間的鏡像標(biāo)簽即可但建議提前規(guī)劃命名規(guī)范免得后面亂。Docker Registry 本身并不復(fù)雜說(shuō)白了一個(gè)容器加一份配置文件就能跑起來(lái)。但真正跑好它讓團(tuán)隊(duì)所有人用得順手、數(shù)據(jù)安全可靠是要在細(xì)節(jié)里下功夫的。這篇文章里的每一段基本都能對(duì)應(yīng)到我實(shí)際運(yùn)維中遇到過(guò)的場(chǎng)景你照著一路實(shí)踐下來(lái)很快也能積累起自己的一套打法。