[转帖]Docker：Python环境Docker镜像瘦身

docker,python,环境,镜像,瘦身 · 浏览次数 : 0

小编点评

# Generate Content **1. Introduction** * Welcome and overview * Purpose and scope * Explanation of content organization **2. Background** * Overview of Docker and its use * Introduction to Python and its dependencies * Explanation of dependencies and build stages **3. Dependencies and Build Stages** * List of required dependencies * Explanation of build stages and dependencies * Use of slim and buster as build sources **4. Content Organization** * Docker image size reduction techniques * Docker Squash and Alpine * .dockerignore file * RUN after COPY4 **5. Conclusion** * Summary of key points * Content generation process and considerations * Future improvements and recommendations

正文

https://www.jianshu.com/p/c0ad13e0be85

 

关键字：Docker，Python

原始镜像

封装一个Python 3.7的环境并且安装Python依赖包实现一个机器学习算法预测任务，Dockerfile如下

FROM python:3.7
MAINTAINER xxx
ENV PIPURL "https://mirrors.aliyun.com/pypi/simple/"
COPY ./requirements.txt /home
WORKDIR /home
RUN pip install -i ${PIPURL} --default-timeout=1000 -r requirements.txt

requirements.txt如下

jieba==0.40
numpy==1.18.0
pymongo==3.1.1
PyMySQL==0.10.0
pysolr==3.8.1
PyYAML==5.3.1
scikit-learn==0.22.2.post1
scipy==1.4.1
xgboost==1.0.2

构建镜像

$ docker build -t test/test:v1 .

查看镜像大小有1.58个G

$ docker images                                                                                      
REPOSITORY                  TAG       IMAGE ID       CREATED         SIZE                                                                                     
test/test                   v1        17b88b5e4b7f   2 minutes ago   1.58GB

大在哪里排查

docker history可以查看镜像构建的过程，使用格式化查看并且对Size进行倒序查看

$ docker history --format "{{.Size}} {{.CreatedBy}}" -H=false 17b88b5e4b7f | sort -t ' ' -k 1 -n -r
672415434 RUN /bin/sh -c pip install -i ${PIPURL} --de…
528779103 /bin/sh -c set -ex;  apt-get update;  apt-ge…
151980558 /bin/sh -c apt-get update && apt-get install…
124119398 /bin/sh -c #(nop) ADD file:513c5d5e501279c21…
41623591 /bin/sh -c set -eux;   wget -O python.tar.xz…
18952123 /bin/sh -c set -ex;  if ! command -v gpg > /…
18484074 /bin/sh -c set -eux;  apt-get update;  apt-g…
10699182 /bin/sh -c set -eux;  apt-get update;  apt-g…
10173436 /bin/sh -c set -eux;   wget -O get-pip.py "$…
141 COPY ./requirements.txt /home # buildkit
32 /bin/sh -c set -eux;  for src in idle3 pydoc…
0 WORKDIR /home
0 MAINTAINER xxx
0 ENV PIPURL=https://mirrors.aliyun.com/pypi/s…
0 /bin/sh -c #(nop)  ENV PYTHON_VERSION=3.7.16
0 /bin/sh -c #(nop)  ENV PYTHON_SETUPTOOLS_VER…
0 /bin/sh -c #(nop)  ENV PYTHON_PIP_VERSION=22…
0 /bin/sh -c #(nop)  ENV PYTHON_GET_PIP_URL=ht…
0 /bin/sh -c #(nop)  ENV PYTHON_GET_PIP_SHA256…
0 /bin/sh -c #(nop)  ENV PATH=/usr/local/bin:/…
0 /bin/sh -c #(nop)  ENV LANG=C.UTF-8
0 /bin/sh -c #(nop)  ENV GPG_KEY=0D96DF4D4110E…
0 /bin/sh -c #(nop)  CMD ["python3"]
0 /bin/sh -c #(nop)  CMD ["bash"]

其中--format "{{.Size}} {{.CreatedBy}}"是使用GO的模板只输出Size和CreatedBy两列，-H关闭将Size的单位去除，sort -t ' ' -k 1 -n -r表示根据空格分割后以第一列作为数值倒序排列。从结果来看CMD，ENV，WORKDIR，MAINTAINER这些操作都没有大小，只有COPY，RUN以及其他环境准备的执行命令造成了镜像体积变大。

（1）pip install依赖包

共计672MB，进入镜像

$ docker run -it e602098faafe /bin/bash

pip 安装的依赖都在/usr/local/lib/python3.7/site-packages下查看各个包占用大小

root@241937acc2aa:/usr/local/lib/python3.7/site-packages# du -s ./* |sort -nr
204416  ./xgboost
92252   ./scipy
80728   ./numpy
43164   ./jieba
29644   ./sklearn
13012   ./pip
2964    ./setuptools
2088    ./joblib
1652    ./_yaml.cpython-37m-x86_64-linux-gnu.so
1224    ./pymongo
...

加起来大概466MB，还差206MB不知道被什么占用了，另外从依赖包来看xgboost比较大200m，scipy和numpy比较大加起来也差不多200m

（2）安装一系列autoconf automake bzip2 dpkg-dev file g++ gcc imagemagick libbz2-dev libc6-dev libcurl4-openssl-dev libdb-dev libevent-dev libffi-dev libgdbm-dev libglib2.0-dev libgmp-dev libjpeg-dev libkrb5-dev liblzma-dev libmagickcore-dev libmagickwand-dev libmaxminddb-dev libncurses5-dev libncursesw5-dev libpng-dev libpq-dev libreadline-dev libsqlite3-dev libssl-dev libtool libwebp-dev libxml2-dev libxslt-dev libyaml-dev make patch unzip xz-utils zlib1g-dev..

共计500m，不知道是怎么进来的，可能有些有用有些没用

（3）安装一系列git mercurial openssh-client subversion procps ...

共计150m，不知道是怎么进来的，这些版本控制的东西对我应用没啥用

（4）ADD file:513c5d5e501279c21a05c1d8b66e5f0b02ee4b27f0b928706d92fd9ce11c1be6

共计120m，是第一层镜像源

瘦身策略

（1）不产生pip缓存文件或者删除pip缓存文件

pip install占用空间比site-package下的实际空间大出200MB，怀疑是.cache/pip下的pip缓存文件导致，该文件有199MB

root@ea2784eace4d:~/.cache# du -sh pip/
199M    pip/

在pip时使用--no-cache-dir不使用缓存，改变以下Dockerfile代码

RUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt

重新构建之后镜像大小下降到1.37GB下降大概200MB

$ docker images                                                                                                                                                                      
REPOSITORY   TAG       IMAGE ID       CREATED             SIZE                                                                                                                                                                                
test/test    v4        32a596269bf0   39 seconds ago      1.37GB

再进入容器发现已经没有~/.cache/pip文件夹

$ docker run -it 32a596269bf0 /bin/bash
root@f1526275c8af:/home# cd
root@f1526275c8af:~# cd .cache
（2）Python源瘦身

docker:3.7在仓库中的版本有

python       3.7-slim     22bf9d1adb34   3 days ago       123MB
python       3.7-alpine   807a8b5dd4df   6 days ago       46.9MB
python       3.7-buster   98c2e7c177c7   6 days ago       879MB
python       3.7          4d9a42ad20a7   6 days ago       905MB

slim: 瘦身版，省略许多不常用的依赖，故而它变得很小，但是如果需要一些不常用的依赖时，需要自己安装，如需体积较小的镜像时用slim 版本制作，有一定安装难度
alpine: 包含了在 Linux 上运行 Python 所需要的最小环境，它使用 Alpine 作为系统。因为它最小，所以只能直接运行纯 Python 代码。任何需要编译 C 代码或动态链接库的 Python 仓库都不能直接使用，需要自己安装依赖，需要花费大量时间来安装系统依赖，收益不大，最终镜像的大小与 slim 版本的基本相同
buster: 此类镜像使用Debian10作为系统，包含了所有 CPython 所需要的依赖，如果环境难以安装选择buster 镜像，最终制作完成通常比 slim 大不少
default: 使用Debian的bullseye做为默认镜像基础系统

下面改为用slim作为源镜像，修改Dockerfile如下

FROM python:3.7-slim
MAINTAINER xxx
RUN echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free' > /etc/apt/sources.list && \
    echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free' >> /etc/apt/sources.list && \
    echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free' >> /etc/apt/sources.list && \
    apt-get update && \
    apt-get install -y \
    g++ \
    make \
    cmake \
    libcurl4-openssl-dev 
ENV PIPURL "https://mirrors.aliyun.com/pypi/simple/"
COPY ./requirements.txt /home
WORKDIR /home
RUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt

手动安装了g++，make，cmake等环境，重新构建镜像结果如下

$ docker images                                                                                      
REPOSITORY   TAG          IMAGE ID       CREATED          SIZE                                                                                                
test/test    v8           7dc43999c361   27 minutes ago   893MB

直接从1.37GB下降到893MB，测试一下里面的py包都可以运行

（3）apt 安装中使用 --no-install-recommends

apt install 命令来安装某些包时，它会安装一些不需要的推荐包，使用--no-install-recommends避免这个情况，修改Dockerfile如下

apt-get install -y --no-install-recommends \
    g++ \
    make \
    cmake \
    libcurl4-openssl-dev

其中-y：yes，在命令行交互提示中，直接输入 yes，新构建的镜像大小如下，从893MB降低到881MB又宰掉12MB

$ docker images                                                                                      
REPOSITORY   TAG          IMAGE ID       CREATED             SIZE                                                                                             
test/test    v9           2192fccb9858   13 minutes ago      881MB
（4）清理apt install缓存

apt-get clean 命令清除遗留在 /var/cache 中的已取回的包文件的本地仓库，rm -rf /var/lib/apt/lists删除缓存的源信息，删除之可以继续降低空间占用，修改Dockerfile如下

RUN echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free' > /etc/apt/sources.list && \
    echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free' >> /etc/apt/sources.list && \
    echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free' >> /etc/apt/sources.list && \
    apt-get update && \
    apt-get install -y --no-install-recommends \
    g++ \
    make \
    cmake \
    libcurl4-openssl-dev && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

再次构建后查看镜像的大小，从881MB降低到862MB，又再掉19MB

$ docker images                                                                                      
REPOSITORY   TAG          IMAGE ID       CREATED             SIZE                                                                                             
test/test    v10          59e37a627394   43 seconds ago      862MB
（5）多阶段构建

多个FROM语句，每个FROM指令都可以使用不同的基础镜像，第一阶段使用buster作为源，把依赖包全部安全正确安装进来，再第二阶段以slim作为源，再把第一阶段的仅仅和运行相关的依赖全部COPY过来

FROM python:3.7-buster as base-image
MAINTAINER xxx
ENV PIPURL "https://mirrors.aliyun.com/pypi/simple/"
COPY ./requirements.txt /home
WORKDIR /home
RUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt

FROM python:3.7-slim
COPY --from=base-image /usr/local/bin /usr/local/bin
COPY --from=base-image /usr/bin /usr/bin
COPY --from=base-image /usr/lib/x86_64-linux-gnu/libgomp.so.1 /usr/lib/x86_64-linux-gnu/libgomp.so.1
COPY --from=base-image /usr/local/lib/python3.7/site-packages /usr/local/lib/python3.7/site-packages

docker语法：

标志 --from=<name> 将从 from 指定的构建阶段中寻找源文件

重新build之后只有650MB，和862MB相比继续下降212M

$ docker images
REPOSITORY   TAG          IMAGE ID       CREATED             SIZE
test/test    v12          a14124089863   5 minutes ago       650MB
（6）Xgboost瘦身

Xgboost包占用了200MB，网上查到从源码下载编译安装只需要50MB，但是测试没有安装成功，下次再测

（7）其他方法

网上还有其他方法，包括
1.使用 Docker Squash 减小镜像大小
2.使用 .dockerignore 文件，将不需要的文件不进入镜像
3.在 RUN 之后放置 COPY
4.将几个RUN语句合并在一行中，这样可以减少层数

docker镜像大小取舍

由于同一台机器上的 docker Image 是可以共享的，要快速启动并运行项目，没有空间限制，许多 Python 项目需要跑在同一台机器上时，default 或 buster 是最好的选择。如果愿意花时间去调试依赖并且对镜像大小有追求时，slim 和 alpine 都是好的选择。

docker python 环境 镜像 瘦身

与[转帖]Docker：Python环境Docker镜像瘦身相似的内容：

[转帖]Docker：Python环境Docker镜像瘦身

https://www.jianshu.com/p/c0ad13e0be85 关键字：Docker，Python 原始镜像 封装一个Python 3.7的环境并且安装Python依赖包实现一个机器学习算法预测任务，Dockerfile如下 FROM python:3.7 MAINTAINER xxx

docker python 环境 镜像
0
[转帖]终于搞懂了服务器为啥产生大量的TIME_WAIT！

http://www.yunweipai.com/40430.html 运维派隶属马哥教育旗下专业运维社区，是国内成立最早的IT运维技术社区，欢迎关注公众号：yunweipai领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号：马哥linux运维 写在开头，大概 4

终于 搞懂 服务器 为啥
0
[转帖]如何提高Linux下块设备IO的整体性能？

http://www.yunweipai.com/6989.html 运维派隶属马哥教育旗下专业运维社区，是国内成立最早的IT运维技术社区，欢迎关注公众号：yunweipai领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号：马哥linux运维 作者介绍 邹立巍 Li

如何 提高 linux 设备
0
[转帖]docker容器跨主机网络overlay

https://www.cnblogs.com/machangwei-8/p/15757120.html 目录 拉取镜像，运行容器 浏览器上访问Consul 修改host1,host2的docker daemon配置文件 创建网络 验证 在overlay中运行容器 运行 查看一下这两个网卡 查看生成

docker 容器 主机 网络
0
[转帖]Docker容器跨主机通信overlay网络的解决方案

https://www.jb51.net/article/237838.htm 一、Docker主机间容器通信的解决方案 Docker网络驱动 Overlay: 基于VXLAN封装实现Docker原生Overlay网络 Macvlan: Docker主机网卡接口逻辑上分为多个子接口，每个子接口标识一

docker 容器 主机 通信
0
[转帖]docker多主机网络方案

http://t.zoukankan.com/bethal-p-6046816.html 本文探讨Docker多主机网络的性能。 在过去的博文里，我测试过 Docker的网络 。 MySQL服务器团队 提供了他们自己的结果，和我的观察是一致的。 本文里一系列的测试，想更多关注使用多主机的Docker

docker 主机 网络 方案
0
[转帖]docker进阶教程之dockerfile优化镜像大小

https://www.jb51.net/hack/ 同样功能的镜像,但是不同的Dockerfile build出来的镜像大小是不一样的,下面这篇文章主要给大家介绍了关于docker进阶教程之dockerfile优化镜像大小的相关资料,需要的朋友可以参考下 + 目录 一、无优化构建镜像 1 2 3

docker 进阶 教程 dockerfile
0
[转帖]Docker镜像最佳实践

https://www.zhihu.com/people/trumandu-95/posts 5条最佳建议 1.仅安装产线需要依赖与软件 镜像尽可能最小原则 仅复制jar/war 使用自定义JRE(Java Runtime Environment) 2.使用多阶段构建 FROM maven:3.6.

docker 镜像 最佳 实践
0
[转帖]docker 容器基础技术：linux cgroup 简介

https://cizixs.com/2017/08/25/linux-cgroup/ Linux cgroups 的全称是 Linux Control Groups，它是 Linux 内核的特性，主要作用是限制、记录和隔离进程组（process groups）使用的物理资源（cpu、memory、

docker 容器 基础 技术
0
[转帖]Docker容器动态添加端口

方法1 修改iptables端口映射 docker的端口映射并不是在docker技术中实现的，而是通过宿主机的iptables来实现。通过控制网桥来做端口映射，类似路由器中设置路由端口映射。 比如我们有一个容器的80端口映射到主机的8080端口，先查看iptables到底设置了什么规则：登录后复制

docker 容器 动态 添加
0
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.