Docker+Jenkins+Gitlab+Django应用部署实践

栏目: Python · 发布时间: 7年前

内容简介：在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。如上图实例，简单花了下流程拓扑：Jenkins安装部署可参考：jenkins笔记

在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。

二、拓扑环境

2.1 架构拓扑

Docker+Jenkins+Gitlab+Django应用部署实践

如上图实例，简单花了下流程拓扑：

  • 当研发push本地代码到gitlab-server后，webhook自动触发jenkins构建应用
  • 在docker host上部署应用git clone来自gitlabserver源码，并启动应用
  • 前端可以放置lb来做高可用
  • 数据库连接云数据库
  • 可将日志存储在log后期投递到elk实现日志可视化
  • 构建完成邮件通知相关人员（测试或开放）

2.2 系统软件版本

名称 版本
Linux系统 CentOS7.3 64位
Docker 1.13
Django 2.0

三、安装部署

3.1 Jenkins安装部署

Jenkins安装部署可参考：jenkins笔记

  • 安装完成后添加 Docker 目标服务器
Docker+Jenkins+Gitlab+Django应用部署实践
  • 配置邮件发送服务器
Docker+Jenkins+Gitlab+Django应用部署实践

3.2 Docker安装部署

Docker安装部署及Dockerfile编写可参考：容器Docker详解

3.3 Gitlab安装部署

GitLab安装在公网 Linux 服务器运行一些命令即可，如果没有公网需要手动修改 /etc/gitlab/gitlab.rb 文件的 external_url 'http://自己的内网IP' 

yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix

wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 获取公网IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb

gitlab-ctl reconfigure
gitlab-ctl restart

echo "Username:root"
echo "Password:5iveL!fe"
复制代码

3.4 配置发布流程

  • Jenkins新建构建一个自由风格的软件项目
Docker+Jenkins+Gitlab+Django应用部署实践
  • 利用参数化构建方便后续部署Docker传入映射的源端口和release
Docker+Jenkins+Gitlab+Django应用部署实践
  • 源代码来自gitlab的django项目
Docker+Jenkins+Gitlab+Django应用部署实践
  • 利用webhook关联gitlab和jenkins

jenkins安装插件：

Docker+Jenkins+Gitlab+Django应用部署实践

生成随机token值

Docker+Jenkins+Gitlab+Django应用部署实践

将jenkins生成的GitLab webhook URL配置到gitlab

Docker+Jenkins+Gitlab+Django应用部署实践
Docker+Jenkins+Gitlab+Django应用部署实践
  • 当开发者在本地push代码后自动触发jenkins构建项目，有Dockerfile内写的git pull代码，再次不用将代码由jenkins分发到docker宿主机，jenkins作为触发docker构建使用
Docker+Jenkins+Gitlab+Django应用部署实践
  • 配置构建完成后的邮件

邮件模版，邮件类型选择： 内容类型选择：HTML 邮件主题填写： 构建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} ! 构建通知模版： 

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
    offset="0">
    <table width="95%" cellpadding="0" cellspacing="0"
        style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
        <tr>
            <td>(本邮件是程序自动下发的，请勿回复！)</td>
        </tr>
        <tr>
            <td><h2>
                    <font color="#0000FF">构建结果 - ${BUILD_STATUS}</font>
                </h2></td>
        </tr>
        <tr>
            <td><br />
            <b><font color="#0B610B">构建信息</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>项目名称 ： ${PROJECT_NAME}</li>
                    <li>构建编号 ： 第${BUILD_NUMBER}次构建</li>
                    <li>SVN 版本： ${SVN_REVISION}</li>
                    <li>触发原因： ${CAUSE}</li>
                    <li>构建日志： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
                    <li>构建  Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>
                    <li>工作目录 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
                    <li>项目  Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
                </ul>
            </td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">Changes Since Last
                        Successful Build:</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
                </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat="    %p"}
            </td>
        </tr>
        <tr>
            <td><b>Failed Test Results</b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td><pre
                    style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
                <br /></td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <!-- <tr>
            <td>Test Logs (if test has ran): <a
                href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>
                <br />
            <br />
            </td>
        </tr> -->
        <tr>
            <td><textarea cols="80" rows="30" readonly="readonly"
                    style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
            </td>
        </tr>
    </table>
</body>
</html>
复制代码

触发类型可根据自身需要填写，这里填写always无论成功还是失败都发送邮件

Docker+Jenkins+Gitlab+Django应用部署实践
  • 查看远程Docker服务器内的文件
Docker+Jenkins+Gitlab+Django应用部署实践
  • django部署已经利用conda打包好了项目的 Python 3.6的环境包自制了Docker镜像
    Docker+Jenkins+Gitlab+Django应用部署实践

之前利用的是纯净的Python3.6系统，在每次构建的时候利用pip安装requirements.txt的模块，但是长此以往由于环境变化很少，每次需要pip安装耗时，所以利用conda将打包好的Python环境自制成定制化环境，以此来减少环境部署时间，也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内，每次构建本地的conda即可，完成快速环境部署。

查看Dockerfile

FROM 87a69025db6a
MAINTAINER kaliarch

# 定义docker中工作目录
ENV WORK_DIR /work/
# 创建docker内工作目录
RUN mkdir $WORK_DIR
# 定义映射端口

EXPOSE 80

WORKDIR $WORK_DIR 
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git

# 添加启动服务脚本
ADD *.sh ${WORK_DIR}

CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log
复制代码

查看Django启动脚本

#!/bin/bash

BASEPATH=$(cd `dirname $0`;pwd)

PY_CMD=/python3/bin/python


# 服务入口文件
#MAIN_APP=${BASEPATH}/go2cloud/manage.py 
# 迁移脚本入口文件
SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py
# 删除脚本入口文件
DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py


# 日志目录

LOG_DIR=${BASEPATH}/logs/
[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}

# 启动服务
#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &
# 启动脚本迁移调度脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log
nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &

# 启动迁移删除脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log
nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &

复制代码

查看jenkins部署脚本

#!/bin/bash

release=$1
port=$2

BASEPATH=$(cd `dirname $0`;pwd)

# 构建 go 2cloud-platform 镜像
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .

IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')

echo $IMGNAME
# 启动容器
docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}

复制代码

利用-v参数将日志持续化存储到docker 宿主机之上


以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍
Machine Learning in Action

Machine Learning in Action

Peter Harrington / Manning Publications / 2012-4-19 / GBP 29.99

It's been said that data is the new "dirt"—the raw material from which and on which you build the structures of the modern world. And like dirt, data can seem like a limitless, undifferentiated mass. ......一起来看看 《Machine Learning in Action》 这本书的介绍吧!

码农工具
SHA 加密
SHA 加密

SHA 加密工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

html转js在线工具
html转js在线工具

html转js在线工具

  • New
  • 文章
  • 话题
  • 教程
    • 关注 码农网 公众号
    版权所有，保留一切权利！© 2018-2026 码农网 粤ICP备17054400号-3