内容简介：用户画像系统从业务入手，全面构建用户的标签体系。标签体系的设计和生成需要多个作业协同和有序工作。而用户画像系统的作业调度，就是用来保证多个作业能够协同有序工作。本文是对开源的作业调度系统Airflow的研究和应用探索。第一步：构建Linux开发环境 Windows操作系统基于虚拟机构建Linux开发环境。虚拟机用VMware，Linux用CentOS7。 VMware虚拟机中安装CentOS7，参考链接：第二步：Linux系统搭建Python工作环境 基于sh安装方式，快速搭建Python工作环境。 执行
用户画像系统从业务入手，全面构建用户的标签体系。标签体系的设计和生成需要多个作业协同和有序工作。而用户画像系统的作业调度，就是用来保证多个作业能够协同有序工作。本文是对开源的作业调度系统Airflow的研究和应用探索。
Airflow环境配置
第一步：构建 Linux 开发环境 Windows操作系统基于虚拟机构建Linux开发环境。虚拟机用VMware，Linux用CentOS7。 VMware虚拟机中安装CentOS7，参考链接： https://www.cnblogs.com/smyhvae/p/3917532.html
第二步：Linux系统搭建 Python 工作环境 基于sh安装方式，快速搭建Python工作环境。 执行如下命令：
cd /opt wget https://repo.continuum.io/archive/Anaconda3-5.2.0-Linux-x86_64.sh bash Anaconda3-5.2.0-Linux-x86_64.sh
如果执行wget命令报错，表示centOS7没有连接网络。centOS7配置自动连接网络，参考链接： https://jingyan.baidu.com/article/19192ad8f7c320e53e570728.html 命令执行好后，就可以在Linux系统下进行Python的使用了。
第三步：安装airflow 执行命令
pip install airflow export AIRFLOW_HOME=/home/airflow # 初始化数据库： airflow initdb # 启动服务： airflow webserver （启动airflow
打开浏览器，输入如下URL http://localhost:8080/admin/ 运行成功出现如下页面：
以上所述就是小编给大家介绍的《用户画像系统的作业调度Airflow研究和应用》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
区块链技术驱动金融
阿尔文德·纳拉亚南、约什·贝努、爱德华·费尔顿、安德鲁·米勒、史蒂文·戈德费德 / 林华、王勇 / 中信出版社,中信出版集团 / 2016-8-25 / CNY 79.00
从数字货币及智能合约技术层面，解读了区块链技术在金融领域的运用。“如果你正在寻找一本在技术层面解释比特币是如何运作的，并且你有一定计算机科学和编程的基本知识，这本书应该很适合你。” 《区块链：技术驱动金融》回答了一系列关于比特币如何运用区块链技术运作的问题，并且着重讲述了各种技术功能，以及未来会形成的网络。比特币是如何运作的？它因何而与众不同？你的比特币安全吗？比特币用户如何匿名？区块链如何......一起来看看 《区块链技术驱动金融》 这本书的介绍吧!
