使用者畫像系統的作業排程Airflow研究和應用
使用者畫像系統從業務入手,全面構建使用者的標籤體系。標籤體系的設計和生成需要多個作業協同和有序工作。而使用者畫像系統的作業排程,就是用來保證多個作業能夠協同有序工作。本文是對開源的作業排程系統Airflow的研究和應用探索。
Airflow環境配置
第一步:構建Linux開發環境 Windows作業系統基於虛擬機器構建Linux開發環境。虛擬機器用VMware,Linux用CentOS7。 VMware虛擬機器中安裝CentOS7,參考連結: https://www.cnblogs.com/smyhvae/p/3917532.html
第二步:Linux系統搭建Python工作環境 基於sh安裝方式,快速搭建Python工作環境。 執行如下命令:
cd /opt wget https://repo.continuum.io/archive/Anaconda3-5.2.0-Linux-x86_64.sh bash Anaconda3-5.2.0-Linux-x86_64.sh
如果執行wget命令報錯,表示centOS7沒有連線網路。centOS7配置自動連線網路,參考連結: https://jingyan.baidu.com/article/19192ad8f7c320e53e570728.html 命令執行好後,就可以在Linux系統下進行Python的使用了。
第三步:安裝airflow 執行命令
pip install airflow export AIRFLOW_HOME=/home/airflow # 初始化資料庫: airflow initdb # 啟動服務: airflow webserver (啟動airflow
開啟瀏覽器,輸入如下URL http://localhost:8080/admin/ 執行成功出現如下頁面: