एनाकोंडा3 का उपयोग करके अपाचे एयरफ्लो को MySQL के साथ स्थापित करने के लिए इन चरणों का पालन करें
1) पूर्व-आवश्यकताएं स्थापित करें
yum install gcc gcc-c++ -y
yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
dnf install redhat-rpm-config
2) एनाकोंडा3 स्थापित करें (पायथन 3.7.6 के साथ आता है)
yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
chmod +x Anaconda3-2020.02-Linux-x86_64.sh
./Anaconda3-2020.02-Linux-x86_64.sh
सुनिश्चित करें कि आप conda initialize जब इंस्टालेशन के दौरान संकेत दिया जाता है। यह सुनिश्चित करेगा कि बाद के चरणों में अजगर और पाइप का सही संस्करण उपयोग किया जाता है।
3) अपाचे एयरफ्लो स्थापित करें
pip install apache-airflow[mysql,celery]
आप आवश्यकतानुसार अन्य उपपैकेज जोड़ सकते हैं। मैंने बैकएंड के रूप में MySQL डेटाबेस का उपयोग करने के लिए Airflow के लिए आवश्यक केवल वही शामिल किए हैं।
4) वायु प्रवाह प्रारंभ करें
export AIRFLOW_HOME=~/airflow
airflow initdb
यहाँ से, मैंने MySQL सर्वर को कॉन्फ़िगर करने के लिए आपके द्वारा अनुसरण किए गए चरणों की नकल की है
5) MySQL सर्वर स्थापित करें
rpm -Uvh https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm
sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/mysql-community.repo
yum --enablerepo=mysql80-community install mysql-server
systemctl start mysqld.service
6) MySQL में लॉगिन करें और Airflow के लिए डेटाबेस कॉन्फ़िगर करें
mysql> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci;
mysql> CREATE user 'airflow'@'localhost' identified by 'Airflow123';
mysql> GRANT ALL privileges on *.* to 'airflow'@'localhost';
7) एयरफ्लो कॉन्फ़िगरेशन फ़ाइल अपडेट करें (~/airflow/airflow.cfg)
sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow
executor = CeleryExecutor
8) वायु प्रवाह प्रारंभ करें
airflow initdb
