Wepay की पोस्ट की ये श्रृंखला पढ़ें, जहां वे विस्तार से बताते हैं कि कैसे वे Airflow का उपयोग करके अपने MySQL डेटाबेस को BigQuery से सिंक करते हैं:
- https://wecode.wepay.com/posts/ wepays-डेटा-वेयरहाउस-बिगक्वेरी-एयरफ्लो
- https://wecode.wepay.com/posts/airflow-wepay
- (तीसरा मामला BigQuery के बारे में है)
संक्षेप में (उद्धरण):
- सेटअप प्रमाणीकरण, कनेक्शन, DAG.
- परिभाषित करें कि कौन से कॉलम MySQL से खींचे जाएं और BigQuery में लोड हों।
- चुनें कि डेटा कैसे लोड किया जाए:वृद्धिशील रूप से, या पूरी तरह से।
- डी-डुप्लिकेटिंग।
