DAGs. U Airflow-u, DAG – ili a Usmjereni aciklički graf – je kolekcija svih zadataka koje želite pokrenuti, organiziranih na način koji odražava njihove odnose i ovisnosti.
Kako pravite DAG-ove u Airflow-u?
Da biste kreirali DAG u Airflow, morate uvijek uvesti DAG klasu Nakon DAG klase, dolazi uvoz Operatera. U osnovi, za svaki Operator koji želite da koristite, morate izvršiti odgovarajući uvoz. Na primjer, ako želite da izvršite Python funkciju, morate uvesti PythonOperator.
Gdje Airflow traži DAG-ove?
Airflow traži u vašoj DAGS_FOLDER module koji sadrže DAG objekte u svom globalnom imenskom prostoru i dodaje objekte koje pronađe u DagBag-u.
Kako Airflow pohranjuje DAG-ove?
Apache Airflow baza podataka metapodataka:
Baza metapodataka pohranjuje konfiguracije, kao što su varijable i veze Također pohranjuje korisničke informacije, uloge i politike. Konačno, Planer analizira sve DAG-ove i pohranjuje relevantne metapodatke kao što su intervali rasporeda, statistike iz svakog pokretanja i njihovi zadaci.
Da li je Airflow ETL alat?
Airflow nije ETL alat sam po sebi. Ali on upravlja, strukturira i organizira ETL cjevovode koristeći nešto što se zove usmjereni aciklički grafovi (DAG). … Baza metapodataka pohranjuje tokove rada/zadatke (DAG).
