Apache Airflow Avis & Détails du Produit

Apache Airflow rend incroyablement facile la conception, la planification et la surveillance de flux de travail complexes en utilisant Python. J'aime la façon dont il permet de construire des DAGs de manière très lisible et modulaire, ce qui aide à gérer des pipelines de données à grande échelle. L'interface utilisateur est intuitive et offre une visibilité complète sur l'exécution des tâches, les réessais et les journaux. Sa capacité à s'intégrer parfaitement avec les bases de données, les fournisseurs de cloud et les services externes le rend très flexible pour des cas d'utilisation réels. Le support de la communauté et les plugins disponibles facilitent également l'extension des fonctionnalités selon les besoins. Le support client est également bon. Avis collecté par et hébergé sur G2.com.

Airflow peut être un peu difficile à installer et à configurer au départ, surtout lors du déploiement en production avec plusieurs travailleurs et planificateurs. La gestion des ressources et la mise à l'échelle nécessitent parfois des ajustements supplémentaires, et le débogage peut être compliqué pour les nouveaux utilisateurs. La courbe d'apprentissage est plus raide par rapport à certains autres outils d'orchestration, et l'interface utilisateur, bien que utile, pourrait être plus moderne et réactive. Cependant, une fois configuré, il devient stable et très fiable. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Apache Airflow, c'est sa flexibilité et ses puissantes capacités de planification. En tant que développeur, je peux concevoir des flux de travail complexes sous forme de code en utilisant Python, ce qui facilite le contrôle de version et la collaboration avec les coéquipiers. L'interface utilisateur est intuitive pour surveiller les exécutions de DAG et résoudre les problèmes, et le vaste écosystème d'intégrations d'Airflow me permet de me connecter à presque n'importe quel outil ou base de données. Avis collecté par et hébergé sur G2.com.

La courbe d'apprentissage est assez raide, en particulier lors de la configuration du planificateur et de la gestion des dépendances des tâches. Parfois, l'interface web d'Airflow semble lente, et le dépannage des problèmes peut devenir compliqué avec des DAGs complexes. De plus, bien qu'il y ait beaucoup d'intégrations, maintenir les dépendances compatibles lors des mises à jour n'est pas toujours facile. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Apache Airflow, c'est la façon dont il me permet d'orchestrer des pipelines de données complexes de manière très structurée. Dans la planification de la demande de la chaîne d'approvisionnement, nous traitons de multiples sources de données – ventes, inventaire, production, voire des signaux externes comme les jours fériés ou la météo. Airflow facilite la planification, la surveillance et la réexécution de ces flux de travail sans trop de tracas manuels. J'apprécie également la visibilité qu'il offre à travers l'interface utilisateur, cela aide à détecter rapidement quand une tâche échoue et pourquoi. Pour moi, cela permet de gagner beaucoup de temps par rapport à l'écriture de scripts ad hoc et de tâches cron. Avis collecté par et hébergé sur G2.com.

Parfois, Airflow peut sembler un peu lourd, surtout lors de la première configuration. Pour des flux de travail plus petits, cela peut presque sembler excessif, mais dans les projets de planification de la chaîne d'approvisionnement plus importants, cela en vaut la peine. L'interface utilisateur est bonne mais peut être lente lorsque vous avez trop de DAGs en cours d'exécution. De plus, la courbe d'apprentissage n'est pas triviale – il faut un certain temps pour se familiariser avec les opérateurs, les connexions et la gestion des backfills. J'aimerais aussi que la documentation contienne plus de cas d'utilisation réels de la chaîne d'approvisionnement au lieu de simples exemples génériques d'ETL. Avis collecté par et hébergé sur G2.com.

Apache Airflow est très utile pour orchestrer des flux de travail complexes. J'aime vraiment l'orchestration de flux de travail basée sur DAG, cela m'a aidé à décomposer de grandes tâches en tâches plus petites, ce qui a facilité le débogage. Ce que je préfère dans Airflow, c'est son mécanisme de réessai. Si je veux exécuter une tâche spécifique d'un DAG ou si un DAG échoue à une tâche particulière, je peux simplement réessayer à la tâche spécifique au lieu de relancer tout le DAG depuis le début, ce qui m'a vraiment fait gagner beaucoup de temps. Une autre excellente chose à propos d'Airflow est son approche de DAG dynamique. Lorsqu'il est nécessaire de créer plusieurs DAGs similaires, nous pouvons créer un modèle spécifique et utiliser ce modèle pour tous les DAGs similaires, ce qui est vraiment une fonctionnalité incroyable. Cela m'a beaucoup aidé et a réduit l'écriture manuelle. J'utilise Airflow depuis un an et je pense qu'Airflow est la meilleure plateforme pour l'orchestration des flux de travail. Le support client est très réactif et utile. Avis collecté par et hébergé sur G2.com.

Il n'y a pas de documentation adéquate pour certains opérateurs, ce qui rend difficile pour les nouveaux utilisateurs. Avis collecté par et hébergé sur G2.com.

Open source, interface utilisateur pour suivre presque tous les aspects de chaque travail, compatible avec Python. Avis collecté par et hébergé sur G2.com.

Bien qu'Apache Airflow soit puissant, il complique souvent les tâches simples avec des abstractions supplémentaires comme des directives personnalisées et la communication entre les tâches. La planification des tâches n'est pas intuitive, nécessitant une attention particulière aux fins d'intervalle, et le chargement des journaux peut être lent. Bien que les opinions puissent varier, je trouve personnellement que les cronjobs traditionnels sont une solution plus simple et plus efficace pour gérer un grand nombre de tâches. Avis collecté par et hébergé sur G2.com.

Il a une belle interface utilisateur pour visualiser l'état des DAGs, ce qui est devenu une norme industrielle. De plus, lorsque les tâches échouent, les journaux sont très utiles pour identifier ce qui a mal tourné. Avis collecté par et hébergé sur G2.com.

Les configurations semblent dépassées et inutilement complexes. En comparaison, des outils tels que dbt, et surtout Databricks, ont récemment apporté des améliorations significatives. Avis collecté par et hébergé sur G2.com.

Apache Airflow offre une excellente flexibilité dans la définition, la planification et la surveillance de flux de travail complexes. L'approche basée sur les DAG est intuitive pour les ingénieurs de données, et l'écosystème étendu d'opérateurs permet une intégration facile avec divers systèmes. Son interface utilisateur rend le suivi et le débogage des flux de travail simples, et sa scalabilité assure un fonctionnement fluide même avec de grands pipelines. Avis collecté par et hébergé sur G2.com.

La configuration initiale peut être difficile, surtout pour les débutants. La gestion des dépendances et la mise à l'échelle en production nécessitent une solide connaissance de l'infrastructure. Certaines tâches peuvent nécessiter des opérateurs ou des plugins personnalisés, ce qui peut être long à développer. L'interface utilisateur web, bien que fonctionnelle, pourrait bénéficier d'améliorations UX plus modernes. Avis collecté par et hébergé sur G2.com.

Apache Airflow excelle dans l'orchestration de flux de travail complexes avec facilité. Son approche basée sur les DAG rend les dépendances des tâches claires et gérables. L'interface web est intuitive pour la surveillance et le débogage des tâches, et les options d'intégration avec les services cloud et les bases de données sont étendues. Étant open-source, il bénéficie d'un fort soutien communautaire et de mises à jour fréquentes, ce qui le rend adaptable aux besoins évolutifs. La scalabilité est un autre atout — il peut gérer efficacement tout, des petits pipelines aux charges de travail à l'échelle de l'entreprise. Avis collecté par et hébergé sur G2.com.

La configuration initiale et la mise en place peuvent être difficiles pour les débutants, surtout lors du déploiement dans un environnement distribué. La documentation, bien que complète, peut parfois être accablante ou obsolète. L'utilisation des ressources peut devenir lourde pour des DAGs très grands, nécessitant une optimisation minutieuse. De plus, la courbe d'apprentissage pour les opérateurs et plugins personnalisés peut être abrupte pour les nouveaux développeurs. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Apache Airflow, c'est sa capacité à orchestrer des flux de travail complexes avec une visibilité et un contrôle clairs. La structure basée sur les DAG rend facile la conception, la surveillance et la modification des pipelines de données, tandis que le planificateur garantit que les tâches s'exécutent de manière fiable et dans le bon ordre. Sa modularité et ses capacités d'intégration avec diverses sources de données et outils le rendent extrêmement polyvalent. L'interface web est également un énorme avantage, car elle offre une surveillance en temps réel et un débogage rapide, ce qui permet de gagner du temps pendant le développement et la production. Avis collecté par et hébergé sur G2.com.

Bien qu'Apache Airflow soit puissant, il présente une courbe d'apprentissage abrupte pour les débutants, surtout lors de sa configuration et de son installation pour la première fois. Les déploiements peuvent être complexes, et la gestion des dépendances à travers les environnements nécessite une attention particulière. De plus, pour les projets plus petits, la charge de faire fonctionner et de maintenir Airflow peut sembler plus lourde par rapport à des alternatives plus légères. Avis collecté par et hébergé sur G2.com.

Très facile à comprendre et à utiliser

Il est très bon pour définir des flux de travail complexes en tant que code

possède de très bonnes fonctionnalités de surveillance/observabilité

La meilleure partie est que nous n'avons pas à gérer d'infrastructure si nous utilisons des services comme AWS MWAA pour Apache Airflow. Très facile à mettre en œuvre.

Dispose d'un bon support client par e-mail ou tickets de support

Nous l'utilisons quotidiennement pour quelques projets pour gérer le flux de travail pour Bedrock pour utiliser des intégrations AI, Databricks et EMR.

Nous l'utilisons avec AWS S3, Bedrock, Postgres SQL et Github Avis collecté par et hébergé sur G2.com.

Il n'a pas de mécanisme de suivi et rend difficile le suivi des modifications apportées ou le retour à une version précédente du code. Ne prend pas en charge le traitement en direct du streaming. Avis collecté par et hébergé sur G2.com.