Prefect Avis & Détails du Produit

Il est facile de mettre en place un flux, d'obtenir des avantages d'interface utilisateur pour l'orchestration, et de tester et déboguer lorsque les flux échouent. Développer des flux prefect dans la version v2/v3 de prefect est également beaucoup plus simple qu'il ne l'était dans la version v1 de prefect. Avis collecté par et hébergé sur G2.com.

Lorsqu'on entre dans des exécutions à très grande échelle, cela peut parfois s'étouffer. Je pense que les solutions que leur équipe nous propose sont en quelque sorte des rustines pour des problèmes que leur plateforme devrait bien gérer. Certains de ces éléments d'orchestration, comme le nettoyage automatique des tâches bloquées, sont des fonctionnalités qu'un outil d'orchestration devrait fournir par défaut. Avis collecté par et hébergé sur G2.com.

Prefect est l'un des outils d'orchestration les moins chers et les meilleurs du marché. Nous pouvons intégrer de nombreuses plateformes avec Prefect. Les tâches Databricks et Snowflake peuvent être exécutées via Prefect. Avis collecté par et hébergé sur G2.com.

Besoin de connaissances en Python pour travailler sur Prefect et besoin d'avoir quelques fonctionnalités supplémentaires où Airflow est en avance. Avis collecté par et hébergé sur G2.com.

Prefect est l'un des meilleurs outils d'orchestration. En utilisant le dépôt git source, nous pouvons personnaliser l'intégration à notre manière. Facile à utiliser même pour les débutants avec une configuration locale. Une connaissance de Python est suffisante. Avis collecté par et hébergé sur G2.com.

Un autre concurrent majeur de Prefect dispose de crochets et de connecteurs préconstruits, tandis que Prefect est en retard car nous devons développer les connecteurs. Avis collecté par et hébergé sur G2.com.

L'interface utilisateur est la meilleure partie. Tous nos processus de production, parfaits ou non, envoient des messages d'erreur à Slack. Nos membres d'équipe se relaient pour être de garde, donc si un message d'erreur persiste sur Slack, celui qui est de garde doit enquêter. Avec la plupart de nos processus, la personne de garde doit sortir son ordinateur portable, rechercher les journaux, etc. Si elle est en train de faire quelque chose, comme dîner, être avec des amis, etc., elle doit retourner à son ordinateur portable pour gérer les choses. Avec Prefect, je peux facilement utiliser mon téléphone lorsqu'une erreur Prefect survient, me connecter à Prefect et m'occuper de tout ce dont j'ai besoin directement là. Une application iOS pour Prefect rendrait cela encore mieux qu'il ne l'est déjà. Avis collecté par et hébergé sur G2.com.

La documentation est terrible. Pas assez d'exemples, surtout pour les choses plus compliquées comme les pools de travail et les blocs. Les quelques exemples présents sont bien trop simples pour vous aider à les mettre en œuvre dans un contexte réel. Le superbe design de l'interface utilisateur vous donne de meilleurs indices sur le fonctionnement des choses que la documentation elle-même. Avis collecté par et hébergé sur G2.com.

Cadre et concepts faciles à comprendre pour le nouveau poste de DataOps, en comparaison avec Airflow

Soutien et aide via le canal Slack, réponse généralement reçue en une heure Avis collecté par et hébergé sur G2.com.

Rien jusqu'à présent, nous sommes satisfaits des versions gratuites de Prefect. Avis collecté par et hébergé sur G2.com.

Ce que notre équipe a le plus apprécié à propos de Prefect, c'est la facilité avec laquelle il est possible de convertir n'importe quel code Python en un pipeline fonctionnel et automatisé grâce aux décorateurs Prefect. Nous avons pu migrer nos flux de travail de fonctions cloud vers Prefect en seulement quelques jours. Le fichier yaml de déploiements déclaratifs est également facile à comprendre et lorsqu'il est utilisé dans nos pipelines CI/CD. Avis collecté par et hébergé sur G2.com.

Je souhaite que Prefect ait plus d'intégrations, mais je comprends qu'il est en croissance et que l'équipe travaille dur pour développer ce domaine. Une chose que je souhaite, c'est que Prefect Cloud ait une intégration native avec Kafka et des intégrations avec DataHub. Avis collecté par et hébergé sur G2.com.

Prefect consiste à prendre l'idée d'avoir des scripts Python planifiés et à ajouter facilement et habilement tout ce qui facilite la vie d'un ingénieur : planification basée sur l'interface utilisateur, paramétrage, visualisation des flux, journalisation détaillée, gestion des exceptions, notifications, webhooks, conteneurisation et déploiements faciles, concurrence. C'est comme un système de valeur ajoutée pure (et massive) avec presque aucun besoin de faire des concessions sur la façon dont vous aimez vous connecter aux données, transformer les données ou livrer les données. En tant que tel, je pense que c'est particulièrement puissant lorsque vous avez beaucoup de pipelines ETL non standard allant dans toutes les directions (c'est-à-dire une montagne de dette technique) et que vous voulez nettoyer les choses sans être forcé de prendre des décisions de conception restrictives.

Prefect est vraiment flexible, non seulement en termes de déploiement des agents d'exécution, mais aussi en termes de structuration de votre code et des fonctionnalités de Prefect que vous souhaitez utiliser intensivement ou légèrement. Il n'y a pas de limitation sur les sources de données ou les intégrations : il s'adapte simplement à ce que vous faites déjà avec Python. Il ne vous force dans aucun moule au-delà de l'utilisation de Python, bien que les concepts de tâches et la façon dont Prefect gère la concurrence soient très utiles si vous souhaitez utiliser ces éléments. Il facilite la conteneurisation des scripts Python et rend chaque aspect d'un déploiement de flux de données modulaire et flexible. Et une fois que vous avez vos paramètres comme vous les aimez, déployer des changements ou de nouveaux flux est facile.

Nous exécutons environ 200 flux Prefect planifiés par jour, envoyant et recevant des données entre plus de 50 systèmes différents à notre université. Prefect a été un sauveur. La documentation, le support et l'espace Slack de Prefect ont tous été très utiles. Avis collecté par et hébergé sur G2.com.

Je ne peux guère me plaindre de Prefect. Cela dit, je suis un ingénieur expérimenté qui aime avoir beaucoup de contrôle. Si vous écrivez déjà des scripts Python planifiés pour déplacer des données, Prefect sera un excellent choix, je pense. Mais il n'est pas conçu pour répondre à des questions comme comment extraire des données du système X ou les charger dans le système Y ou comment transformer des données. Il s'agit de simplifier toute la structure autour du cœur de votre code Python afin que vous puissiez vous concentrer sur ce que vous devez faire. Avis collecté par et hébergé sur G2.com.

C'est pythonique et donc facile à mettre en œuvre.

La version 2.0 a de grandes fonctionnalités.

Cela nous permet de développer à distance, de manière collaborative mais de façon ordonnée et simple.

Une fois que vous comprenez l'essentiel, c'est-à-dire les flux, les tâches, le pool de travail, les travailleurs et le déploiement, tout devient très simple.

Il a une grande communauté, très active. En général, les problèmes que j'ai eus ont déjà plusieurs commentaires et solutions sur Slack. Avis collecté par et hébergé sur G2.com.

Nous avons dû lire et tester pendant quelques jours pour mettre en place l'environnement de développement et se connecter au cloud.

Dans la documentation, il manque plus d'exemples, tels que la connexion avec Gitlab (il n'y a que des exemples avec Github) et il y a quelques différences que nous avons résolues avec la communauté. Avis collecté par et hébergé sur G2.com.

J'ai suivi Prefect depuis la version 1 et j'ai observé avec satisfaction que mes suggestions sur leur canal Slack (très réactif) ont été mises en production. Très peu de code initial est nécessaire pour enregistrer un flux, des sous-flux et des sous-tâches, mais les options sont vastes. Je fais des tâches ETL relativement simples, mais je me retrouve à éliminer beaucoup de vérifications manuelles car je peux déclencher des flux en fonction d'événements dans d'autres.

L'API est correctement documentée.

Reprises élégantes, nommage des flux et options pour les exécuteurs de tâches.

Si vous êtes comme moi et que vous avez trouvé Airflow intimidant - c'est un très bon choix. Avis collecté par et hébergé sur G2.com.

C'est en développement rapide, alors faites attention aux journaux de publication. Par exemple, j'utilisais des objets Python pour déployer, mais maintenant l'option préférée est le fichier prefect.yaml.

Une partie du développement n'est pas toujours reflétée dans la documentation, mais ils rattrapent leur retard.

La vue Flow peut être un peu encombrée si vous avez des tâches qui s'exécutent pendant quelques minutes et d'autres pendant des heures. Avis collecté par et hébergé sur G2.com.

Il est assez facile d'annoter le code Python existant et de le convertir en un flux Prefect sans changer beaucoup de code. L'architecture hybride qui utilise des agents ou des travailleurs vous permet d'avoir beaucoup de flexibilité sur l'endroit et la manière dont le code est exécuté. Cela vous permet également d'avoir des environnements isolés pour chaque flux d'une manière plus propre que quelque chose comme Airflow. Avis collecté par et hébergé sur G2.com.

Prefect 2 est encore un jeune cadre et il est encore en construction, donc attendez-vous à de nombreuses mises à jour constantes et à des changements potentiellement perturbateurs. Sa communauté n'est pas aussi grande que quelque chose comme "Airflow", donc il manque beaucoup de connecteurs et certains d'entre eux ne sont pas fréquemment mis à jour. Avis collecté par et hébergé sur G2.com.