Prefect Reseñas y Detalles del Producto

Es fácil establecer un flujo, obtener beneficios de UI para la orquestación y probar y depurar cuando los flujos fallan. Desarrollar flujos prefectos en v2/v3 de prefect también es mucho más sencillo de lo que era en prefect v1. Reseña recopilada por y alojada en G2.com.

Cuando se trata de ejecuciones a gran escala, a veces puede atascarse. Siento que las soluciones que nos da su equipo son una especie de parches temporales para cosas que su plataforma debería manejar bien. Algunos de esos elementos de orquestación, como la limpieza automática de trabajos atascados, es algo que creo que una herramienta de orquestación debería proporcionar de manera predeterminada. Reseña recopilada por y alojada en G2.com.

Prefect es una de las herramientas de orquestación de bajo costo y mejor en el mercado. Podemos integrar muchas plataformas con Prefect. Los trabajos de Databricks y Snowflake se pueden ejecutar a través de Prefect. Reseña recopilada por y alojada en G2.com.

Se necesita conocimiento de Python para trabajar en Prefect y se necesita tener algunas características más donde Airflow está por delante. Reseña recopilada por y alojada en G2.com.

Prefect es una de las mejores herramientas de orquestación. Usando el repositorio git de origen, podemos personalizar la integración a nuestra manera. Fácil de usar incluso para principiantes con una configuración local. El conocimiento de Python es suficiente. Reseña recopilada por y alojada en G2.com.

Otro competidor importante de Prefect tiene ganchos y conectores preconstruidos, mientras que Prefect está rezagado porque debemos desarrollar los conectores. Reseña recopilada por y alojada en G2.com.

La interfaz de usuario es la mejor parte. Todos nuestros procesos de producción, perfectos o no, envían mensajes de error a Slack. Los miembros de nuestro equipo se turnan para estar de guardia, así que si un mensaje de error persiste en Slack, quien esté de guardia tiene que investigarlo. Con la mayoría de nuestros procesos, la persona de guardia tiene que sacar su portátil, buscar registros, etc. Si están en medio de algo, como cenar, estar con amigos, etc., tienen que volver a su portátil para manejar las cosas. Con Prefect, puedo fácilmente usar mi teléfono cuando llega un error de Prefect, iniciar sesión en Prefect y ocuparme de todo lo que necesito justo ahí. Una aplicación para iOS de Prefect haría esto aún mejor de lo que ya es. Reseña recopilada por y alojada en G2.com.

La documentación es terrible. No hay suficientes ejemplos, especialmente con las cosas más complicadas como los grupos de trabajo y los bloques. Los pocos ejemplos que hay son demasiado simples para ayudarte a implementarlo en algo real. El gran diseño de la interfaz de usuario te da mejores pistas sobre cómo funcionan las cosas que la propia documentación. Reseña recopilada por y alojada en G2.com.

Marco y conceptos fáciles de entender para la nueva posición de DataOps, en comparación con Airflow

Apoyo y ayuda a través del canal de Slack, generalmente se obtiene respuesta en una hora Reseña recopilada por y alojada en G2.com.

Nada hasta ahora, estamos contentos con las versiones gratuitas de Prefect. Reseña recopilada por y alojada en G2.com.

Lo que nuestro equipo ha disfrutado más sobre el prefect es lo fácil que es convertir cualquier código de Python en una tubería funcional y automatizada a través de los decoradores de prefect. Pudimos migrar nuestros flujos de trabajo de funciones en la nube a prefect en solo un par de días. El archivo yaml de implementaciones declarativas también es fácil de entender y cuando se utiliza en nuestras tuberías de CI/CD. Reseña recopilada por y alojada en G2.com.

Deseo que Prefect tuviera más integraciones, pero entiendo que está creciendo y el equipo está trabajando arduamente para expandir esta área. Una cosa que desearía es que Prefect Cloud tuviera una integración nativa con Kafka e integraciones con DataHub. Reseña recopilada por y alojada en G2.com.

Prefect se trata de tomar la idea de tener scripts de Python programados y agregar fácilmente y con destreza todas las cosas que facilitan la vida de un ingeniero: programación basada en interfaz de usuario, parametrización, visualización de flujos, registro detallado, manejo de excepciones, notificaciones, webhooks, contenedorización y despliegues fáciles, concurrencia. Es como un sistema de valor añadido puro (y masivo) con casi ninguna necesidad de hacer concesiones en cómo te gusta conectarte a los datos, transformarlos o entregarlos. Por lo tanto, creo que es especialmente poderoso cuando tienes muchas canalizaciones ETL no estándar yendo en todas direcciones (es decir, una montaña de deuda técnica) y quieres limpiar las cosas sin verte obligado a tomar decisiones de diseño restrictivas.

Prefect es realmente flexible, no solo en términos de cómo despliegas los agentes de ejecución, sino también en términos de cómo quieres estructurar tu código y qué características de Prefect quieres usar intensamente o ligeramente. No hay limitaciones en las fuentes de datos o integraciones: simplemente se adapta a lo que ya estás haciendo con Python. No te obliga a ningún molde más allá de usar Python, aunque los conceptos de tareas y la forma en que Prefect maneja la concurrencia son muy útiles si deseas hacer uso de estas cosas. Facilita la contenedorización de scripts de Python y hace que cada aspecto de un despliegue de flujo de datos sea modular y flexible. Y una vez que tienes tus configuraciones como te gustan, desplegar cambios o nuevos flujos es fácil.

Ejecutamos alrededor de 200 flujos programados de Prefect al día, enviando y recibiendo datos entre más de 50 sistemas diferentes en nuestra universidad. Prefect ha sido un salvavidas. La documentación, el soporte y el espacio de Slack de Prefect han sido de gran ayuda. Reseña recopilada por y alojada en G2.com.

No puedo quejarme casi nada de Prefect. Habiendo dicho eso, soy un ingeniero experimentado al que le gusta tener mucho control. Si ya estás escribiendo scripts de Python programados para mover datos, Prefect será una gran opción, creo. Pero no está diseñado para abordar preguntas como cómo extraer datos del sistema X o cargarlos en el sistema Y o cómo transformar datos. Se trata de simplificar toda la estructura alrededor del núcleo de tu código Python para que puedas concentrarte en hacer lo que necesitas hacer. Reseña recopilada por y alojada en G2.com.

Es pythonic y, por lo tanto, fácil de implementar. La versión 2.0 tiene grandes características, como el despliegue. Esto nos permite desarrollar de forma remota, colaborativa pero de manera ordenada y sencilla.

Una vez que entiendes lo esencial, es decir, flujos, tareas, grupo de trabajo, trabajadores y despliegue, todo se vuelve muy simple.

Tiene una gran comunidad, muy activa. En general, los problemas que he tenido ya tienen varios comentarios y soluciones en Slack. Reseña recopilada por y alojada en G2.com.

Tuvimos que leer y probar durante un par de días para poner en marcha el entorno de desarrollo y conectarnos a la nube.

En la documentación, faltan más ejemplos, como la conexión con Gitlab (solo hay ejemplos con Github) y hay un par de diferencias que resolvimos con la comunidad. Reseña recopilada por y alojada en G2.com.

He seguido Prefect desde la versión 1 y he observado con satisfacción cómo mis sugerencias en su canal de Slack (muy receptivo) han llegado a producción. Se requiere muy poco código inicial para registrar un flujo, subflujos y subtareas, pero las opciones son vastas. Hago trabajos de ETL relativamente simples, pero me encuentro eliminando muchas de las verificaciones manuales ya que puedo activar flujos basados en eventos en otros.

La API está decentemente documentada.

Reintentos elegantes, nombrado de flujos y opciones para ejecutores de tareas.

Si eres como yo y encontraste Airflow abrumador, esta es una muy buena opción. Reseña recopilada por y alojada en G2.com.

Está en desarrollo rápido, así que presta atención a los registros de lanzamiento. Como ejemplo, solía implementar usando objetos de Python, pero ahora la opción preferida es el archivo prefect.yaml.

Parte del desarrollo no siempre se refleja en la documentación, pero se están poniendo al día.

La vista de flujo puede estar un poco desordenada si tienes algunos trabajos que se ejecutan durante unos minutos y otros durante horas. Reseña recopilada por y alojada en G2.com.

Es bastante fácil anotar el código existente de Python y convertirlo en un flujo de Prefect sin cambiar mucho el código. La arquitectura híbrida que utiliza agentes o trabajadores te permite tener mucha flexibilidad sobre dónde y cómo se ejecuta el código. Esto también te permite tener entornos aislados para cada flujo de una manera más limpia que algo como Airflow. Reseña recopilada por y alojada en G2.com.

Prefect 2 es todavía un marco joven y aún está en construcción, por lo que se espera que tenga muchas actualizaciones constantes y posibles cambios que rompan la compatibilidad. Su comunidad no es tan grande como algo como "Airflow", por lo que carece de muchos conectores y algunos de ellos no se actualizan con frecuencia. Reseña recopilada por y alojada en G2.com.