Función de paso de trabajo de pegamento AWS

1. ¿Cuál es la diferencia entre las funciones de pegamento y paso??
2. ¿Cuál es la diferencia entre las funciones SWF y Step??
3. ¿Podemos ejecutar el trabajo de pegamento sin rastreador??
4. ¿Cómo se activan los trabajos de pegamento??
5. Por qué se usa la función de paso?
6. ¿Cuáles son las funciones del paso de AWS??
7. ¿Puede S3 activar una función de paso??
8. ¿Cuáles son las limitaciones de las funciones de paso??
9. ¿Cuáles son los diferentes tipos de flujos de trabajo de pegamento??
10. Cuántos trabajos de pegamento pueden ejecutarse simultáneamente?
11. ¿Por qué los trabajos de pegamento son tan lentos??
12. ¿Podemos activar un trabajo de pegamento??

¿Cuál es la diferencia entre las funciones de pegamento y paso??

AWS Glue no tiene servidor, por lo que no hay infraestructura para configurar o administrar. Las funciones de paso es un servicio de orquestación sin servidor que hace que sea fácil crear un flujo de trabajo de aplicación combinando muchos servicios de AWS diferentes como AWS Glue, Databrew, AWS Lambda, Amazon EMR y más.

¿Cuál es la diferencia entre las funciones SWF y Step??

Las funciones de paso es un servicio administrado, por lo que los usuarios no tienen que implementar ni mantener ninguna infraestructura para la gestión del flujo de trabajo o las tareas mismas. SWF también administra el estado de flujo de trabajo en la nube. Sin embargo, a diferencia de las funciones de paso, un usuario debe administrar la infraestructura que ejecuta la lógica y las tareas del flujo de trabajo.

¿Podemos ejecutar el trabajo de pegamento sin rastreador??

No. No necesitas crear un rastreador para ejecutar trabajo de pegamento.

¿Cómo se activan los trabajos de pegamento??

Puede tener un desencadenante programado que invoca trabajos periódicamente, un disparador a pedido o un desencadenante de finalización del trabajo. Múltiples trabajos se pueden activar en paralelo o secuencialmente activándolos en un evento de finalización de trabajo. También puede activar uno o más trabajos de pegamento desde una fuente externa, como una función AWS Lambda.

Por qué se usa la función de paso?

Puede usar funciones de paso para ejecutar múltiples trabajos de ETL en paralelo donde sus conjuntos de datos de origen pueden estar disponibles en diferentes momentos, y cada trabajo de ETL se activa solo cuando su conjunto de datos correspondiente está disponible.

¿Cuáles son las funciones del paso de AWS??

Las funciones de AWS Step es un servicio visual de flujo de trabajo que ayuda a los desarrolladores a utilizar los servicios de AWS para crear aplicaciones distribuidas, automatizar procesos, orquestar microservicios y crear tuberías de datos y aprendizaje automático (ML).

¿Puede S3 activar una función de paso??

Este patrón crea una función lambda que pone un objeto a S3, que desencadena un flujo de trabajo expreso de funciones de paso. Esto es útil al procesar archivos cargados más grandes que los límites de ejecución de tareas actuales.

¿Cuáles son las limitaciones de las funciones de paso??

Las funciones de paso tienen un límite de tamaño máximo de solicitud de 256 kb. Eso significa que todos los datos que carga en su máquina de estado y pasar por transiciones deben ser más pequeñas de 256 kb en todo momento. Si carga demasiados datos en el camino, obtendrá una excepción y la ejecución abortará.

¿Cuáles son los diferentes tipos de flujos de trabajo de pegamento??

Hay tres tipos de desencadenantes de inicio: Horario: el flujo de trabajo se inicia de acuerdo con un horario que define. El cronograma puede ser diario, semanal, mensual, etc., o puede ser un horario personalizado basado en una expresión cron. A pedido: el flujo de trabajo se inicia manualmente desde la consola de pegamento AWS, API o AWS CLI.

Cuántos trabajos de pegamento pueden ejecutarse simultáneamente?

Número de ejecuciones de trabajo concurrentes por trabajo: 3. Significa que puede ejecutar hasta tres de los mismos trabajos de pegamento en paralelo y estas tareas no pueden exceder el límite de 100 DPU en total. @Gorski probé con Max Constrencency 4 y DPU 20 en el mismo trabajo, funcionó bien y también creé más de 4 ejecuciones de trabajo a la vez.

¿Por qué los trabajos de pegamento son tan lentos??

Algunas razones comunes por las cuales sus trabajos de pegamento de AWS tardan mucho tiempo en completarse son las siguientes: grandes conjuntos de datos. Distribución no uniforme de datos en los conjuntos de datos. Distribución desigual de tareas en todos los ejecutores.

¿Podemos activar un trabajo de pegamento??

En AWS Glue, puede crear objetos de catálogo de datos llamados desencadenantes, que puede usar para iniciar manual o automáticamente uno o más rastreadores o extraer, transformar y cargar (ETL) trabajos. Usando desencadenantes, puede diseñar una cadena de trabajos y rastreadores dependientes. Puedes lograr lo mismo definiendo flujos de trabajo.