Devopsadept
- ¿Puedo ejecutar Spark en un contenedor Docker??
- Cómo acceder a la interfaz de usuario de Spark instalada en Docker?
- Se puede sencillo ser recipiente?
¿Puedo ejecutar Spark en un contenedor Docker??
0, las aplicaciones Spark pueden usar contenedores Docker para definir sus dependencias de la biblioteca, en lugar de instalar dependencias en las instancias individuales de Amazon EC2 en el clúster. Para ejecutar Spark con Docker, primero debe configurar el registro de Docker y definir parámetros adicionales al enviar una aplicación Spark.
Cómo acceder a la interfaz de usuario de Spark instalada en Docker?
Vaya a su instancia de EC2 y copie la dirección pública de IPv4. Agregar puerto: 18080 al final y pegarlo en una nueva pestaña. El servidor de historia mostrará la interfaz de usuario de Spark para los trabajos de pegamento.
Se puede sencillo ser recipiente?
Contenedorando su aplicación
El último paso es crear una imagen de contenedor para nuestra aplicación Spark para que podamos ejecutarla en Kubernetes. Para contenedorizar nuestra aplicación, simplemente necesitamos construirla y empujarla a Docker Hub. Deberá que Docker se ejecute y se inicie sesión en Docker Hub como cuando construimos la imagen base.
