Ubuntu

DataOps: mantener el flujo de datos con operaciones basadas en modelos

DataOps: mantener el flujo de datos con operaciones basadas en modelos

Prólogo: ¿por qué DataOps es tan difícil?

Si alguna vez ha vivido DataOps, sabrá que es un desafío en el mejor de los casos. Un día en la vida de un equipo de ingeniería de datos típico implica asegurar, liberar, depurar y estabilizar tuberías de datos complejas y, a menudo, frágiles. Estas canalizaciones pueden involucrar muchas aplicaciones de origen e intermediarios, y solucionarlos bajo la presión de la administración cuando todo va mal es estresante.

Hay tantas capas complejas en las plataformas de datos modernas que deben cuidarse que el equipo a menudo puede sentirse abrumado. A veces parece que no es inusual que el 80% del sprint se centre en la plomería de bajo nivel y la reparación de la deuda técnica.

A nadie le gusta la deuda técnica y con menos del 20% del tiempo de trabajo del equipo disponible para el desarrollo real del producto, el equipo de DataOps suele ser el receptor de la frustración de la administración. Todos hemos estado en esa llamada de revisión, ya sabes a la que me refiero: ¿por qué las cosas tardan tanto? ¿Por qué hay tan poco que mostrar? ¿Por qué tu cadencia es tan pobre?

Quiero que salga de esa difícil e incómoda conferencia telefónica, solo por un momento. Dejen de intentar defenderse y justificarse; en cambio, reflexiona.

Exégesis: hacer menos con más

Si se elimina incluso el 20% de la distracción del equipo, la productividad del equipo, al menos en teoría, se duplica. Así que les presento las operaciones basadas en modelos. Las operaciones basadas en modelos modelan las relaciones entre los componentes, sus interacciones e interdependencias. Este paradigma ha ido ganando impulso lentamente en la comunidad de Kubernetes. Es posible que algunos de ustedes ya estén usando, o pensando en usar, operadores de Kubernetes para ayudar a automatizar la implementación de herramientas comerciales como Apache Spark y Flink.

Sin embargo, las operaciones basadas en modelos son un paradigma informático que va mucho más allá de la automatización de la implementación puntual de un componente de software individual. Con operaciones basadas en modelos, podemos modelar la solución completa.

Esto significa ir más allá del despliegue. También significa ir más allá de los componentes individuales. También podemos modelar las tareas del día 0 al día N asociadas con la solución. Estas tareas van más allá de la implementación y la integración, a las tareas de gestión operativa diaria, como la renovación de certificados, la rotación de contraseñas, las instantáneas post mortem, los informes de rendimiento, las copias de seguridad y la restauración, la conmutación por error de alta disponibilidad, las pruebas de recuperación ante desastres y la ejecución de DRP.

¿Estás demasiado ocupado yendo a lugares para concentrarte en mejorar? Imagen cortesía de Wikpedia.org | crédito Holapaco77

¡Todo esto suena lento! Bueno, quizás al principio. Pero invertir tiempo en la construcción de un modelo de automatización de las tareas operativas de su equipo puede producir un retorno de la inversión, mejorando la calidad, la repetibilidad, la previsibilidad y, lo que es más importante, la productividad.

Presentando Juju
Reconociendo la complejidad y los desafíos de productividad que enfrentan los equipos de operaciones contemporáneos, y buscando ayudar a los equipos a codificar su sabiduría en modelos de automatización, Canonical respondió con Juju – el marco de referencia para operaciones basadas en modelos.

Juju es una solución de operaciones basada en modelos de código abierto y gratuita. Juju apoya a los equipos codificando el conocimiento y la sabiduría de las operaciones en bloques de creación de soluciones componibles.

Conectar dos bloques de construcción, o Charms, como los llamamos, es tan fácil como
`juju add-ratio kafka: monitorización de prometheus`

Síntesis: operaciones basadas en modelos para siempre

Reinventemos esa llamada de revisión de sprint. La gerencia rara vez es feliz, ¡todos lo sabemos! Pero después de invertir algunos puntos de la historia en codificar algunas de las tareas operativas del equipo en un modelo de automatización, la productividad del equipo ha aumentado considerablemente. Quizás la productividad se haya duplicado, ¡o más! Y la gerencia ha expresado mucha menos infelicidad últimamente.

A medida que el equipo de DataOps tiene más proyectos nuevos completados y en producción, la gerencia tiene más historias de éxito para compartir. Empieza a parecer que la Espada de Damocles ya no cuelga sobre el equipo. Por primera vez, el equipo ha tenido el mismo scrum master durante más de dos trimestres. ¡Las cosas están mejorando!

Visualice la situación: con menos tiempo dedicado a la mundanidad y la extinción de incendios, el equipo puede pasar más tiempo en el estado de flujo haciendo lo que más les gusta hacer: ingeniería productiva y netamente nueva.

Epílogo: haz realidad el final feliz

Hagámoslo real.

  • ¿Quieres que esto suceda? Aprende más sobre operaciones impulsadas por modelos, Juju y operadores encantados.
  • Contáctenos para conocer nuestros servicios de aplicaciones administradas y cómo pueden ayudar a sus equipos de ingeniería de datos a duplicar la productividad.

Leave a Comment

You may also like

Más