Hace unos años estuve en una charla con la expresidenta de Médicos Sin Fronteras, Paula Farias. Ella nos contó una historia de una intervención que hicieron en un pueblo de Angola al que acudieron para hacer una inspección de la zona. Al parecer, debido a guerras y al hambre, las personas más fuertes y sanas habían huido del poblado, dejando a las más débiles a su suerte. Viendo la situación que tenían por delante, decidieron quedarse en el poblado para poder actuar.
El primer día, decidieron crear una métrica que les diría si estaban trabajando bien: número de fallecidos por día. Pintaban en la pared los datos de cada día y trataban de que llegara a cero. Podemos pensar que en un contexto así lo importante es cuántas medicinas repartes, cuánto alimento traes o cuántos pozos levantas: si no baja el número de fallecidos, no estás maximizando valor. El resto de métricas son interesantes y ayudan a entender cómo actúas pero el valor está en las vidas salvadas.
En los equipos Scrum, ocurre algo similar. No nos interesa cuántas líneas de código hemos desarrollado, cuántas funcionalidades incorporamos o qué tanto por ciento de avance hemos hecho: si nadie quiere tu producto, no sirve. Algo que no quiere nadie no es valor.
Por tanto, tendremos que definir métricas que nos digan si nuestro producto es exitoso y acompañarlo de métricas secundarias que nos ayuden en la toma de decisiones.
¿Cómo medimos la “Crisis del Coronavirus?
En el contexto actual de crisis por el virus, tenemos varias métricas de “valor” que nos permiten entender cómo estamos y tomar decisiones:
- Número de fallecidos: si conseguimos que llegue a 0 o a un número muy bajo, asumimos que está superada la crisis por completo. Puede que esto ocurra cuando aparezca un retroviral efectivo o una vacuna, o quizás sea una enfermedad que conviva con nosotros y siempre provoque un número pequeño de contagios.
- Número de contagiados/infectados: para entender la situación de expansión del virus y poder tomar decisiones: ¿cerramos restaurantes? ¿cerramos fronteras? ¿las volvemos a abrir?
- Tendencias: Necesitamos saber la evolución: ¿estamos reduciendo la curva? ¿estamos en tendencia positiva?
Esta información es de valor en este contexto, es lo que nos dirá el éxito de todo nuestro trabajo. Pero, hay muchas más informaciones que podemos recoger:
- Número de personas en la UCI: necesitamos entender si colapsan los centros para abrir nuevos.
- Tiempo de recuperación de los infestados: necesario para preparar camas de hospital con un tiempo razonable, que sea viable.
- Tiempo en el que podemos transmitir el virus: esto se mide por si hubiera cambios, pero parece que está claro que son dos semanas.
- Número de médicos contagiados: Cada médico que se contagia es una persona menos que ayuda a curar y un caso más que, además, mina la moral del equipo. ¿Estamos protegiendo bien a los médicos? ¿Tenemos material correcto? ¿Los protocolos de aislamiento son correctos?
- Cantidad de material que consumimos: Este dato se utiliza para saber el nivel de reposición de los hospitales y la distribución del material según llega.
Todas estas métricas nos dan una información valiosa, pero por muy buenas que sean, si no bajamos el número de fallecidos por día no podemos decir que estamos en un éxito. Estas métricas son equivalentes a medir el número de personas que visitan nuestro sitio web, es un dato que nos aporta valor, pero el éxito está en la venta de nuestros productos online.
Lo que NO medimos
En este tipo de crisis, nos ponemos a resolver problemas, en vez de medir la productividad de los médicos, enfermeras y demás personal sanitario: ¿Tiene sentido? Quizás sí, saber si nuestros médicos son efectivos es un dato relevante, pero, ¿alguien ha visto esa estadística en algún medio de comunicación?
Es curioso cómo, en el desarrollo software, disponemos de más métricas del equipo para conocer su productividad y la calidad de su trabajo, qué métricas de valor asociadas a nuestro negocio. Estamos generalizando, hay equipos que sí disponen de esas métricas pero no es lo que encontramos en la mayoría de organizaciones en las que hemos trabajado. Vemos a los equipos como personas que “hacen software”, en vez de entender que un desarrollador resuelve problemas (por los que pagan los usuarios). El símil en Medicina es pensar que un médico solo “aplica inyecciones”, cuando realmente lo que hace es salvar vidas (a base de inyecciones, pastillas u otros métodos que él conoce).
Cuando los datos no son reales
Hace unos años, estuvimos en una Universidad Privada Católica haciendo un estudio de su nivel de Digitalización. El estudio lo hacíamos en entrevistas con diferentes personas de la organización, a las que le dábamos un portátil con un test y les acompañábamos para resolver dudas y aprender de ellos. A mi amiga Ana y a mí, nos tocó entrevistar al Presidente Honorífico, que había sido Director muchos años. Esta persona era sacerdote de unos 80 años aproximadamente. Cuando llegó, nos dijo que él no iba a usar el ordenador, que él nos contaba lo que quisiéramos.
Esta conversación fue muy interesante. Empezamos hablando del concepto Customer Centric (sin usar estas palabras) y el entrevistado nos decía que, para él, era vital la experiencia que su cliente (el alumno) tuviera en su Universidad. Por otro lado, nos dijo que el software actual no daba información correcta, no permitía conocer con exactitud cosas tan básicas como el número de matriculados. A continuación, nos dijo una frase muy importante: “sin el dato correcto, no podemos tomar decisiones”.
Mientras escribo este artículo, estamos en el punto de la Crisis en el que se van a hacer test masivos a la población para tener datos reales de los contagios. Hasta ahora, a los casos leves no se les ha aplicado la prueba, con lo que no sabemos el estado actual de la expansión. ¿Se pueden tomar decisiones sin los datos correctos?
Esta situación se presenta en muchos equipos de desarrollo donde no disponemos de datos de uso de la aplicación, de beneficios, de comportamiento de usuarios… ¿Cómo podemos saber que maximizamos valor sin tener datos reales?
Los puntos de historia lo tienen todo para ser una mala métrica
Los Puntos de Historia pertenecen a una técnica que, en mi opinión, es la menos mala de las técnicas de estimación. El problema de las técnicas estimativas es que seguimos tomando decisiones en base a datos “inventados”. Los Puntos de Historia no miden delivery, no miden entrega, no miden resultados ni miden valor. Los Puntos de Historia son inexactos, ya que nacen de la opinión de un equipo, sin ser más que eso, una opinión.
“Medir en Puntos de Historia es cómo predecir el tiempo haciendo encuestas a los ciudadanos” – Jerónimo Palacios, Scrum Trainer.
¿Qué ocurre cuando un equipo hace menos puntos de los que creemos que tenían que hacer? Cuando un equipo realiza menos puntos de los deseados, se suelen generar conflictos y conversaciones que no son agradables. El equipo da unos resultados, y eso sí se puede medir, pero no podemos confundir estimación con deseo.
Todo esto no libra de que haya equipos con miembros poco profesionales, o en los que no confiamos. Scrum no consiste en caramelos y piruletas, buscamos maximizar valor, si nuestro equipo no es capaz de hacerlo quizás haya que cambiar de equipo.
La alternativa es poner encima de la mesa las métricas de valor y de éxito de nuestro producto. Darle al Product Owner capacidad de tomar decisiones y al Development Team espacio para decidir cómo hacer el producto. Después, podremos pedirles resultados condatos reales que estén generando.
Hace poco un amigo me dijo que a su equipo le había transparentado lo que se pagaba a su empresa por ellos. Me contó que el equipo reaccionó al entender que el trabajo que habían hecho era insuficiente para todo el coste que asume la empresa.
¿Qué medimos en MamáQuéEsScrum?
Nosotros en Mamá tenemos nuestras métricas. A finales de 2018, y 2019, lo publicamos de manera abierta. Para nosotros el número de visitas es la métrica principal. Medimos otros datos como los países que nos visitan o los artículos mejor posicionados. Seguramente, si esta fuera nuestra principal ocupación, mediríamos otros datos más relevantes que nos proporciona Google Analytics, y trataríamos de incluir mayor SEO o incluso vender productos y servicios en la web (y ahí estaría el éxito seguramente).
Y tú, ¿qué mides en tus equipos?
Pienso que lo que más aportan los puntos de historia es el debate que surge al discrepar en la valoración que hace cada uno de ella. De ahí surgen problemáticas que se habían pasado por alto hasta ese momento, formas más sencillas de resolver la tarea y sobre todo debate para entender mejor el problema a resolver.