lunes, 16 de abril de 2012

Criterio de calidad de las pruebas de prestaciones. Una aproximación

Introducción

Como bien sabe todo aquel que haya presentado en alguna ocasión un informe de pruebas de rendimiento, presenta de manera periódica la típica frase del solicitante de las pruebas:

“Si, el informe muy bien, los gráficos muy bonitos y demás, pero ¿cómo va la aplicación:mejor o peor ,bien o mal…?”

Habitualmente nuestra respuesta se basa en disponer de datos previos al lanzamiento de las pruebas, bien sea por criterios de rangos de rendimiento establecidos por los solicitantes de las pruebas (“se deben alcanzar las 300 transacciones por hora, con una concurrencia de 15 usuarios”) o si se trata de pruebas sobre aplicaciones con versiones en Producción, sacar datos de rendimiento históricos y extrapolarlos.
Sin embargo, muchas veces nos encontramos con la falta de este tipo de información y es cuando surge la pregunta ¿va bien o mal?
Proponemos un criterio que mezcle la subjetividad con los datos que podemos obtener de la prueba. El dato en el que nos podemos basar es el del tiempo en vacio.

Desarrollando el modelo.
Recordemos que esta métrica indica lo que tardaría un usuario sin concurrencia en realizar una navegación o ciclo de prueba. Si tomamos ese dato podemos extrapolarlo al número de operaciones que se pueden ejecutar a la hora. Una manera de establecer el criterio de calidad sería

“Si el usuario tarda 10 segundos en realizar una navegación completa, hará 360 transacciones a la hora”.
Si incrementamos el número de “N” usuarios virtuales/unidades de inyección de carga a lo largo de la prueba, en el punto de saturación debería hacer



Rendimiento teórico=N * transacciones/hora usuario virtual en vacio

Tabla 1. Fórmula del rendimiento máximo teórico del modelo

Como realmente lo que se obtiene en el punto de saturación son “M” transacciones por hora, un criterio de calidad fácil sería


Rendimiento real M / Rendimiento teórico N
Tabla 2. Cálculo del porcentaje de calidad real respecto del máximo teórico

expresado en forma de porcentaje
.

viernes, 6 de abril de 2012

Informes de Pruebas de Rendimiento.

Introducción

Una de las tareas más complejas con las que se encuentra un ingeniero de pruebas es mostrar de forma clara los resultados obtenidos en las pruebas de rendimiento. Esta complejidad es debida a:

  • Las pruebas de rendimiento contienen un fuerte componente técnico.
  • Ideas preconcebidas en los destinatarios del informe sobre los resultados que deben proporcionar las pruebas de rendimiento.

El éxito de las pruebas de rendimiento depende no solamente de una fase de ejecución efectiva, sino también de que los resultados obtenidos sean comunicados de forma comprensible.


Apartados del Informe de Pruebas de Rendimiento

Una aproximación a los apartados que debe contener un informe de pruebas de rendimiento, se muestra en el siguiente mapa mental (puedes acceder también desde aquí):