La relación entre las pruebas de rendimiento y el tunning

Cuando las pruebas de rendimiento a un sistema end to end revelan que dicho sistema o algunos de sus componentes  son inaceptables, muchos equipos centran su atención en el tunning de la aplicación y su infraestructura con el objetivo de descubrir qué se necesita cambiar para que dichos elementos tengan una mejora en el rendimiento. Un equipo también puede cambiar su enfoque para afinar los criterios de rendimiento que se han establecido desde el principio, mediante la reducción de cantidad de recursos que utiliza con el fin de aumentar la capacidad del sistema o simplemente para optimizarla lo mejor posible y también disminuir el volumen del hardware empleado.

Esfuerzo Cooperativo.

          Aunque el tunning no es directamente responsabilidad del ingeniero de pruebas de rendimiento, este proceso es más eficaz cuando existe un esfuerzo de  cooperación entre los distintos roles involucrados de un proyecto u organización, tales como:

·         Empresas externas proveedoras de un servicio

·         Arquitectos de Software

·         Desarrolladores

·         Ingenieros de pruebas

·         Administradores de Bases de Datos

·         Administradores de Sistemas

·         Administradores de Redes

Sin la cooperación de estos roles es casi imposible tener toda la perspectiva de la arquitectura del sistema y por ende la resolución del problema de optimización  no se puede llevar acabo del todo bien.

El equipo de pruebas de rendimiento es un componente crítico de este conjunto cooperativo. Típicamente en el tunning de aplicaciones se requiere monitoreo adicional de componentes en específico, recursos, tiempos de respuesta bajo diferentes condiciones de carga y configuraciones. En términos generales el ingeniero de pruebas de rendimiento es quien tiene las herramientas y la experiencia para proporcionar esta información para facilitar la tarea de optimización.

Y a todo esto… Que es el tunning? A continuación una breve descripción de lo que es el proceso de tunning.

Gestión de Capacidad.Conceptos y aplicación

Introducción

En el campo de las pruebas de prestaciones, la pregunta que más escucha el técnico promedio es “¿Y cuántos usuarios pueden trabajar como máximo sobre la aplicación?” . Esto suele llevar al técnico a repetir, por enésima vez en su experiencia profesional ,los conceptos de ciclo de navegación, transacciones por unidad de tiempo, concurrencia y simultaneidad, sesión activa…etc.
La segunda pregunta que más escuchará el técnico es “Y estos resultados ¿son extrapolables a Producción?”.

Es en esos momentos cuando se distingue las tablas que tiene el profesional, dando dos posibles respuestas, que más que respuestas son escuelas de pensamiento:

• “El entorno de pruebas no es comparable, puesto que no tiene la misma infraestructura, ni tan siquiera a escala, siendo muy difícil establecer conclusiones válidas.”
• “Sería conveniente hacer una prueba de gestión de capacidad .Rellene este formulario.”

Una prueba de gestión de capacidad(o "Capacity Planning"), es básicamente, una aplicación de un modelo teórico, en el cual, mediante la entrada de datos obtenidos de pruebas específicas de carga en un entorno controlado, se obtiene un patrón de comportamiento, que puede ser extrapolado a un entorno real de explotación.

En este modelo se obtienen predicciones del consumo de CPU, memoria y concurrencia ante la carga prevista e incluso, ante posibles incrementos de uso.

Breve descripción teórica

El modelo descrito en este artículo se basa en las siguientes hipótesis, que
deben cumplirse, para que tenga validez:

• El tiempo de servicio es constante o depende linealmente del número de usuarios concurrentes.
• Se dispone de datos suficientes para definir los ciclos de trabajo típico de un usuario de la aplicación, y su proporción de ejecución
• El consumo de memoria es proporcional al número de usuarios concurrentes de la aplicación.

Aquí introducimos un concepto nuevo, que es el del tiempo de servicio, que describimos como

"El tiempo de servicio es la cantidad de tiempo de procesamiento en una CPU
necesario para la ejecución de un ciclo de trabajo completo."

De este modo, podemos, mediante tablas comparativas entre máquinas, extrapolar los tiempos que tardaría cada ciclo, sobre una máquina distinta, tanto en número, como en potencia de procesadores.

Otro concepto que surge es el llamado factor de corrección, que básicamente indica a cuantos procesadores de una máquina A, equivale un procesador de una máquina B.
Aplicación del modelo

Es en este punto cuando el técnico de prestaciones empieza ya a tratar con conceptos familiares, como “escenario”, “proporciones de carga”, “métricas de monitorización” y demás ideas que emplea en el día a día

Al aplicar el siguiente modelo hemos realizado los siguientes pasos:

1. Hemos lanzado una prueba, en la que la carga se reparte
   progresivamente en varias etapas hasta llegar al 100% del rendimiento,
   Durante esta prueba se ha medido el consumo de la CPU, memoria y el
   número de usuarios concurrentes
2. La carga es el número de transacciones (ciclos) dividido por el tiempo
   total de la prueba, que proporcionará la herramienta de carga. Aplicando
   la fórmula se obtiene el tiempo de servicio:

Ts = num_procesadores_A x %CPU / TPS

Donde:

• Ts es el tiempo de servicio, que es constante
• numero_procesadores_A es el número de procesadores de la máquina donde quedemos medir el tiempo de servicio
• %CPU es el consumo de CPU de la maquina cuando alcanza…
• TPS, que es la carga medida en número de transacciones por segundo

La extrapolación del tiempo de servicio a otra máquina se logra dividiendo el tiempo de servicio entre el factor de corrección
Extrapolando,que es gerundio

El modelo que define el consumo de CPU en función de la carga (TPS) y del
número de procesadores de la máquina:

%CPUe = TPS x Tsf / num_procesadores_B

• %CPUe es el consumo de CPU extrapolado
• TPS es la carga medida en número de transacciones por segundo
• Tsf es el tiempo de servicio factorizado, que es constante
• num_procesadores_B es el número de procesadores de la máquina a la que se quiere extrapolar

Por otra parte, se considera que el consumo de memoria es proporcional al
número de usuarios concurrentes:

Memoria = a * u + b

Donde:

• Memoria será la estimación de la memoria en Kbytes.
• a el consumo para cada usuario
• u el número de usuarios concurrentes
• b el consumo mínimo de memoria (aplicación en vacío)

Resultados e interpretación.

La aplicación de este modelo, de manera que se obtengan las fórmulas antes citadas, permite generar funciones en las que sustituir valores y hacer predicciones de consumo de CPU,memoria , rendimiento en transacciones,usuarios…sencillamente interpretando un sistema de ecuaciones

• CPU

Gráfica 1. Extrapolación de consumo de CPU del modelo

Los valores de esta gráfica se obtienen en base a las medidas del consumo de CPU y transacciones por segundo (en la gráfica hemos indicado “por hora”, pero eso, el avezado lector lo podrá hacer de manera sencilla) , promediadas a lo largo de varios intervalos de muestra durante el escenario de carga.

Su interpretación es bien sencilla: para un nivel de 12.000 transacciones por hora , que sería la media de la prueba) el consumo extrapolado con la fórmula citada en el punto “Aplicación del modelo” , el consumo de CPU en la máquina destino de la extrapolación sería del 5,7%.

Podemos también interpretarlo como una predicción, es decir, si quisiéramos ver cuánto consumo de CPU sería necesario para alcanzar las 20.000 transacciones por hora , se consumiría un 9,83% de CPU, aproximadamente

• Memoria

Los valores de esta gráfica se generan en base a las métricas de usuarios concurrentes y memoria consumida a lo largo de la prueba, promediadas en diferentes puntos a lo largo de la carga. A partir de ellos, mediante un gráfico de dispersión y una línea de tendencia, sacamos la función que determina el comportamiento de la memoria

Gráfica 2. Consumo de RAM

Memoria = 3543,5 x usuarios +167317

Esto nos permitiría saber cúanta memoria consumiria para “n” usuarios concurrentes.

Nota Es necesario tener en cuenta que la memoria máxima definida en la instancia de web debe tener el tamaño máximo suficiente como para poder albegar a los usuarios También hay que tener en cuenta los casos de balanceo entre máquinas, así como las particularidades de los productos a monitorizar

Bibliografía

Entre varios artículos, documentos propios de trabajo ,destacar los siguientes

• Capacity Planning for Web Services (Daniel A. Menasce, Virgilio A. F. Almeida).2002
• Calculus (Spivak). 3ª Edición .1994