domingo, 30 de octubre de 2011

Evaluación de una herramienta de pruebas de rendimiento

1 ¿Por qué una herramienta de Pruebas de Rendimiento?


El objetivo de las pruebas de rendimiento (performance testing) es simular el comportamiento de una aplicación o sistema cuando sobre él actúan de manera concurrente un número elevado de usuarios.

El propio objetivo de las pruebas obliga a disponer de algún tipo de herramienta que permita "inyectar" la actividad de cientos o miles de usuarios y además obtenga los indicadores de rendimiento (tiempos de respuesta, transacciones/hora, consumo de recursos, etc..)

Existen multitud de herramientas que permiten realizar pruebas de carga. Para realizar una selección adecuada debemos fijar unos criterios de evaluación que nos permita seleccionar una herramienta que se adapte a nuestras necesidades y presupuesto.

2 Criterios de evaluación.

Veamos algunos criterios que tenemos que tener en cuenta a la hora de elegir una herramienta de pruebas de rendimiento. El siguiente mapa mental nos puede servir de guía.


2.1 Protocolos/Productos de las aplicaciones bajo pruebas

La herramienta debe soportar la tecnología y protocolo de la aplicación bajo

sábado, 22 de octubre de 2011

SOA Testing.

1  ¿Qué es SOA? 

SOA (Service-Oriented Architecture) es un concepto de diseño de arquitectura en el cual se intenta alinear las TI con las necesidades de negocio mediante la creación de servicios de negocio y tecnológicos que proporcionan la lógica para construir o integrar aplicaciones de manera rápida y flexible.

Los beneficios que aporta SOA:
  • Reducción de costos de integración
  • Reutilización
  • Reduce el riesgo de negocio.
La mejor implementación de SOA es mediante servicios web (web services), pero esto no significa que sea la única tecnología orientada a servicios, de hecho se realizan diseños SOA en otras tecnologías como son CORBA o colas de mensajes.

2  SOA Testing

SOA provoca algunos cambios en la forma de realizar las pruebas debido a que:
  • Los servicios pueden no tener un interfaz de iteración con el usuario.
  • La lógica de negocio se encuentra integrada en los datos de entrada al servicio
  • Pueden existir servicios de terceras partes ajenos a la organización.
  • Los servicios deben mantener la integridad y reusabilidad.
  • Se debe preveer futuros aumentos en el uso de los servicios para evitar problemas de rendimiento.
A continuación se muestra una arquitectura típica de una aplicación que haga uso de diseño SOA. Una aplicación a la que acceden los usuarios hace uso de distintos sistemas en y en el que la comunicación se realiza mediante servicios que interactúan entre ellos.

Arquitectura SOA

Los usuarios acceden aun frontal que utiliza distintos servicios para proveer la información. Los servicios pueden encontrarse dentro de la propia organización o haber sido publicado por otros proveedores. 

3  Fases de SOA Testing

Las particularidades del diseño SOA hace que los procesos de pruebas se adapten a nuevas necesidades. La mejor forma de planificar las pruebas sobre estos sistemas es tratar de dividir la arquitectura en los distintos componentes partiendo de los más sencillos y llegar a los más complejos. Sobre cada una de las fases se realizarán todos los tipo de pruebas necesarias: funcionales, rendimiento, seguridad, interoperabilidad, etc...

3.1  Pruebas Unitarias

Las pruebas unitarias o a nivel de componente de servicio son realizadas generalmente por los desarrolladores. En esta fase se testean cada uno de los componentes básicos de un servicio, tomándolo de manera independiente y aisladamente antes de realizar la integración entre ellos.

3.2  Pruebas a nivel de servicio

En esta fase se testean los servicios una vez ya integrados todos sus componentes. Los objetivos de esta fase son:
  • Comprobar que los servicios cumplen los requisitos  de nuestro proyecto .
  • Comprobar que se cumplen los requisitos de negocio y de operación (tiempo de respuesta, seguridad, capacidad, etc...) de otros procesos que van a utilizar nuestro servicio.
Esta fase de pruebas es el núcleo central de nuestro proceso. En ella se tendrá en cuenta todas las características que debe cumplir el servicio de cara a su utilización. En el caso de que nuestro servicio vaya a ser utilizado por otros consumidores se deben tener en cuenta los ANS's y condiciones de uso.

3.3  Pruebas de Integración

En esta fase se realizarán pruebas encaminadas a garantizar que los distintos servicios funcionan de manera correcta manteniendo la integridad en los datos que comparten y que se transfieren entre ellos. 

Esta fase de pruebas implica en muchas ocasiones:
  • Accesos a servicios externos que proveen de datos a nuestros servicios
  • Pruebas sobre elementos de la capa de comunicaciones y a nivel de protocolo de red.
3.4  Pruebas de Sistema.
Son las pruebas que se realizan desde el interfaz de uso de los usuarios y que involucran el sistema completo. En estas prueba se comprueba que el diseño SOA que se ha adoptado cumple los requisitos de negocio y suelen utilizarse también como criterios de aceptación.

Gráficamente, podemos representar las distintas fases de pruebas:
SOA Testing - Fases de Pruebas

viernes, 21 de octubre de 2011

JMeter V. Ejecución de escenarios de prueba


Continuando con los pasos de iniciación de JMeter, tras los capítulos dedicados a la grabación, parametrización y modificación de scripts y código, incluimos ahora un capítulo dedicado a la ejecución de pruebas de carga con el código grabado y depurado.
Como hemos comentado, el plan de pruebas sirve para planificar el momento de inicio de la prueba, su duración, el escalonamiento en la entrada de los usuarios y su salida
A continuación, describimos los elementos de configuración del elemento “Grupo de Hilos” (Thread Group) relacionado con el lanzamiento de pruebas.
Configura el funcionamiento ante fallos ,permite
  • Continuar ante el error
  • Para hilo (sólo el hilo que causó el fallo)
  • Parar test : Para toda la prueba

El “Grupo de hilos corresponde al concepto de “script”, refleja los pasos de la navegación,así como la concurrencia a alcanzar en la misma

Definimos la concurrencia (número de hilos) el incremento de la carga (periodo de subida) a lo largo de dicho periodo y el número de iteraciones (Contador del bucle)

Se ha de habilitar esta opción para tener acceso a la configuración del planificador
Fecha y hora de inicio .Formato YY/MM/DD hh:mm:ss

Fecha y hora de fin .Formato YY/MM/DD hh:mm:ss
Duración en segundos. Se puede poner un valor fijo o referenciar a una variable
Tiempo de espera desde el inicio hasta que empieza a generar carga

Tabla 1. Configuración del planificador de lanzamiento de plan de pruebas JMeter
Esta configuración permite lanzar el plan de prueba con el entorno gráfico de JMeter habilitado. Esto es útil en cuanto que nos permite una mayor flexibilidad a la hora de para y detener la prueba. También permitiría incrementar o detener la carga inyectada, estableciendo varios grupos de hilos que se podrían detener deshabilitando los grupos de hilos que consideremos oportuno para reducir la carga

Ilustración 1. Habilitar y deshabilitar elementos plan de prueba
Sin embargo, la experiencia muestra que para el lanzamiento de pruebas, por cuestiones de consumo de memoria y CPU, el uso del entorno gráfico de JMeter es una idea que podemos clasificar como “no muy buena”. La configuración de JMeter permite el consumo de memoria hasta de un máximo de 2 GB en un sistema operativo de 32 bit, aunque, al menos hasta la versión 2.4 sólo permitía llegar hasta los 1,5 GB
Lanzar y detener planes de prueba
La ejecución del plan de pruebas en modo gráfico, se realiza seleccionando del menú de JMeter “Lanzar” ->”Arrancar” o bien por atajo de teclado CTRL + R

Ilustración 2. Arrancar y detener desde menu JMeter
La parada se realiza seleccionando, dentro del mismo menú la opción Parar (Atajo de teclado CTRL + ,).
Monitorización de los resultados
La comprobación de los resultados que se obtienen durante la prueba se realiza incluyendo listener. Aparte del ya citado para depuración “Ver resultados en árbol” , existen varios listener que nos proporcionan datos instantáneos del estado de la prueba, con métricas familiares a ti, lector avezado con experiencia en pruebas de carga, tales como
  • Througput
  • Tiempo de respuesta por petición
  • Transacciones por segundo ejecutadas
  • % de errores en las peticiones
Debemos destacar que los listener proporcionados por la herramienta, parecen dar en ocasiones información contradictoria. No obstante, el uso de JMeter y los comentarios obtenidos por los autores a lo largo de varias pruebas de distintas aplicaciones, han mostrado que los listener que se pueden considerar como más fiables son
1. Informe agregado. Un clásico de la monitorización en JMeter
2. Ver Árbol de Resultados. Permite localizar los pasos que dan error
3. Escritor de datos simples.
Una consideración que debemos tener en cuenta es el ámbito de los listener. Podemos hacer que los listener recojan información específica desde el “grano fino” a el total de peticiones lanzadas en un plan de pruebas, dependiendo de la rama de la que desciendan
  • Petición HTTP
  • Transacción definida ej:(T0_Login) “Controlador de transacción simple”
  • Grupo de hilos.
  • Plan de pruebas


a)Listener de Informe agregado

Ilustración 3. Listener Informe Agregado
Nombre y comentarios: De libre descripción
Escribir datos a archivo: Salvar los resultados a un fichero.
Casillas de opciones: escribir sólo los resultados fallidos/correctos
Configurar: Permite seleccionar los campos del formato a salvar
Label: El nombre de la petición/controlador de transacción que se ejecuta
Muestras :Nº ejecuciones efectuadas
Media, mediana, Linea 90% Min, max: valores estadísticos de tiempo de respuesta en milisegundos
%Error: porcentaje de la petición fallida
Rendimiento: nº de peticiones por segundo
Kb/seg: Througput respuestas servidor

b) El listener de “Ver Resultados en Árbol”, recoge las muestras ejecutadas a lo largo de la prueba, indicando el número de petición (“muestra”), el momento de inicio (“start time”), el nombre del grupo de hilos y el número del hilo que ejecuta (“Thread name”) , la etiqueta o nombre de la petición o controlador “Label”, el tiempo de respuesta , el resultado de la petición y el tamaño en bytes de la petición
Ilustración 4. Listener Ver Resultados en Árbol
Los datos muestreados obtenidos por los listener citados, permiten tener datos en el instante. Sin embargo, no permiten tener una visión global de la prueba, sino como medias alcanzadas. Para poder ver la evolución de la carga a lo largo de la misma, se deben tratar los datos obtenidos a lo largo de la misma. El mecanismo que proporciona JMeter para ello es el “escritor de datos simple”.
c) El escritor de datos simples salva en un fichero los datos de muestreo correspondientes al ámbito del muestreador del que dependa
Ilustración 5. Listener Escritor de datos simple
Como opciones más importantes a destacar en el listener, señalaremos
  • Nombre de archivo: Ruta al fichero donde volcará los resultados. Admite incluir variables o funciones en el nombre ,para crear rutas con fecha y hora
  • Casillas “Escribir en log sólo errores “ – “Sucesses”. Indicamos que sólo salve las peticiones que generen errores o las que sean correctas.
  • Botón “Configurar”: Aquí se especifican los campos a salvar en el fichero

Ilustración 6. Configuración datos a salvar por escritor datos simples
Aunque dependerá del uso que le queramos dar, nuestra habilidad para el bricolaje de datos o sencillamente, lo que nos queramos complicar la existencia.
Desde nuestra experiencia, los campos más interesantes son los que aparecen marcados en el gráfico

Guardar código de respuesta
Código HTTP recibido
Guardar Etiqueta
Nombre de la petición
Guardar etiqueta de tiempo
Tiempo en el que se efectúa la petición
Guardar Nombre de campo
La primera fila del fichero de resultados es el nombre de campo
Guardar datos de muestreador

Guardar Nombre de hilo
Nombre del Grupo de hilo y número de thread
Save URL
URL sobre la que se realiza la petición
Save Active thread count
Número de threads activos en el instante
Guardar resultados de aserción
¿La aserción dio por válida la respuesta a la petición http?
Guardar tiempo
Tiempo de respuesta en milisegundos
Save byte count
Througput de respuesta en bytes

Tabla 2. Campos de configuración de la escritura de datos a archivo
El fichero de resultados contiene estos campos separados por comas, con lo cual pueden ser usados como entrada a una macro de hoja de cálculo o a algún gestor de base de datos, que traten estos valores, agrupándolos de manera que puedan sacarse conclusiones sobre los mismos…pero eso ya es al gusto o conocimiento del usuario.

viernes, 14 de octubre de 2011

JMeter IV .Depurando el código

Continuando con la entrada anterior,los scripts de JMeter permiten incluir código de control del flujo con sentencias clásicas de la programación , tales como
  • Sentencias condicionales (if …then)
  • Sentencias de decisión (switch ..case)
  • Sentencias de repetición (while ..do, for …)
También ,mediante el Beanshell script, podemos incluir código de control u operativo para que actúe en el flujo.
Para las pruebas más habituales de rendimiento, al ser mayoritariamente ciclos sencillos, podemos utilizar el código que nos proporciona JMeter. No obstante, hemos de recordar que la herramienta tiene limitaciones en el manejo y mantenimiento de estructuras complejas.
Sentencia condicional IF

Un caso práctico sería incluir una sentencia condicional IF sobre un extractor de expresiones regulares
Ilustración 7. Sentencial condicional IF
Cada paso de ejecución en un script de JMeter, utiliza una variable genérica
${JMeterThread.last_sample_ok}
Esta variable refleja el valor booleano del paso previo ejecutado
Si la condición se cumple, seguirá la “rama” del árbol de decisiones que cuelga de ella. En este caso

Ilustración 8. Flujo de decisión de sentencia

En este caso, podemos ver como ,en el caso que no se cumpla la condición evaluada en el IF (que hemos llamado LOGIN?), salte a la rama marcada con el controlador simple T2_Logout.

viernes, 7 de octubre de 2011

JMeter (III). Depurando scripts


JMeter (III).Depuración del script
Continuando con la serie ,tras los pasos de grabación y modificación de planes de prueba con JMeter, procedemos a explicar otra parte más del proceso de creación de pruebas de prestaciones con esta herramienta de carga.

En este momento es cuando se tiene que empezar a plantear introducir las validaciones de las respuestas obtenidas. Para ello, podemos hacer uso de los listener, un elemento de configuración del plan de prueba, que nos permite observar la respuesta obtenida y aplicarle un gestor, de manera que
· Compruebe la validez de la respuesta ,bien sea por comparación con respecto a un valor o por seguimiento de un patrón
· Dirija el flujo de ejecución a través de código por el script.
Depuración
Otro elemento necesario para la depuración del script es el Listener de “Ver Árbol de Resultados”. Este elemento permite ver la petición efectuada, con la instaciación de las variables, y las respuestas obtenidas entre otros formatos
  • Texto
  • XML
  • Expresión regular
  • HTML
  • Modo gráfico HTML

Ilustración 1. Listener Ver Árbol de Resultados
Esta capacidad debe ser usada sólo durante la depuración del script, dado el elevado uso de recursos de CPU y memoria que realiza.
Describimos a continuación las opciones más usadas habitualmente
Ilustración 2. Opciones del listener Ver Árbol de Resultados
  • Resultado del muestreador, permite observar la respuesta por la petición HTTP
  • Petición, que muestra el envio de la petición, con las variables instanciadas que use
  • Datos de Respuesta , que muestra en diferentes formatos la respuesta y sobre la que se puede aplicar búsquedas, bien de texto libre (si utilizamos la opción del desplegable “Text”) ,bien por expresiones regulares (Opción “Regular Expr.” Del mismo desplegable)
También permite ver la salida en formato similar al de la página web, con las limitaciones inherentes a un seudo navegador…

Validación de la respuesta
Una vez realizada la petición, se debe poder validar que dicha respuesta es correcta. Esto puede hacerse desde dos puntos de vista
  • Respuesta del servidor web
  • Respuesta en la lógica de la aplicación
La primera opción valida el código http devuelto, comprobando si es un código considerado válido (200 OK, 302 en caché), mientras que las respuestas de la famila 400 (404 Not Found, 401 Unauthorized, 403 Forbidden…) y la familia 500 serían consideradas a priori como fallidas
La respuesta en la lógica de la aplicación comprueba por el contenido de la misma o por el significado del valor . Así ,un servidor http que funcione correctamente ,pero que muestre errores del middleware o el backend (agotamiento de los threads, timeout en la respuesta del middleware, caída de la base de datos..etc) devuelve un código 200, aunque el contenido de lo que muestre sea un mensaje de error de la BBDD.
Para ambos casos usamos una aserción de respuesta, que permite realizar ambos tipos de validación, utilizando distintos tipos que ofrece JMeter. Para incluirlas se selecciona con el botón derecho del ratón sobre una petición http, se añade una aserción y entre las disponibles, escoger la “Aserción de Respuesta”

Ilustración 3. Añadir Aserción de Respuesta a petición HTTP
Existe dentro de la variedad de aserciones disponibles, algunas que permiten verificar el tamaño de la respuesta, la duración en milisegundos de la misma, aserción HTML, XML…etc. Dependiendo de la necesidad puede ser usada una u otra, incluso pudiendo combinar varias para una respuesta.
Un ejemplo de las opciones que se incluyen se muestran el la siguiente imagen

Ilustración 4.Aserción de respuesta en JMeter
Podemos ver que se están usando variables en el nombre de la aserción. Esto es útil a la hora de detectar con qué valores o situaciones se encuentra un fallo
También podemos ver que la aserción puede aplicarse bien al flujo http devuelto por el servidor directamente a la petición o a las peticiones subsecuentes
Como ya se indicó, la validación puede aplicarse a la respuesta textual, en el código http de respuesta, en las cabeceras de la respuesta (para evitar realizar un trabajo de búsqueda sobre un cuerpo de un gran tamaño).
Las reglas de Coincidencia de Patrones permiten indicar si la respuesta debe ser exactamente el patrón a probar, debe estar contenido en la respuesta o si debe ser una cadena textual. Lo habitual es utilizar la opción de “contiene” ,habilitando la casilla de “No” ,para indicar que no debe aparecer en la respuesta esperada, Es decir, podemos usarlo como lógica inversa, a la hora de validar un mensaje que sabemos de partida que es indicador de fallo.
Una validación que sirve para capturar una respuesta es el muestreador de expresiones regulares. Con esta utilidad se consigue un efecto similar a la correlación de la herramienta Loadrunner. Se basa en el mismo concepto, esto es, definir un patrón de búsqueda en las respuestas a una petición, de manera que se capturen valores dinámicamente. Dichos valores pueden ser usados como validación de un paso o reutilizarse como variables o datos necesarios para seguir con la lógica del proceso
Ilustración 5. Extractor de expresiones regulares
Para verificar que le expresión regular o patrón de búsqueda que estamos usando para localizar un valor en la respuesta es correcto, es muy útil usar la opción “Ver datos de respuesta” del listener “Ver Árbol de Resultados”, seleccionando como formato de salida el de la expresión regular.

Ilustración 6. Expresiones regulares en respuesta capturada por "Ver Árbol de Resultados"
En la casilla marcada como “Regular expression”, podemos incluir el patrón a buscar y ,pulsando el botón “Test”, validaríamos el número de respuestas que corresponden con el mismo.

La siguiente entregá continuará incluyendo código para manejar el flujo de comportamiento. ¡No se lo pierdan!


Si quieres saber más de como depurar scripts visita nuestra nueva entrada