Clase09_V_V.ppt

7/28/2019 Clase09_V_V.ppt

1/23

Marcos Rivas Pea

Simulacin de Sistemas

Validacin y Verificacin
http://www.shutterstock.es/pic-2049001-business-man-watching-his-business-finances-grow-there-are-column-graphs-on-the-reflections-of.html


2/23

Marcos Rivas Pea

Objetivos de la Sesin

1. Comprender que significa verificar y

validad un modelo de simulacin

2. Identificar la importancia de verificar y

validar los modelos de simulacin

3. Adoptar los principios de buena prctica

para la V&V


3/23

Marcos Rivas Pea

Simulacin de Sistemas Discretos

Tabla de Contenido

1. Defincin de Varificacin y validacin ensimulacin

2. Principios para la validacin y verificacin3. Verificacin y Validacin en Modelos :

Conceptual

Lgicos

Simulacin

4. Calibracin de los modelos de simulacin

5. Credibilidad de los modelos de simulacin


4/23

Marcos Rivas Pea

Proceso de Simulacin como un Proceso de

Mejora

Anlisis Situacin Actual Nueva Situacin

Datos del problema

Datos del Problema

Problema

Conceptualizacin

ModeloConceptual

Especificacin

Modelo

as-is

Verificacin y

Validacin

Eleccin e

implementacin

Anlisis de

resultados

Resultados

Experimentacin

Modelo to-be

Encontrando

alternativas

DiagnsticoDatos de anlisis

de problemas


5/23

Marcos Rivas Pea

Existe correspondencia entre el sistema real

y el modelo?Existe correspondencia entre el sistema real y el modelo?

Verificacin: Construccin correcta del modelo. Es el proceso de

determinar si la lgica operacional del modelo se corresponde con la

lgica del diseo.Existe errores en el programa?

Validacin: Construccin de un modelo correcto. Es el proceso de

determinar si el modelo, como abstraccin, es una buena

representacin del sistema.

Calibracin del modelo:Proceso iterativo de comparar elcomportamiento del modelo con el del sistema, ajustando el modelo en

base a las diferencias que aparezcan. Se repite hasta validar el modelo.


6/23

Marcos Rivas Pea

Principios para la validacin y verificacin

1. Conviene realizar las activiades de V&V durante todo el ciclo de

vidad del estudio de simulacin.

2. Un modelo no debe ser considerado intrinsicamente como

absolutamente bueno o absolutamente malo.3. Un estudio que incorpore una V&V efectiva requiere preservar la

independencia de sus analistas a fin de evitar prejuicios causados

por personas con opinin sesgada.

4. La V&V es dificil, por lo que requiere creatividad y visin para

disear las pruebas.5. No es posible probar por completo el modelo contra todos los inputs

posibles, por cuestiones de tiempo, recursos y racionalidad

intelectual.


7/23

Marcos Rivas Pea

Verificacin y Validacin


8/23

Marcos Rivas Pea

Modelos de Simulacin Validos

Sistema

Real

Modelo Conceptual

Definir Componentes

DDisear estructuras

SSuponer parmetros de entradas

Modelo Operacional

Representacin Computarizada

Calibracin

Y

Validacin Validacin Conceptual

Verificacin del Modelo


9/23

Marcos Rivas Pea

Validacin Conceptual

Ejemplo SupermercadoSucesos

Llegada del Cliente, Cliente selecciona caja, Cajero empieza, Cajero termina,Empaquetador empieza, Empaquetador termina, Salida del Cliente.

Instalaciones

Cajeros, Empaquetadores.Variables de estado

Nmero de clientes en cada cola, Estado de los cajeros (libre, ocupado), Estado de losempaquetadores (libre, ocupado).

Medidas de ejecucin

Tiempo de espera de los clientes, Utilizacin de los cajeros, Utilizacin de losempaquetadores.

Variables de decisin

Nmero de cajeros, Nmero de empaquetadores, Nmero de cajas rpidas, Nmeromximo de productos para poder utilizar una caja rpida.

Reglas de operacin

Los clientes seleccionan siempre la caja que tenga menos clientes en cola, No existenmovimientos de clientes de una cola a otra.


10/23

Marcos Rivas Pea

Validacin Conceptual

Ejemplo Supermercado

Aspectos del sistema real que no se han incluido.

Desplazamientos de los clientes de una cola a otra,Qu ocurre cuando no se cumple las reglas de las

cajas rpidas, Picos en las llegadas de los clientes,

Fallos en los equipos, Absentismo de los cajeros o

de los empaquetadores


11/23

Marcos Rivas Pea

Verificacin y Validacin del

Modelo LgicoVerificacin y validacin del procesamiento de

los sucesos.

Validacin El modelo lgico debe contener todos los sucesos del

modelo conceptual.

Verificar:

Conexiones entre sucesos.

Todas las variables de estado cambian correctamente

ante la ocurrencia del suceso que las afecta.


12/23

Marcos Rivas Pea


Modelo LgicoVerificacin de las frmulas y las

relaciones.

Los elementos matemticos han de estar

bien calculados y las relaciones de

conservacin han de preservarse.


13/23

Marcos Rivas Pea


Modelo LgicoVerificacin de las estadsticas y medidas

de ejecucin.

Asociando a cada suceso una lista completa

de las estadsticas y medidas afectadas por

la ocurrencia de dicho suceso, podemos

verificar que stas se modificanadecuadamente.


14/23

Marcos Rivas Pea

Verificacin del modelo de simulacin

La implementacin debe ser correcta, y no contenererrores.

Depende del lenguaje de programacin elegido.

Responsabilidad del analista.

Aproximaciones: Mtodos de programacin estructurada.

Trazas de simulacin.

Pasar tests al programa. Chequear las relaciones lgicas.

Comparar con modelos analticos.

Usar representaciones grficas.


15/23

Marcos Rivas Pea

Validacin del modelo de

simulacin En el proceso de validacin intervienen el analista y las personas

relacionadas con el sistema.

Una prueba de la validez del modelo es que los usuarios del sistema

confen en el modelo y estn dispuestos a usarlo. Un modelo se desarrolla siempre para un conjunto particular de

propsitos. Un modelo determinado puede ser vlido para un propsito

y no serlo para otro.

La validacin es un proceso que ha de hacerse desde el inicio.

Mtodos de validacin: Comparacin de los resultados de salida del modelo con los del sistema

real.

Test de Turing.


16/23

Marcos Rivas Pea


simulacinComparacin de los resultados de salida delmodelo con los del sistema real.

Caractersticas: El sistema real debe existir.

Se comparan las salidas del modelo con las del sistema,mediante algn mtodo estadstico, p.e., Chi-cuadradoo Kolmogorov-Smirnov.

Dado que la mayora de los procesos de salida no sonestacionarios y s auto correlacionados, estos tests noson directamente aplicables.


17/23

Marcos Rivas Pea

Sistema Real vs Modelo Simulado


18/23

Marcos Rivas Pea


simulacinTest de Turing.

A un experto o grupo de expertos se les presentan

informes de resultados, tanto del sistema como delmodelo, de forma aleatoria.

Si los expertos no son capaces de distinguir entreambos, se puede concluir en que no hay

evidencias para considerar inadecuado el modelo. Las diferencias se pueden usar para mejorar el

modelo.


19/23

Marcos Rivas Pea

Calibracin y validacin del modelo

La calibracin es un proceso iterativo de comparar el modelo con el

sistema real, ajustando el primero hasta que resulta una buena

aproximacin al segundo.

Tests subjetivos: Implican a personas que conocen aspectos delsistema.

Tests objetivos: Necesitan datos sobre el comportamiento del sistema

para poder compararlos con los datos sobre el comportamiento del

modelo.

Interesa validar el modelo con un conjunto de datos distinto al que seha usado para calibrarlo, con el objeto de evitar el caso en el que el

modelo es vlido slo para unas entradas en particular.


20/23

Marcos Rivas Pea

Calibracin de Modelos

Sistema

Real

Modelo

Inicial

Segunda

Revisin

Del modelo

Primera

Revisin

Del modelo

Comparar Modelo con la Realidad

Comprara modelo revisado

Con la realidad

Comparar Segunda

Revisin con la realidad

Revisin

Revisin

Revisin


21/23

Marcos Rivas Pea

Credibilidad

Es un aspecto complementario, pero no menos importante,

en lo que se refiere a la prctica de la simulacin, sobre

todo en modelos de sistemas complejos en situaciones en

las que el responsable de la toma de decisiones no es el

analista que ha construido el modelo.

Los resulatodos del modelo han de ser aceptados por el

decisor para ser utilizados en el proceso de toma de

decisiones.

Los resultados del modelo han de ser creibles para aquellosque los han de utlizar.


22/23

Marcos Rivas Pea

Verificacin Validacin - Credibilidad

La validez del modelo de simulacin es slo una condicin Suficiente yno garantiza la credibilidad y aceptabilidad de los Resultados de la

simulacin, estos depeden de otros factores.


23/23

Marcos Rivas Pea

Conclusiones

1. Las actividades de V&V debe desarrollarsedurante todo el ciclo de vida del estudio desimulacin

2. La validez del modelo de simulacin nogarantiza la credibilidad y aceptabilidad delos resultados de la simulacin.

3. La acepatacin y utilizacin de losresultados de la simulacin esresponsabiliad del analista.

Clase09_V_V.ppt

Documents