Hola a todos.
you hemos visto los ingredientes principales de un
detector de objetos y métricas para evaluarlos.
Además hemos visto como anotar muestras para aprender modelos que serán
usados en los clasificadores de objetos.
En este vídeo lo que vamos a ver es cómo utilizar esas muestras correctamente para
evaluar la capacidad de generalización de detector y también para optimizar algunos
de los parámetros que están involucrados en el desarrollo de ese detector.
Bien, dado un conjunto de muestras, lo que queremos hacer
es aprender un modelo a partir de ellas y también evaluar
el clasificador asociado a ese modelo o incluso el detector compelto.
Sin embargo, si utilizamos las mismas muestras para aprender el modelo y evaluar
el clasificador o el detector asociado lo único que vamos a obtener es el error
de clasificación y de hecho lo normal es que durante el proceso de aprendizaje
del modelo sea justamente ese el error que hemos minimizado.
Por tanto, esto no nos interesa y lo que queremos realmente es conocer la capacidad
de generalización de el clasificador asociado al modelo que hemos aprendido.
Y para esto ha de suceder que los conjuntos de entrenamiento
y evaluación sean realmente diferentes.
Un método que podemos utilizar para usar muestras distintas
de cara a entrenar modelos y evaluar es el que en inglés se conoce como hold-out.
Por cierto,
you habéis visto que uso la palabra entrenar o aprender indistintamente.
Bien, en este caso lo que se trata es de tener un cierto porcentaje de las
muestras para entrenar y el resto para evaluar.
Usualmente podemos usar por ejemplo un 50%.
Si este es nuestro conjunto de muestras, la manera de coger ese porcentaje,
por ejemplo un 50% pues puede ser desde simplemente dividir el conjunto
de esta manera o incluso podemos utilizar algún tipo de mecanismo
de selección de muestras aleatoriamente, por ejemplo cojo esta muestra, cojo esta,
cojo esta, cojo esta, otra por aquí, otra por aquí, hasta completar ese porcentaje.
Además este procedimiento de entrenar y
evaluar podemos completarlo un número de veces que nos interesa,
por ejemplo k veces y promediar el resultado de
las evaluaciones esas k veces.
Otro método muy utilizado es el que se conoce como validación cruzada o
en inglés cross-validation.
En este caso partimos de un conjunto de m muestras y lo que
hacemos es dado un número entero k dividir ese conjunto
en subconjuntos cada uno de m partido por k.
De esta manera vamos a tener k subconjuntos.
Bien, ahora se trata de utilizar todos esos
subconjuntos en la evaluación del clasificador que
estemos que estemos entrenando o el detector global que estemos utilizando.
Es decir, tendremos
k subconjuntos en la primera ronda, por ejemplo podemos utilizar este
subconjunto para evaluar y el resto para entrenar.
En la siguiente ronda lo que haríamos es
utilizar este de aquí y el resto para entrenar
y así sucesivamente hasta completar k rondas.
De esta manera podemos promediar el resultado de las evaluaciones que
estarán basadas pues en una métrica u otra las que se han visto.
Y de esa manera pues el resultado de ese promedio me puede
informar de la capacidad de generalización que tiene el clasificador
o globalmente el detector que estamos entrenando.
Así pues con el método de validación cruzada, todas las muestras se
utilizan tanto para entrenar como evaluar, aunque en rondas distintas.
Con el método de hold-put esto no se garantiza.
El método de hold-out puede también utilizarse una o varias veces de ser
un promediado.
En el caso de la validación cruzada esto es necesario,
siempre se hace k veces, por eso suele ser más costoso, o sea que a veces
lo podemos utilizar y otras veces no debido al coste computacional que tiene.
En cualquier caso ambos métodos sirven como recetas para
entrenar y evaluar con muestras distintas.
Además de eso como vamos a ver estos métodos también sirven para
seleccionar el modelo que vamos a utilizar o que mas nos va a convenir
para el problema, también nos van a servir estos métodos para ajustar meta
parámetros del algoritmo de aprendizaje, por ejemplo en el caso del descenso al
gradiente que vimos en relación a la regresión logística, el parámetro alfa la
velocidad de aprendizaje es uno de esos ejemplos de meta parámetros.
Y también nos van a servir estos métodos para ajustar parámetros del descriptor,
por ejemplo cuando hablábamos de bloques de histogramas de LBP
para describir ventanas, pues el tamaño de esos bloques puede
ser uno de esos parámetros que podemos ajustar.
En definitiva hay que probar distintos valores de los distintos parámetros
que forman el conjunto de los ingredientes que dan lugar al descriptor,
perdón al detector de objetos.
Aquí vemos un esquema general de como utilizar las
muestras anotadas para desarrollar un detector de objetos y
evaluar su capacidad de generalización, es decir lo bien que detecta los
objetos en imágenes que no ha visto durante su desarrollo.
Por tanto del conjunto de muestras se ha de reservar una parte para
esta fase de evaluación.
Muy bien, además durante el desarrollo del detector las muestras
también las vamos a dividir en dos partes,
unas propiamente de entrenamiento y otras que vamos a llamar de validación.
Esto es así porque en realidad en el detector de objetos están involucrados
diversos parámetros, y claro hemos de asignar un valor a esos parámetros,
pero qué valor pues diríamos de manera simple, el mejor valor.
Pero para saber cuál es ese mejor valor muchas veces lo que tenemos que hacer es
probar diversos valores y quedarnos con
aquel que da mejor resultados, aquellos que dan mejor resultado.
Por tanto, el digamos conjunto de muestras de
entrenamiento lo que vamos a hacer realmente es desarrollar el detector,
y con estas muestras de validación que no se utilizan durante el entrenamiento
lo que vamos a hacer es ver qué resultado da ese detector para un
determinado conjunto de valores de parámetros.
Y lo que vamos a hacer finalmente es quedarnos con el conjunto de valores y su
detector asociado que dan mejor resultado en este conjunto de validación,
independientemente de la métrica que estemos utilizando para evaluar.
Por tanto, aunque intuitivamente pueda parecer que el conjunto de validación
y el de evaluación son muy similares, en realidad no es así porque lo que estamos
haciendo en esta parte del desarrollo es buscar parámetros
que son los que mejor resultados dan para este conjunto de validación realmente.
Por tanto, si queremos evaluar la capacidad de generalización del detector,
realmente hemos de usar un conjunto de evaluación aparte.
También hay que decir que esta manera de ir
dividiendo los conjuntos, los subconjuntos de muestras pues puede basarse o en
hold-out o en validación cruzada depende del caso.
Eso habría que pensarlo en cada tipo de aplicación viendo cuantas muestras
tenemos, cuanto cuesta hacer estos entrenamientos, etcétera.
Bien, finalmente comentar que los
conceptos claves que hemos visto en este vídeo son en qué consiste el hold-out,
en qué consiste la validación cruzada y también en qué consisten
los conjuntos de entrenamiento, validación y evaluación.
Antonio López PeñaTitular de Universidad
Ernest ValvenyCatedrático Escuela Universitaria
Maria VanrellProfesora Titular de Universidad
