Hola a todos.
Hemos visto que parte importante de un detector de objetos es la clasificación.
Los clasificadores se basan en modelos que aprendemos automáticamente a partir de
un conjunto de muestras.
En el vídeo de hoy amos a ver cómo obtener esas muestras.
Inicialmente habrá habido un proceso de adquisición de datos,
a partir del cual pues obtenemos un conjunto de imágenes.
Ahora se trata de los objetos que nos interesan, anotarlos en esas imágenes.
Por ejemplo tenemos esta imagen, supongamos que queremos hacer un detector
de peatones y por tanto nos interesan los peatones.
Entonces lo que haremos, si queremos utilizar este peaton que tenemos aquí
como muestra, lo que haremos es ajustarle una ventana.
Es decir, vemos que anotar es realmente es un trabajo manual que
puede hacerse a partir de una herramienta propia o alguna herramienta que
permita a través de internet anotar numerosas imagen
simultáneamente a partir del trabajo de varias personas.
En cualquier caso you se ve que este es un trabajo cansado,
subjetivo y por tanto sujeto a errores.
Además, vamos a requerir que haya variedad en
las muestras y tenemos que dar instrucciones precisas para eso.
Para evitar alguno de los errores típicos lo que sí que se puede hacer es
incorporar restricciones al a hora de hacer estas ventanas,
por ejemplo si tenemos una ventana con un cierto tamaño canónico
que vamos a usar durante el proceso de selección y aprendizaje de los modelos,
pues lo que podemos hacer es que en el momento de anotar un peatón en este caso,
o un objeto en general, siempre utilicemos una ventana
que como mínimo sea de ese tamaño y si no es de ese
tamaño pues que sea de un tamaño mayor pero nunca de un tamaño menor.
Además si esta ventana tiene un determinado aspecto ratio,
es decir un determinado, una determinada relación de aspecto podemos obligar
a que todas las ventanas que se dibujen tengan esa misma relación de aspecto.
No voy a entrar aquí en como se hacen esas herramientas y como se hace la
interfaz de usuario porque eso sería otro tema y no merece ahora la pena.
Otra cuestión es que una vez tenemos anotadas esas ventanas,
pues resulta que para algunos descriptores es conveniente tener
un marco rodeando realmente a las personas,
porque se ha visto que esos detectores dan mejores resultados de esa manera.
Cuando estos marcos se pueden añadir de forma automática,
una vez nosotros hemos manualmente dado la ventana
que se ajusta a la muestra, en este caso a la persona.
Para aprender los modelos que nos interesan
necesitamos muestras positivas y muestras negativas.
Cuando hablamos de anotar nos referimos a manualmente anotar muestras positivas,
mientras que las negativas se obtienen automáticamente una vez se han
anotado las positivas.
Esto se puede hacer de dos formas básicamente.
En un caso tenemos un conjunto de imágenes que contienen objetos que nos interesan,
por ejemplo peatones, y por tanto hemos anotado en este caso esos
peatones con ventanas de una relación de aspecto fija en esas imágenes.
Luego pues como sabemos estas anotaciones se pasarán a un tamaño canónico,
se aprenderán sus descriptores y se utilizarán para aprender los modelos.
Bien, con esas muestras positivas anotadas las negativas las podemos generar
aleatoriamente como este ejemplo que vemos aquí, donde hay de distintos tamaños,
en distintas posiciones, siempre con la misma relación de aspecto.
Lo único que tienen que cumplir es que o bien no se solapen con las muestras
positivas o se solapen lo suficientemente poco para que no se pueda considerar
que el contenido de esas ventanas negativas sea una persona en este caso,
o aunque se solape totalmente con una anotación de persona,
pues el tamaño de esa anotación y el de la ventana que estamos
ahora intentando usar como ejemplo de muestra negativa,
pues sean tamaños muy diferentes de forma que realmente el
contenido de esa muestra se pueda considerar fondo.
Bien, con este mecanismo lo que sucede es
que hemos de anotar todas las personas que haya en las imágenes.
Si nos dejamos alguna puede pasar que aleatoriamente
pues la utilicemos como muestra negativa.
En realidad eso es muy difícil, pero si que en un proceso que
veremos posteriormente llamado bootstrapping, si que sería fácil coger
esa persona que hemos dejado de anotar y tomarla como muestra negativa.
Por tanto en este mecanismo nos obligamos digamos
a anotar todas las muestras positivas.
Entonces una alternativa para evitar eso, para solo anotar algunas de las muestras
positivas es tener un conjunto de imágenes al que llamaremos imágenes negativas,
que son tales que no contienen ningún objeto de las que nos interesan,
en este caso pues lo que sucede es que no contiene ninguna persona.
De esa manera las muestras negativas las tomaríamos de este conjunto,
donde podríamos poner ventanas en cualquier lugar y con
cualquier tamaño siempre, eso sí con la misma
relación de aspecto que las muestras positivas, y bueno estaríamos
seguros de que esas ventanas no contienen ningún objeto de los que nos interesan.
Y así cogeríamos los ejemplos positivos de estas imágenes,
las muestras positivas de esas imágenes y las muestras negativas de esas otras.
Y por tanto no es necesario que en estas imágenes de la izquierda
anotemos todos los peatones.
Otra cuestión importante es
que en realidad hay muestras que son más importantes que otras.
Por ejemplo, imaginemos este caso de aquí donde tenemos unas muestras negativas,
otras negativas y queremos aprender la frontera que las separa.
Por ejemplo supongamos una frontera lineal que sería esta de aquí.
Bien, you se ve que para aprender esta frontera en realidad
nos podríamos ahorrar anotar todas estas muestras que están lejos de la frontera,
porque al final las fronteras quedan principalmente determinadas por las
muestras que están cerca.
Y por tanto esto sería un gran ahorro a la hora de anotar.
En realidad, pues las muestras que están lejos de la frontera,
por ejemplo si nos fijamos en el caso de las muestras negativas para el
ejemplo de los peatones, pues las muestras que están lejos de la
frontera son los casos fáciles, es decir que se parecen poco a los peatones.
Y las muestras que están cerca son los casos difíciles,
es decir que se parecen de alguna manera a los peatones,
es decir de acuerdo a alguno de los descriptores que estamos usando.
En definitiva lo que nos gustaría a nosotros es
obtener muestras más útiles que nos ahorren anotar
digamos tanta cantidad de muestras.
Si simplemente muestreamos el espacio de posibles muestras de una forma cualquiera,
nos puede pasar como en este caso de aquí que no estemos cogiendo las muestras que
realmente son más importantes, es decir estamos cogiendo muestras que no
necesariamente están alrededor de la frontera que son las que habían por aquí,
y por tanto podemos acabar con una frontera sesgada.
En realidad nosotros lo que nos interesa es obtener estas muestras de aquí,
las que rodean la frontera.
Y con eso pues, con ellas aprender la frontera de interesa.
Bien, para hacer esto vamos a utilizar dos recetas.
Una es el conocido como bootstrapping,
que nos va a servir para seleccionar muestras negativas de interés,
es decir las que hay por aquí y luego vamos a ver el aprendizaje
activo que sirve también para seleccionar muestras negativas pero que en nuestro
caso lo vamos a utilizar principalmente para anotar muestras positivas.
El bootstrapping que es una palabra en inglés que he
preferido no traducir, lo que persigue es que durante el
proceso de aprendizaje de los modelos que nos interesan, se utilicen
muestras negativas que estén cercanas a la frontera, es decir que sean difíciles,
por eso se habla de muestras negativas difíciles o en inglés hard negatives.
Aquí ilustramos un posible mecanismo de bootstrapping donde suponemos que tenemos
un conjunto de imágenes que contienen objetos de los que que nos interesan
por ejemplo peatones, y otro conjunto de imágenes que llamaremos negativas
porque no contienen ejemplos de los objetos que nos interesan.
Es decir, en este caso no contienen peatones.
Con lo que haremos es que una persona anota las imágenes positivas,
una serie de ejemplos, en este caso una serie de peatones y aleatoriamente
obtendremos muestras negativas del conjunto de imágenes negativas.
Inicialmente podemos partir por una relación uno uno y por cada uno de los
peatones anotados podemos muestrear,
podemos obtener una muestra de las imágenes negativas.
Con estas ventanas positivas y negativas lo que haremos es pasarlas
a su tamaño canónico, calcular los descriptores correspondientes,
por ejemplo basados en LBP y utilizar esas muestras anotadas
para realizar nuestro aprendizaje automático del modelo que nos interesa,
por ejemplo utilizando regresión logística.
Por tanto, esta primera etapa pues es simplemente el
aprendizaje del clasificador,
o del modelo que utilizaremos en el clasificador.
Bien, a continuación lo que vamos a hacer es utilizar
estas imágenes negativas en una fase de detección.
Es decir, aquí tendremos nuestro clasificador con un cierto umbral,
que podría decir umbral igual a cero y lo que vamos a hacer es utilizar el mecanismo
de pirámide y de octava deslizante para realizar detecciones en estas imágenes.
Y en realidad lo que vamos a estar haciendo es buscar los hard negatives,
los negativos difíciles,
porque en realidad sabemos que aquí no hay ningún peatón en este caso y por tanto
todas las detecciones que se obtengan son lo que se llaman falsos positivos.
Por tanto, como fruto de este procedimiento obtendremos
una serie de ventanas que tenemos dibujadas aquí,
que en realidad son incorrectas porque no contienen ningún peatón.
Eso sucede porque este modelo que habíamos hemos aprendido no era
suficientemente bueno.
Bien, vamos a considerar estas ventanas como difíciles y lo que vamos a hacer
es realimentar el sistema de aprendizaje con estas muestras negativas.
Es lo que sucede aquí, las que habíamos detectado como peatones y no lo son,
ahora pasarán a formar parte de las muestras negativas de nuestro
conjunto y por tanto lo que vamos a hacer es volver a realizar el aprendizaje,
volver a realizar la detección en las imágenes
negativas y en definitiva pues esto es un proceso iterativo que
iremos realizando hasta que llegue un momento en
que los falsos positivos que se obtengan sean muy pocos o ninguno.
Fijémonos que en todo este proceso el número de positivos no cambia,
siempre el mismo.
El bootstrapping se puede complementar con el conocido aprendizaje
activo que lo que persigue en este caso es que la persona anote
menos ejemplos positivos pero que sean más relevantes, o si anota el mismo número de
ejemplos positivos que en cualquier caso sean más relevantes, es decir que estén
más cerca a la frontera que ha de separar las muestras positivas de las negativas.
Por ejemplo, en este caso seguimos anotando personas pero
en lugar de anotar muchas, anotamos solo unas pocas.
Y utilizamos un mecanismo similar al que hemos visto anteriormente,
pero en este caso en la fase de detección no solo introducimos
las imágenes negativas para obtener negativos difíciles sino
que además también introducimos las imágenes que contienen
en este caso peatones para ver cuáles peatones se detectan y cuáles no.
Por ejemplo, aquí habíamos anotado estos dos que vemos que se detectan,
no exactamente quizás con la misma ventana pero sí con una ventana
muy solapada con la que ha anotado a la persona, y aparte ha habido otros como
este de aquí que también se ha detectado gracias a este modelo que hemos aprendido.
Pero aquí otros dos como este y este que no se han detectado.
Bien, pues lo que sucede ahora es que este resultado pasa a manos del anotador.
Entonces esta persona que está anotando los datos en vez de anotar
cualquier peatón al azar en las imágenes,
anota estos dos que sabe que el modelo que tiene en ese momento el
sistema no es capaz de detectarlos.
Por tanto son de alguna manera positivos difíciles para el sistema en ese momento.
Y por otro lado pues el mecanismo de bootstrapping está funcionado igualmente.
De hecho, en cada digamos iteración del sistema,
primero se cumple con el bootstrapping, es decir se reentrena
el modelo tantas veces como sea necesario par reducir el número de falsos positivos,
y a continuación una vez you hemos parado de hacer bootstrapping,
tendremos unos determinados resultados de detecciones en el conjunto
de imágenes positivas y es en ese momento
en el que la persona que anota los datos decide pues introducir un nuevo positivo.
Es decir, el bucle de digamos del aprendizaje activo va en segundo lugar.
Así pues, los conceptos claves que hemos visto en este
vídeo son cómo se anotan muestras positivas y cómo se obtienen
muestras negativas de forma automática una vez hemos introducido las positivas.
Además hemos visto el procedimiento de bootstrapping para obtener
muestras negativas cercanas a la frontera,
es decir difíciles y también hemos visto como complemento al bootstrapping
el mecanismo de aprendizaje activo para también obtener muestras difíciles,
en este caso muestras positivas.
