¿Te interesa la visión por computador? ¿Te gustaría saber cómo se puede reconocer el contenido visual de las imágenes y clasificarlas a partir de su contenido? En este curso aprenderás diferentes métodos de representación y clasificación de imágenes. El temario del curso te permitirá conocer el esquema básico de clasificación de imágenes conocido como Bag of Visual Words. A partir de este esquema básico aprenderás cómo utilizar varios descriptores locales de la imagen así como los métodos de clasificación más habituales. También describiremos diferentes extensiones del esquema básico que permiten combinar distintos descriptores, incluir información espacial o mejorar la representación final de la imagen. Finalizar el curso te permitirá: • Diseñar soluciones adaptadas para diferentes problemas de clasificación y reconocimiento de imágenes • Conocer las principales técnicas usadas para la descripción y clasificación de una imagen • Acceder a las herramientas que permiten el desarrollo de aplicaciones reales de clasificación de imágenes El curso está orientado tanto a estudiantes universitarios de algún grado relacionado con la informática, la ingeniería o las matemáticas, como a otros estudiantes con conocimientos de programación, interesados en aprender cómo utilizar técnicas de visión por computador para extraer información de las imágenes.
Experimentación Práctica con Pirámides Espaciales
Loading...
来自 Universitat Autònoma de Barcelona 的课程
Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?
60 个评分
Universitat Autònoma de Barcelona
60 个评分
从本节课中
Incorporación de información espacial
En esta semana abordaremos cómo podemos incorporar información espacial de los objetos de la imagen en la representación BoW. Para ello introduciremos el concepto de pirámide espacial y cómo se utiliza para modificar la representación básica del BoW de forma que tengamos en cuenta la localización en la imagen de cada característica local. Veremos también cómo podemos comparar imágenes que utilizan la pirámide espacial. Finalmente explicaremos una forma de aprender la configuración óptima de una pirámide espacial.
与讲师见面
Ernest ValvenyCatedrático Escuela Universitaria
Departamento de Ciencias de la Computación
Jordi Gonzàlez SabatéProfesor Titular de Universidad
Departamento de Ciencias de la Computación
Ramon Baldrich CasellesProfesor titular
Departamento de Ciencias de la Computación
[MÚSICA] Hola.
Bienvenidos de nuevo.
En este video analizaremos el rendimiento del uso de la pirámides
espaciales en un caso concreto.
En particular será la base de datos de escenas,
recopiladas por Aude Oliva y Antonio Torrealba en el MIT en el 2001.
Veremos cómo la incorporación del histograma multiresolución
mejorará considerablemente la precisión del clasificador, a costa de poder
trabajar una representación de la imagen más completa y sin la propiedad de
invariancia a geometría que tiene el esquema bag of words.
También analizaremos la matriz de confusión para deducir las causas de los
errores que se hayan cometido utilizando pirámides espaciales.
Aprovecho para agradecer a Marçal Rusiñol, investigador del Centro
de Visión por Computador de la Universidad Autónoma de Barcelona, su tiempo de ayuda
en la generación de los resultados numéricos que veremos a continuación.
Empecemos, repasemos los conceptos más importantes vistos esta semana,
antes de abordar el problema dado.
En primer lugar hemos visto que la estrategia de pirámides espaciales,
consiste en la colocación de una rejilla o malla a la imagen predeterminada,
de 2x2 en nuestro caso y en cada nivel doblamos la resolución que existe.
Después hemos determinado el vocabulario visual clusterizando en el espacio
de descriptor o descriptores que hayamos utilizado y cada histograma,
el bin de cada uno de ellos, nos determina la frecuencia de aparición de la palabra
en la región que le corresponda.
Toda la imagen en el nivel 2 y cada una de las cuatro
regiones en el nivel 1 y cada una de las 16 regiones en el nivel 0.
Este es el histograma que cuenta el número de veces que aparecen
las palabras en esta región de aquí.
Lo que se hace después es tener en cuenta todo el mismo histograma,
los 21 histogramas concatenados, y esto será la entrada de nuestro clasificador.
Que en el caso que hemos visto, es un clasificador SVM con un kernel específico
que nos mejora la manera de calcular la similitud que hay entre las dos muestras
a la hora de calcular el modelo de separación entre clases.
Este modelo de aprendizaje del clasificador basado en kernel,
lo que funciona es, dadas dos imágenes cualquiera,
se cuentan por cada palabra el número de veces que aparece en toda la imagen,
para el primer nivel, en cada una de las cuatro regiones para el segundo nivel,
por tanto este histograma tendrá 4 bins,
tantos bins como regiones y finalmente extraeremos el número de veces que aparece
cada palabra en cada una de las 16 regiones o un histograma de 16 bins.
Para calcular la intersección, que es lo que realmente nos
dará la similitud que hay entre las dos imágenes, lo que se hacía, lo que vimos,
es que se multiplica por valores fijos que no hay que encontrar por variación
trenzada, el histograma de cada uno de los niveles independientes.
No habría que buscar nuevas correspondencias entre palabras visuales
en la diferente región, como hicimos, como hacían previamente, Drauman y Darrell.
Una vez visto el esquema visual,
pasamos a explicar la base de datos que hemos utilizado.
La base de datos que hemos elegido para analizar el rendimiento de las pirámides
espaciales, es una de las primeras que hubo de escenas,
fué presentada por Oliva y Torrealba en el 2001.
Esta base de datos contiene más de 2500 muestras de 8 tipos de escenas diferentes,
de costa, bosque, montaña, campo abierto, autopista, urbano, edificio y calle.
Como vemos las clases no están balanceadas sino que el número de muestras depende del
tipo de categoría, por lo que la validación cruzada será decisiva
para determinar los mejores parámetros para hacer la fusión que queramos
pero que nos den el mejor rendimiento posible.
Para el ejemplo que veremos a continuación hemos utilizado el descriptor de forma
Sift únicamente ya que así fué como se presentó el método de pirámides espaciales
en el artículo antes mencionado.
Aquí vemos una serie de ejemplos visuales de cómo son las imágenes correspondientes
a cada una de las 8 categorías, así vemos que para algunas de las clases,
como por ejemplo, edificio o calle.
Aquí vemos que la forma sí que puede ser importante a la hora de llegar
a clasificar bien la escena.
En cambio en otras vemos que la ausencia de color será un factor decisivo a la hora
de encontrarnos con errores, ya que vemos por ejemplo que en estas imágenes de campo
abierto y de costa, la forma es muy parecida, la única diferencia primordial
sería en el color por tanto necesitaremos aplicar el color en un futuro
y somos conscientes de que habrá algunos errores provocados por este motivo.
Para analizar el rendimiento de las pirámides espaciales se
han fijado en el experimento que mostramos a continuación los siguientes parámetros.
Se ha utilizado un descriptor de 2 escalas y 8 orientaciones,
en un Sift que se ha aplicado sobre regiones de 16 por 16 píxeles.
Cada 5 píxeles hemos espaciado,
hemos decidido determinar el espaciado para hacer un muestreo denso.
También hemos variado el tamaño del vocabulario visual para observar
cuando empieza el overfitting, ya que al aumentar la representación aumentamos el
número de parámetros a considerar por cada nivel piramidal.
Básicamente estamos doblando el número de dimensiones a considerar
en el espacio de soluciones, por cada nivel que consideremos.
Para determinar los mejores parámetros del clasificador, regularizador,
etcétera, se fija una validación cruzada de 5 grupos,
es decir que para calcular la precisión repartimos el conjunto del aprendizaje en
5 grupos y se toma la medida del error cometido en cada grupo de texto.
Una vez tenemos la medida dividiremos entre 5 para tener una medida fija.
Finalmente hemos considerado el clasificador SVM con el canal de
correspondencia de pirámides que explicamos en el anterior vídeo.
En esta gráfica vemos el resultado de las pruebas,
la línea azul representa el rendimiento del esquema básico del bag of words.
Es decir, solo tenemos una región que es toda la imagen
según vamos incrementando el tamaño del vocabulario de nuestro problema.
Vemos como la precisión aumenta hasta superar el 80% de accuracy, de exactitud,
para luego caer por debajo de este valor debido sobre todo a underfitting.
Es decir el modelo del clasificador no dispone del número de
parámetros suficientes con los que jugar para poder representar bien unas
muestras de tanta dimensionalidad, así que hay una generalización en exceso.
Por otra parte vemos como la subida, la incorporación de niveles
adicionales de resolución conlleva a aumentar la precisión
hasta más de 5 puntos para vocabularios reducidos que aquí vemos de 128.
Vemos que añadir otro nivel piramidal no conlleva un aumento
tan significativo en la precisión, ya que para un número fijo de vocabulario,
lo que estamos generando es overfitting es decir, el modelo ahora tiene demasiados
parámetros y se produce un cierto grado de memorización de los datos de aprendizaje.
Así que vemos también como el aumento del underfitting es menos pronunciado,
es decir, el descenso para números grandes de vocabulario es menor
que en un nivel ya que la complejidad del modelo se ha doblado
por cada nivel considerado por tanto tarda menos en llegar al underfitting.
A continuación veremos la matriz de confusión para las categorías de la base
de datos de escenas de Oliva y Torrealba.
Aquí arriba vemos un ejemplo de imagen por cada una de las categorías y abajo
la categoría en cuestión, esto es el ground truth,
es decir cuando hay errores pues la etiqueta real de la muestra.
Cada columna es la salida del clasificador, es decir, el sistema de
clasificación nos dice la clase a la que se cree que pertenece la imagen.
Por tanto vemos que en la diagonal tenemos los valores máximos,
es decir tenemos muchas clasificaciones correctas.
La clase real era campo abierto y realmente el clasificador nos ha dicho que
era campo abierto, aunque también nos va bien encontrar determinados errores.
Aquí nos centraremos en 4 casos en los que se ve que la confusión
ha sido más que destacar.
En concreto nuestro sistema tiene errores al confundir costa con campo abierto,
en ambos casos se produce la confusión, veremos por qué.
También se produce el campo abierto respecto a montaña y calle.
También veremos los ejemplos para intentar entender el por qué de la causa de la
confusión, también hay confusión entre urbano con las clases calle
y edificio y finalmente veremos por qué o las causas de los errores
entre la clase montaña que es la real confundido con una clase costa o bosque.
Veamos ejemplos de estas confusiones.
Veamos ahora ejemplos de clasificaciones erróneas.
Vemos arriba las etiquetas correctas y a la izquierda iremos viendo
las predicciones de los clasificadores.
Primero hemos visto que se confunden bastante las categorías campo
abierto y costa,
lo que es evidente a la hora de ver las formas que pueden tomar estas imágenes.
Sin tener en cuenta el color en general existen costas que también tiene muchas
líneas horizontales debido a la superposición de terrenos,
típico de fotos de campo a través.
Y al revés, hay imágenes de campo a través o campo abierto en los que la pendiente de
los terrenos se asemejan a los acantilados típicos de las costas.
En el campo abierto y montaña se confunden en esta imagen debido
básicamente a la aparición de la forma tan característica del horizonte pero también
de la apariencia de los grupos boscosos que define muy bien la clase de montaña,
aunque dependiendo del punto de vista como vemos en esta imagen.
Si solo tenemos en cuenta la forma, se da una gran similitud entre grupos de árboles
como vemos aquí, líneas horizontales y verticales,
con lo que encontraríamos en las fachadas de las casas.
Vemos también los errores de la categoría urbano con edificio y calle.
En este caso los errores que visualizamos aquí, son más debidos a la ambigüedad
semántica del concepto urbano que se ha utilizado para categorizar estas imágenes.
De hecho toda calle y todo edificio es urbano, por tanto poco hay que hacer aquí.
Y finalmente como hemos visto también en la matriz de confusión,
se producen errores al confundir montañas con otras clases.
En esta clase de aquí, lo que vemos al comparar esta imagen de montaña con costa,
con esta imagen, vemos que la forma es realmente muy parecida, la diferencia
básica es en el color, por tanto es normal que se haya encontrado esta confusión.
El otro error común que también es para la clase montaña,
es para la clase árbol, árboles, bosques, y esto es debido a que en este caso
de aquí aparecen muchos bosques, muchos árboles en las imágenes de ambas clases.
Por tanto los árboles por sí solos no sirven para discernir
entre un grupo de clases de montaña, campo abierto o bosque.
Será que no es un componente que sea lo suficientemente discriminativo
como para llegar a diferenciar bien este tipo de clases.
Como conclusión del estudio mostrado en este video, podemos asegurar que muchos de
los errores se deben al uso de etiquetas no excluyentes
ni exentas de cierta ambigüedad visual, como hemos visto en el caso de urbano.
También hemos comprobado como el rendimiento mejora cuando se utilizan
niveles adicionales de resolución en la representación de las imágenes basados en
histogramas y finalmente hemos visto que al aumentar el tamaño del vocabulario
visual nos conlleva a una mejora en el rendimiento de la clasificación,
aunque llevado al límite nos puede dar casos de underfitting o overfitting.
Todo esto puede ser solucionado,
o aumentando el nivel de la pirámide o aumentando el nivel del vocabulario.
De todas formas si aumentamos demasiado el nivel de la pirámide
nos encontraremos con serios problemas de overfitting,
ya que trabajamos con modelos que tienen muchos parámetros para el aprendizaje.
Finalizamos este vídeo repasando los conceptos más importantes que se
han presentado.
En primer lugar hemos analizado el rendimiento de las pirámides espaciales
en todo el contexto Bag of Words del curso.
Es decir ser evaluados distintos parámetros en el tamaño del
vocabulario y nivel piramidal, para determinar por validación cruzada
el mejor rendimiento para una base de datos en particular,
la de Oliva y Torrealba presentada en el 2001.
Después se han analizado los errores que hemos obtenido
por el método y se han planteado las razones y posibles mejoras.
A continuación para terminar la semana
veremos en el siguiente vídeo cómo adaptar la estructura de malla fija 2x2 o 4x4
que hemos visto hasta ahora para que poder mejorar la representatividad de la malla,
y mejorar así en consecuencia el rendimiento del clasificador.
[AUDIO EN BLANCO]
