Hola, en este video volvemos a tratar de cómo evaluar el rendimiento de un clasificador, cuando de dedica a clasificar ventanas candidatas dentro de un detector. Partimos de que ya hemos aprendido a construir la matriz de confusión y hemos visto las medidas de exactitud y precisión. Pues bien ahora en este video vamos a introducir dos medidas más, la sensibilidad y la especificidad y seguidamente explicaremos cómo construir las curvas ROC, que nos informarán sobre el comportamiento del clasificador en función de sus parámetros. Al igual que en el video anterior dentro de este esquema general de detección de objetos, nos centraremos exclusivamente en los resultados del clasificador. Por tanto a partir de los resultados del clasificador construimos la matriz de confusión y definimos dos medidas generales sobre el clasificador. Hoy añadiremos dos medidas nuevas y a partir de estas construiremos la curva ROC, que nos ayudará a decidir los mejores parámetros para nuestro clasificador. Por tanto una vez que hemos recordado lo que hicimos en el último video, el índice para este video sea el siguiente, la sensibilidad y la relacionaremos con el True Positive Rate, para el que mantendremos su nombre en inglés y la especificidad la relacionaremos con False Positive Rate. La sensibilidad mide la eficiencia en la clasificación de todos los elementos que son de la clase. Se calcula cuantitativamente como el cociente entre los reales positivos partido por la suma del total de instancias reales que tenemos en la clase. Por tanto analiza la primera fila de la matriz de confusión, que para el caso del clasificador de personas, como el que trabajamos en el video anterior corresponde al siguiente campo. Personas bien clasificadas, que es un 9 corresponden a la zona de nivel gráfico partido por la suma de personas que tenemos, que es un 9 + 10, estas últimas son las que aparecen en la zona violeta del gráfico. La sensibilidad en este caso será de 0.47, que no llega al 0.5, puesto que el número de personas bien clasificadas es menor que el número de personas que han quedado sin clasificar como tales. Especificidad igual que la sensibilidad evalúan la eficiencia en la clasificación, pero en la clase complementaria. Es decir la eficiencia en la clasificación de los elementos que no son de la clase. se calcula cuantitativamente como el cociente entre los reales negativos partido por la suma del total de todas las instancias reales que tenemos en la otra clase. Por tanto analiza la segunda fila de la matriz de confusión, que para el caso del clasificador de personas corresponde al siguiente cálculo. Elementos que no son personas, y que han sido bien clasificados como no personas son 15, corresponden a la zona azul del gráfico, partido por la zona total de elementos que no son personas que son 10 + 15, y estas 10 corresponden a la zona naranja del gráfico. La sensibilidad en este caso es de 0,6, que es mayor que 0.5, y por tanto nos está indicando que el número de no personas bien clasificadas como no personas es mayor que las no personas que han sido incorrectamente clasificadas como personas. Antes de continuar queremos relacionar las medidas que acabamos de definir con dos conceptos que son muy utilizados en la literatura, y para los cuales mantendremos los términos en inglés. se tratan del True Positive Rate, o tasa de reales positivos que coincide con la medida de la sensibilidad, o tasa de falsos positivos cuyo valor corresponde con el valor de 1 menos de especificidad. Volveremos a estos conceptos un poco más adelante. Como resumen de las medidas sobre la matriz de confusión podemos decir que la diagonal de la matriz de confusión se relaciona con la exactitud, y la primera columna de la matriz servía para el calculo de la precisión. Y ahora en este video acabamos de ver dos medidas nuevas, la sensibilidad que se calcula sobre la primera fila de la matriz de confusión, y la especificidad que se calcula sobre la segunda fila de la matriz de confusión. Para reforzar estos conceptos, os propongo como ejercicios adicionales que calculéis la sensibilidad y la especificidad de los resultados de los siguientes clasificadores. Son los mismos resultados con los que ya trabajamos en el video anterior. Las matrices de confusión, la exactitud y la precisión resultante fueron estas. Solución correspondiente al cálculo de la sensibilidad y la especificidad os podéis encontrar en esta diapositiva. Como comentario en los resultados obtenidos queremos prestar una especial atención a 3 casos extremos. El clasificador 3 corresponde a un clasificador ideal, sensibilidad igual a 1 y especificidad igual a 1. El clasificador 4 correspondería a un clasificador aleatorio con sensibilidad 0 y especificidad 0, podríamos decir que corresponde a la clasificación inversa. Y finalmente el clasificador 6 que tambien corresponde a un clasificador aleatorio con sensibilidad 1 y especificidad 0, en el que todo ha sido clasificado como persona. Llegados a este punto, la siguiente pregunta es, ¿cómo usar el análisis de estos resultados para mejorar nuestro clasificador? Cualquier clasificador presenta siempre algún parámetro que se relaciona con el umbral que va a determinar la desición entre ser o no ser de la clase. Si suponemos la frontera entre pertenecer o no a la clase persona podemos imaginar una situación como la siguiente, en verde los elementos que pertenecen a la clase persona, y en rojo los elementos que pertenecen a la clase no persona. La variación de un parámetro permite aproximar la frontera de decisión hacia la clase persona. En este caso aumentamos la especificidad y disminuimos la sensibilidad, en cambio si alejamos la frontera de la decisión de la clase persona disminuiremos la especificidad y aumentaremos la sensibilidad. Cada umbral determinará pues un clasificador diferente. Por tanto la variación de estos parámetros nos determinará una familia de clasificadores cuyos resultados pueden ser estudiados globalmente. Antes de definir el concepto de curva ROC, os propongo que como ejercicio adicional, y si queréis calcula las medidas de sensibilidad y especificidad de las siguientes familias de clasificadores. Y esto clasificadores la diferencia está en su radio, de esta manera estamos ilustrando el concepto de la variación del clasificador a partir de la variación de un umbral en la decisión. Usamos las matrices de confusión, y solo falta que calculéis la sensibilidad y la especificidad. [AUDIO_EN_BLANCO] Y aquí tenemos los resultados con las medidas de sensibilidad y de especificidad para cada clasificador. A partir de estas medidas se puede construir una representación que describe el comportamiento de un clasificador de manera global, es la curva ROC. Permite representar el comportamiento de la clasificación en función del umbral de discriminación. En el eje de la y se representa la sensibilidad y en el eje de la x se representa uno menos la especificidad. O de otra manera el True Positive Rate en el eje y y el False Positive Rate en el eje x. Así pues para cada clasificador se puede construir una curva que una 2 puntos representados dentro de este espacio para cada uno de los umbrales. Los parametros ideales para un clasificador serían aquellos que se colocaran en el punto 1, 0 de las partes, que corresponde a un True Positive Rate igual a 1 y un False Positive Rate igual a 0. Para ilustrar la construcción de esta gráfica tomaremos como ejemplo los clasificadores del ejercicio anterior. Para cada uno de ellos ya hemos construido la matriz de confusión y las medidas de sensibilidad y especificidad. Se debe calcular 1 menos la especificidad que es lo que irá a la curva ROC. Para cada clasificador graficaremos un punto. Para el clasificador 1 representaremos el punto 0, 0.35. Para el clasificador 2 tendremos el punto 0, 0.45. Para el clasificador 3 tendremos el 0, 0.7. Para el 4 0.04, 0.85. Para el 5 0.16, 0.9, y finalmente para el clasificador 6 tendremos el punto 0.68, 1. Uniendo todos estos puntos hemos construido la curva ROC, que nos permite ver que el mejor clasificador para esta familia se encontraría entre los umbrales del clasificador que van entre el clasificador 4 y el clasificador 5, que son aquellos que corresponden a la menor distancia con el clasificador ideal, y está en el punto 0, 1. Para acabar podemos hacer el siguiente resumen, hemos visto que la medida de sensibilidad que nos da la eficiencia del clasificador para su clase y la especificidad que nos da la eficiencia para el complementario, para la clase complementaria. Hemos visto su relación con dos razones muy comunes que es el True Positive Rate y el False Positive Rate, y hemos definido y practicado con el concepto de la curva ROC, que nos permite analizar el clasificador en función de su umbral de discriminación. Y esto es todo, hasta aquí este segundo vídeo sobre relación de rendimiento del clasificador.
