0:15
Gregory Bateson definió la información como una diferencia que hace
una diferencia.
Esto quiere decir que podemos entender a la información como algo que
puede ser relevante para un sistema.
Sin embargo unas décadas antes en el contexto de la cibernética Claude Shanon
definió una teoría de la comunicación donde propuso una medida de información.
Shanon estaba interesado en la transmisión fiel de datos a través de un canal de
comunicación ruidoso.
En este sentido no importaba el significado de los datos you que se asumía
que este no era un problema de la transmisión sino
la relación entre el emisor y el receptor.
La información de Shanon es máxima cuando los datos son casi aleatorios.
Esto es porque al casi no haber un patrón en los datos la
información que hayamos recibido no nos será muy
útil para predecir qué información recibiremos en el futuro.
Por ejemplo si estamos tirando volados no importa que tengamos millones de datos
pues estos no nos dirán cuál será el dato del siguiente volado.
Por otra parte la información de Shanon será mínima cuando un solo dato se repite
siempre.
Si recibimos más datos estos no nos darán más infamación you que con la información
que tengamos en el presente podremos predecir toda la información futura.
La información de Shanon nos dice qué tan regular o novedosa es una secuencia de
datos.
Si es muy regular la información será baja you que se necesita poca información para
representar un patrón estático.
Por otro lado si no hay estructura y los datos están desordenados
la información será alta you que habrá que representar cada dato explícitamente.
En los próximos videos veremos algunos usos que podemos hacer de esta medida de
información.
Carlos GershensonInvestigador y Jefe del Departamento
