Utilidad de categoría

Gluck y Corter (1985) y Corter y Gluck (1992) mencionan que la utilidad de categoría es equivalente a la información mutua . ^{[ 1 ] [ 2 ]} He aquí una demostración sencilla de la naturaleza de esta equivalencia. Supongamos un conjunto de entidades, cada una con la misma${\displaystyle n}$características, es decir, conjunto de características${\displaystyle F=\{f_{i}\},\ i=1\ldots n}$, donde cada variable de característica tiene cardinalidad${\displaystyle m}$. Es decir, cada característica tiene la capacidad de adoptar cualquiera de${\displaystyle m}$valores distintos (que no necesitan estar ordenados; todas las variables pueden ser nominales); para el caso especial${\displaystyle m=2}$Estas características se considerarían binarias , pero de manera más general, para cualquier${\displaystyle m}$, las características son simplemente m-arias . Para los fines de esta demostración, sin pérdida de generalidad , el conjunto de características${\displaystyle F}$puede ser reemplazado por una única variable agregada${\displaystyle F_{a}}$que tiene cardinalidad${\displaystyle m^{n}}$y adopta un valor único${\displaystyle v_{i},\ i=1\ldots m^{n}}$correspondiente a cada combinación de características en el producto cartesiano${\displaystyle \otimes F}$. (La ordinalidad no importa, porque la información mutua no es sensible a la ordinalidad). En lo que sigue, un término como${\displaystyle p(F_{a}=v_{i})}$o simplemente${\displaystyle p(v_{i})}$se refiere a la probabilidad con la que${\displaystyle F_{a}}$adopta el valor particular${\displaystyle v_{i}}$. (Utilizando la variable de característica agregada)${\displaystyle F_{a}}$(Reemplaza múltiples sumas y simplifica la presentación posterior).

Para esta demostración, supongamos también una variable de una sola categoría.${\displaystyle C}$, que tiene cardinalidad${\displaystyle p}$. Esto es equivalente a un sistema de clasificación en el que hay${\displaystyle p}$categorías que no se intersecan. En el caso especial de${\displaystyle p=2}$Existen dos casos de categorías discutidos anteriormente. A partir de la definición de información mutua para variables discretas, la información mutua${\displaystyle I(F_{a};C)}$entre la variable de característica agregada${\displaystyle F_{a}}$y la variable de categoría${\displaystyle C}$está dado por:

${\displaystyle I(F_{a};C)=\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i},c_{j})\log {\frac {p(v_{i},c_{j})}{p(v_{i})\,p(c_{j})}}}$

dónde${\displaystyle p(v_{i})}$es la probabilidad previa de la variable de característica${\displaystyle F_{a}}$adoptar valor${\displaystyle v_{i}}$,${\displaystyle p(c_{j})}$es la probabilidad marginal de la variable de categoría${\displaystyle C}$adoptar valor${\displaystyle c_{j}}$, y${\displaystyle p(v_{i},c_{j})}$es la probabilidad conjunta de variables${\displaystyle F_{a}}$y${\displaystyle C}$adoptando simultáneamente esos valores respectivos. En términos de las probabilidades condicionales, esto puede reescribirse (o definirse) como

${\displaystyle {\begin{aligned}I(F_{a};C)&=\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i},c_{j})\log {\frac {p(v_{i}|c_{j})}{p(v_{i})}}\\&=\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i}|c_{j})p(c_{j})\left[\log p(v_{i}|c_{j})-\log p(v_{i})\right]\\&=\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i}|c_{j})p(c_{j})\log p(v_{i}|c_{j})-\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i}|c_{j})p(c_{j})\log p(v_{i})\\&=\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i}|c_{j})p(c_{j})\log p(v_{i}|c_{j})-\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i},c_{j})\log p(v_{i})\\&=\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i}|c_{j})p(c_{j})\log p(v_{i}|c_{j})-\sum _{v_{i}\in F_{a}}\log p(v_{i})\sum _{c_{j}\in C}p(v_{i},c_{j})\\&=\sum _{v_{i}\in F_{a}}\sum _{c_{j}\in C}p(v_{i}|c_{j})p(c_{j})\log p(v_{i}|c_{j})-\sum _{v_{i}\in F_{a}}p(v_{i})\log p(v_{i})\\\end{aligned}}}$

Si la definición original de la utilidad de categoría de arriba se reescribe con${\displaystyle C=\{c,{\bar {c}}\}}$,

${\displaystyle CU(C,F)=\sum _{f_{i}\in F}\sum _{c_{j}\in C}p(f_{i}|c_{j})p(c_{j})\log p(f_{i}|c_{j})-\sum _{f_{i}\in F}p(f_{i})\log p(f_{i})}$

Esta ecuación tiene claramente la misma forma que la ecuación ( azul ) que expresa la información mutua entre el conjunto de características y la variable de categoría; la diferencia es que la suma${\displaystyle \textstyle \sum _{f_{i}\in F}}$En la categoría, la ecuación de utilidad se ejecuta sobre variables binarias independientes.${\displaystyle F=\{f_{i}\},\ i=1\ldots n}$, mientras que la suma${\displaystyle \textstyle \sum _{v_{i}\in F_{a}}}$en la información mutua corre sobre los valores del único${\displaystyle m^{n}}$variable -aria${\displaystyle F_{a}}$Las dos medidas son realmente equivalentes solo cuando las características${\displaystyle \{f_{i}\}}$, son independientes (y suponiendo que los términos en la suma correspondientes a${\displaystyle p({\bar {f_{i}}})}$También se añaden).

Al menos desde la época de Aristóteles, la filosofía ha sentido una enorme fascinación por la naturaleza de los conceptos y los universales . ¿Qué tipo de entidad es un concepto como «caballo»? Tales abstracciones no designan a ningún individuo en particular en el mundo, y sin embargo, difícilmente podemos imaginar comprender el mundo sin su uso. ¿Tiene, por lo tanto, el concepto «caballo» una existencia independiente fuera de la mente? Si la tiene, ¿cuál es el lugar de esta existencia independiente? La cuestión del lugar fue un tema importante sobre el cual las escuelas clásicas de Platón y Aristóteles discreparon notablemente. Sin embargo, coincidieron en que los universales sí tenían una existencia independiente de la mente. Por lo tanto, siempre hubo una verdad innegable sobre qué conceptos y universales existen en el mundo.

A finales de la Edad Media (quizás comenzando con Occam , aunque Porfirio también hace una observación mucho anterior que indica cierta incomodidad con el statu quo), sin embargo, la certeza que existía sobre este tema comenzó a erosionarse, y se volvió aceptable entre los llamados nominalistas y empiristas considerar los conceptos y universales como entidades estrictamente mentales o convenciones del lenguaje. Desde esta perspectiva de los conceptos —que son construcciones puramente representacionales— surge entonces una nueva pregunta: "¿Por qué poseemos un conjunto de conceptos en lugar de otro?". ¿Qué hace que un conjunto de conceptos sea "bueno" y otro "malo"? Esta es una pregunta con la que los filósofos modernos, y posteriormente los teóricos del aprendizaje automático y los científicos cognitivos, han lidiado durante muchas décadas.

Un enfoque para responder a tales preguntas es investigar el "papel" o "propósito" de los conceptos en la cognición. Así, la respuesta a "¿Para qué sirven los conceptos en primer lugar?" de Mill ^{[ 9 ]} y muchos otros es que la clasificación (concepción) es un precursor de la inducción : al imponer una categorización particular al universo, un organismo obtiene la capacidad de lidiar con objetos o situaciones físicamente no idénticos de manera idéntica, obteniendo así una ventaja predictiva sustancial. ^{[ 10 ] [ 11 ]} Como lo expresa JS Mill , ^{[ 12 ]}

El problema general de la clasificación... [es] proveer que las cosas sean pensadas en tales grupos, y esos grupos en tal orden, que mejor conduzca al recuerdo y a la determinación de sus leyes... [y] uno de los usos de tal clasificación es que al llamar la atención sobre las propiedades en las que se basa, y que, si la clasificación es buena, son características de muchas otras, facilita el descubrimiento de esas otras.

Partiendo de esta base, Mill llega a la siguiente conclusión, que anticipa gran parte del pensamiento posterior sobre la bondad de la categoría, incluida la noción de utilidad de la categoría: ^{[ 12 ]}

Los objetivos de la clasificación científica se alcanzan mejor cuando los objetos se agrupan según los cuales se pueden formular un mayor número de proposiciones generales, y estas proposiciones son más importantes que las que se podrían formular respecto de cualquier otro grupo en el que se pudieran distribuir las mismas cosas. Por lo tanto, las propiedades según las cuales se clasifican los objetos deberían, de ser posible, ser aquellas que son causa de muchas otras propiedades; o, al menos, que son indicadores claros de ellas.

Esto puede compararse con la "hipótesis de utilidad de la categoría" propuesta por Corter y Gluck en 1992: "Una categoría es útil en la medida en que se espera que mejore la capacidad de una persona para predecir con precisión las características de las instancias de esa categoría". ^{[ 2 ]} Mill parece sugerir aquí que la mejor estructura de categoría es aquella en la que las características (propiedades) de los objetos son lo más informativas posible sobre la clase del objeto y, simultáneamente, la clase del objeto es lo más informativa posible sobre las características del objeto. En otras palabras, un esquema de clasificación útil es aquel en el que el conocimiento de la categoría puede usarse para inferir con precisión las propiedades de los objetos, y el conocimiento de las propiedades puede usarse para inferir con precisión las clases de los objetos. También se puede comparar esta idea con el criterio de contrapredicación de Aristóteles para los predicados definicionales, así como con la noción de conceptos descrita en el análisis formal de conceptos .

Se han sugerido diversas medidas con el objetivo de capturar formalmente esta noción de "bondad de categoría", la más conocida de las cuales es probablemente la " validez de la señal ". Validez de la señal de una característica${\displaystyle f_{i}\ }$con respecto a la categoría${\displaystyle c_{j}\ }$se define como la probabilidad condicional de la categoría dada la característica, ^{[ 3 ] [ 4 ] [ 13 ]}${\displaystyle p(c_{j}|f_{i})\ }$, o como la desviación de la probabilidad condicional de la tasa base de la categoría, ^{[ 14 ] [ 15 ]}${\displaystyle p(c_{j}|f_{i})-p(c_{j})\ }$Claramente, estas medidas cuantifican solo la inferencia de característica a categoría (es decir, validez de la señal ), pero no de categoría a característica, es decir, validez de la categoría.${\displaystyle p(f_{i}|c_{j})\ }$Además, si bien la validez de la señal se concibió originalmente para explicar la aparición demostrable de categorías básicas en la cognición humana —categorías de un nivel particular de generalidad que son evidentemente preferidas por los aprendices humanos—, rápidamente surgieron varias fallas importantes en la validez de la señal en este sentido. ^{[ 2 ] [ 16 ] [ 5 ]} (y otros)

^{Jones (1983) [ 5 ]} intentó abordar ambos problemas maximizando simultáneamente la validez de las características y la validez de las categorías al definir el "índice de colocación" como el producto${\displaystyle p(c_{j}|f_{i})p(f_{i}|c_{j})\ }$, pero esta construcción fue bastante ad hoc . ^{[ 2 ]} La utilidad de la categoría se introdujo como un refinamiento más sofisticado de la validez de la señal, que intenta cuantificar más rigurosamente el poder inferencial completo de una estructura de clase. Como se muestra arriba, desde cierto punto de vista la utilidad de la categoría es equivalente a la información mutua entre la variable de característica y la variable de categoría. Se ha sugerido que las categorías que tienen la mayor utilidad general de la categoría son aquellas que no solo son las "mejores" en un sentido normativo, sino también las que los aprendices humanos prefieren usar, por ejemplo, las categorías "básicas". ^{[ 2 ]} Otras medidas relacionadas de la bondad de la categoría son la "cohesión" ^{[ 17 ] [ 18 ]} y la "saliencia". ^{[ 19 ]}