Unificación Han

Un grafema es la unidad abstracta de significado más pequeña en un sistema de escritura. Cualquier grafema tiene muchas expresiones de glifos posibles, pero todas son reconocidas como el mismo grafema por quienes tienen conocimientos de lectura y escritura de un sistema de escritura en particular. Si bien Unicode generalmente asigna caracteres a puntos de código para expresar los grafemas dentro de un sistema de escritura, el Estándar Unicode ( sección 3.4 D7 ) advierte:

Un carácter abstracto no necesariamente se corresponde con lo que un usuario considera un "carácter" y no debe confundirse con un grafema .

Sin embargo, esta cita se refiere al hecho de que algunos grafemas están compuestos de varios elementos gráficos o "caracteres". Así, por ejemplo, el carácter U+0061 una LETRA MINÚSCULA LATINA A combinada con U+030A ◌ ̊ ANILLO DE COMBINACIÓN SUPERIOR (generando la combinación "å") podría ser entendido por un usuario como un solo grafema, aunque esté compuesto de múltiples caracteres abstractos Unicode. Además, Unicode también asigna algunos puntos de código a un pequeño número (aparte de por razones de compatibilidad) de caracteres de formato, caracteres de espacio en blanco y otros caracteres abstractos que no son grafemas, sino que se utilizan para controlar los saltos entre líneas, palabras, grafemas y grupos de grafemas. Con los ideogramas Han unificados, el estándar Unicode se aparta de las prácticas anteriores al asignar caracteres abstractos no como grafemas, sino según el significado subyacente del grafema: lo que los lingüistas a veces llaman sememas . Esta diferencia, por lo tanto, no se explica simplemente por la distinción, a menudo citada, entre un carácter abstracto y un glifo, sino que radica más bien en la diferencia entre un carácter abstracto asignado como grafema y un carácter abstracto asignado como semema. En contraste, considérese la unificación de la puntuación y los diacríticos en ASCII , donde grafemas con significados muy diferentes (por ejemplo, un apóstrofo y una comilla simple) se unifican porque los glifos son los mismos. Para Unihan, los caracteres no se unifican por su apariencia, sino por su definición o significado.

Que un grafema esté representado por varios glifos significa que tiene variaciones de glifos que generalmente se determinan seleccionando una fuente u otra o utilizando funciones de sustitución de glifos cuando se incluyen varios glifos en una sola fuente. Unicode considera estas variaciones de glifos una característica de los protocolos de texto enriquecido y no las maneja adecuadamente según los objetivos de texto plano de Unicode. Sin embargo, cuando el cambio de un glifo a otro constituye un cambio de un grafema a otro —donde un glifo ya no puede significar, por ejemplo, el mismo grafema entendido como la letra minúscula "a"— Unicode los separa en puntos de código distintos. Para Unihan, se hace lo mismo cuando cambia el significado abstracto; sin embargo, en lugar de hablar del significado abstracto de un grafema (la letra "a"), la unificación de los ideogramas Han asigna un nuevo punto de código para cada significado diferente, incluso si ese significado se expresa mediante grafemas distintos en diferentes idiomas. Aunque un grafema como "ö" pueda significar algo diferente en inglés (como se usa en la palabra "coördinated") que en alemán (como se usa en la palabra "schön"), sigue siendo el mismo grafema y puede unificarse fácilmente para que el inglés y el alemán puedan compartir un sistema de escritura latino abstracto común (junto con el latín mismo). Este ejemplo también señala otra razón por la que "carácter abstracto" y grafema como unidad abstracta en un lenguaje escrito no necesariamente se corresponden uno a uno. En inglés, la diéresis combinatoria , ⟨ ◌̈ ⟩ , y la "o" que modifica pueden verse como dos grafemas separados, mientras que en lenguas como el sueco, la letra "ö" puede verse como un solo grafema. De manera similar, en inglés el punto sobre una "i" se entiende como parte del grafema "i", mientras que en otras lenguas, como el turco, el punto puede verse como un grafema separado añadido a la "ı" sin punto .

Para abordar el uso de diferentes grafemas para el mismo semema Unihan, Unicode ha recurrido a varios mecanismos, especialmente en lo que respecta a la representación de texto. Uno de ellos ha sido tratarlo simplemente como un problema de fuentes, de modo que se pueden usar diferentes fuentes para representar chino, japonés o coreano. Además, formatos de fuente como OpenType permiten la asignación de glifos alternativos según el idioma, de manera que un sistema de representación de texto puede consultar la configuración del entorno del usuario para determinar qué glifo usar. El problema con estos enfoques es que no cumplen con los objetivos de Unicode de definir una forma coherente de codificar texto multilingüe. ^{[ 8 ]}

En lugar de tratar el problema como un problema de texto enriquecido de alternativas de glifos, Unicode añadió el concepto de selectores de variación , introducido por primera vez en la versión 3.2 y complementado en la versión 4.0. ^{[ 9 ]} Si bien los selectores de variación se tratan como caracteres combinables, no tienen diacríticos ni marcas asociadas. En cambio, al combinarse con un carácter base, indican que la secuencia de dos caracteres selecciona una variación (típicamente en términos de grafema, pero también en términos de significado subyacente, como en el caso de un nombre de lugar u otro nombre propio) del carácter base. Esto no es una selección de un glifo alternativo, sino la selección de una variación de grafema o una variación del carácter abstracto base. Sin embargo, dicha secuencia de dos caracteres se puede asignar fácilmente a un solo glifo separado en las fuentes modernas. Dado que Unicode ha asignado 256 selectores de variación separados, es capaz de asignar 256 variaciones para cualquier ideograma Han. Dichas variaciones pueden ser específicas de un idioma u otro y permiten la codificación de texto plano que incluye dichas variaciones de grafema.

Dado que el estándar Unihan codifica "caracteres abstractos", no "glifos", los artefactos gráficos producidos por Unicode se han considerado obstáculos técnicos temporales y, como mucho, meramente estéticos. Sin embargo, sobre todo en Japón, debido en parte a la forma en que los caracteres chinos se incorporaron históricamente a los sistemas de escritura japoneses, la imposibilidad de especificar una variante concreta se consideró un obstáculo importante para el uso de Unicode en trabajos académicos. Por ejemplo, la unificación de "hierba" (explicada anteriormente) implica que un texto histórico no puede codificarse de manera que conserve su ortografía particular. En su lugar, por ejemplo, el investigador tendría que localizar el glifo deseado en una tipografía específica para transmitir el texto tal como está escrito, lo que anula el propósito de un conjunto de caracteres unificado. Unicode ha respondido a estas necesidades asignando selectores de variación para que los autores puedan seleccionar variaciones grafema-ideograma de caracteres específicos (o incluso de otros caracteres). ^{[ 9 ]}

Las pequeñas diferencias en la representación gráfica también resultan problemáticas cuando afectan la legibilidad o pertenecen a una tradición cultural errónea. Además de hacer que algunas fuentes Unicode sean inutilizables para textos que involucran múltiples "idiomas Unihan", los nombres u otra terminología sensible a la ortografía podrían mostrarse incorrectamente. (Los nombres propios tienden a ser especialmente conservadores ortográficamente; compárese esto con cambiar la ortografía del nombre propio para adaptarlo a una reforma lingüística en EE. UU. o el Reino Unido). Si bien esto puede considerarse principalmente un problema de representación gráfica o renderizado que se puede solucionar con fuentes más artísticas, el uso generalizado de Unicode dificultaría la preservación de tales distinciones. El problema de que un mismo carácter represente conceptos semánticamente diferentes también está presente en la parte latina de Unicode. El carácter Unicode para el apóstrofo curvo es el mismo que el de la comilla simple derecha ('). Por otro lado, la letra mayúscula latina A no está unificada con la letra griega Α ni con la letra cirílica ΐ . Esto es, por supuesto, deseable por razones de compatibilidad y se maneja con un conjunto de caracteres alfabéticos mucho más pequeño.

Si bien el aspecto de unificación de Unicode es controvertido en algunos sectores por las razones expuestas anteriormente, Unicode codifica actualmente una gran cantidad de caracteres poco utilizados y de carácter más o menos antiguo.

Parte de la controversia se debe a que la decisión de unificar los caracteres chinos fue tomada por el Consorcio Unicode original, que en aquel entonces era un consorcio de empresas y organizaciones norteamericanas (la mayoría en California) ^{[ 10 ]} , pero no incluía representantes de gobiernos de Asia Oriental. El objetivo inicial del diseño era crear un estándar de 16 bits ^{[ 11 ]} , por lo que la unificación de los caracteres chinos era un paso fundamental para evitar decenas de miles de caracteres duplicados. Este requisito de 16 bits se abandonó posteriormente, lo que hace que el tamaño del conjunto de caracteres sea un problema menor en la actualidad.

La controversia se extendió posteriormente a la ISO, organismo internacionalmente representativo: el Grupo Conjunto de Investigación CJK (CJK-JRG) inicial favoreció una propuesta (DIS 10646) para un conjunto de caracteres no unificado, "que fue rechazada en favor de la unificación con el conjunto de caracteres unificado del Consorcio Unicode por los votos de los miembros estadounidenses y europeos de la ISO" (aunque la posición japonesa no estaba clara). ^{[ 12 ]} Respaldar la unificación de Unicode Han fue un paso necesario para la acalorada fusión ISO 10646/Unicode.

Gran parte de la controversia en torno a la unificación del Han se basa en la distinción entre glifos , tal como se definen en Unicode, y el concepto relacionado pero distinto de grafemas. Unicode asigna caracteres abstractos (grafemas), a diferencia de los glifos, que son representaciones visuales particulares de un carácter en una tipografía específica . Un mismo carácter puede estar representado por muchos glifos distintos; por ejemplo, una "g" o una "a", ambas con un bucle ( ɑ , ɡ ) o dos ( a , g ). Sin embargo, para un lector de lenguas basadas en el alfabeto latino, las dos variantes del carácter "a" se reconocen como el mismo grafema. Los grafemas presentes en los códigos de caracteres nacionales se han incorporado a Unicode, según lo exige la regla de separación de fuentes de Unicode, incluso cuando pueden estar compuestos por caracteres ya disponibles. Los códigos de caracteres nacionales existentes en las lenguas CJK son considerablemente más complejos, dadas las limitaciones tecnológicas bajo las cuales evolucionaron, por lo que los participantes oficiales de CJK en la unificación del Han bien podrían haber estado dispuestos a la reforma.

A diferencia de las versiones europeas, las fuentes Unicode CJK, debido a la unificación Han, presentan patrones de superposición amplios pero irregulares, lo que requiere fuentes específicas para cada idioma. Desafortunadamente, estas fuentes también dificultan el acceso a una variante que, como en el ejemplo de "hierba", aparece con mayor frecuencia en otro estilo de escritura. (Es decir, sería difícil acceder a "hierba" con el radical de cuatro trazos, más típico del chino tradicional, en un entorno japonés, donde las fuentes suelen representar el radical de tres trazos). Los defensores de Unihan tienden a favorecer los lenguajes de marcado para definir cadenas de caracteres, pero esto no garantiza el uso de una variante específica en el caso dado, sino solo la fuente específica del idioma que tenga más probabilidades de representar un carácter con esa variante. (En este punto, entran en juego las meras diferencias estilísticas, ya que es poco probable que una selección de fuentes japonesas y chinas sea visualmente compatible).

Los usuarios chinos parecen tener menos objeciones a la unificación Han, principalmente porque Unicode no intentó unificar los caracteres chinos simplificados con los caracteres chinos tradicionales . (Los caracteres chinos simplificados se utilizan entre los hablantes de chino en la República Popular China , Singapur y Malasia . Los caracteres chinos tradicionales se utilizan en Hong Kong y Taiwán ( Big5 ) y, con algunas diferencias, son más familiares para los usuarios coreanos y japoneses). Unicode se considera neutral con respecto a este tema políticamente sensible y ha codificado los glifos chinos simplificados y tradicionales por separado (por ejemplo, el ideograma para "descartar" es丟U+4E1F para el chino tradicional Big5 #A5E1 y丢U+4E22 para el chino simplificado GB #2210). También se señala que los caracteres tradicionales y simplificados deberían codificarse por separado según las reglas de unificación Han de Unicode, porque se distinguen en los conjuntos de caracteres preexistentes de la República Popular China. Además, al igual que con otras variantes, la relación entre caracteres tradicionales y simplificados no es uno a uno.

Existen varios conjuntos de caracteres alternativos que no se codifican según el principio de la Unificación Han y, por lo tanto, están libres de sus restricciones:

• Conjunto de caracteres CNS
• Conjunto de caracteres CCCII
• TRON
• Mojikyō

Estos conjuntos de caracteres dependientes de la región también se consideran no afectados por la Unificación Han debido a su naturaleza específica de la región:

• ISO/IEC 2022 (basado en códigos de secuencia para alternar entre conjuntos de caracteres chinos, japoneses y coreanos; por lo tanto, sin unificación).
• Extensiones de Big5
• GCCS y su sucesor HKSCS

Sin embargo, ninguno de estos estándares alternativos ha sido tan ampliamente adoptado como Unicode , que ahora es el conjunto de caracteres base para muchos estándares y protocolos nuevos, adoptado internacionalmente y está integrado en la arquitectura de sistemas operativos ( Microsoft Windows , Apple macOS y muchos sistemas tipo Unix ), lenguajes de programación ( Perl , Python , C# , Java , Common Lisp , APL , C , C++ ) y bibliotecas (IBM International Components for Unicode (ICU) junto con los motores de renderizado Pango , Graphite , Scribe , Uniscribe y ATSUI ), formatos de fuente ( TrueType y OpenType ), etc.

En marzo de 1989, el Centro de Computación Educativa, una organización gubernamental japonesa, adoptó un sistema basado en (B)TRON como sistema preferido para la educación escolar, incluida la educación obligatoria . ^{[ 13 ]} Sin embargo, en abril, un informe titulado "Informe Nacional de Estimación Comercial de 1989 sobre Barreras al Comercio Exterior" de la Oficina del Representante Comercial de los Estados Unidos ( USTR) incluyó específicamente el sistema como una barrera comercial en Japón. El informe afirmaba que la adopción del sistema basado en TRON por parte del gobierno japonés era ventajosa para los fabricantes japoneses, excluyendo así a los sistemas operativos estadounidenses del enorme mercado nuevo; específicamente, el informe menciona MS-DOS, OS/2 y UNIX como ejemplos. Supuestamente, la Oficina del USTR estaba bajo la influencia de Microsoft, ya que su exfuncionario Tom Robertson recibió entonces una lucrativa oferta de trabajo por parte de Microsoft. ^{[ 14 ]} Si bien el sistema TRON fue posteriormente retirado de la lista de sanciones por la Sección 301 de la Ley de Comercio de 1974 después de las protestas de la organización en mayo de 1989, la disputa comercial provocó que el Ministerio de Comercio Internacional e Industria aceptara una solicitud de Masayoshi Son para cancelar la selección del sistema basado en TRON por parte del Centro de Computación Educativa para el uso de computadoras educativas. ^{[ 15 ]} El incidente se considera un evento simbólico de la pérdida de impulso y la eventual desaparición del sistema BTRON, lo que llevó a la adopción generalizada de MS-DOS en Japón y la eventual adopción de Unicode con su sucesor Windows.

No se ha impulsado la unificación semántica completa de todos los caracteres semánticamente vinculados, aunque la idea trataría por igual a los usuarios de lenguas de Asia Oriental, independientemente de si escriben en coreano, chino simplificado, chino tradicional, japonés Kyūjitai , japonés Shinjitai o vietnamita. En lugar de que algunas variantes tengan puntos de código distintos, mientras que otros grupos de variantes compartan puntos de código únicos, todas las variantes podrían expresarse de forma fiable solo con etiquetas de metadatos (por ejemplo, formato CSS en páginas web). La responsabilidad recaería sobre todos aquellos que utilicen versiones diferentes de直,別,兩,兔, ya sea que esa diferencia se deba a la simplificación, a la variación internacional o a la variación intranacional. Sin embargo, en algunas plataformas (por ejemplo, teléfonos inteligentes), un dispositivo puede venir con una sola fuente preinstalada. La fuente del sistema debe decidir el glifo predeterminado para cada punto de código, y estos glifos pueden diferir enormemente, lo que indica diferentes grafemas subyacentes.

Por consiguiente, basarse en el marcado de lenguaje de forma generalizada presenta dos problemas principales. En primer lugar, existen contextos donde el marcado de lenguaje no está disponible (confirmaciones de código, texto plano). En segundo lugar, cualquier solución requeriría que cada sistema operativo viniera preinstalado con numerosos glifos para caracteres semánticamente idénticos que poseen múltiples variantes. Además de los conjuntos de caracteres estándar del chino simplificado, el chino tradicional, el coreano, el vietnamita, el japonés Kyūjitai y el japonés Shinjitai, también existen formas «antiguas» de caracteres que resultan de interés para historiadores, lingüistas y filólogos.

La base de datos Unihan de Unicode ya ha establecido conexiones entre muchos caracteres. La base de datos Unicode cataloga las conexiones entre caracteres variantes con puntos de código distintos. Sin embargo, para caracteres con un punto de código compartido, la imagen del glifo de referencia suele estar sesgada hacia la versión del chino tradicional. Además, la decisión de clasificar pares como variantes semánticas o variantes z no siempre es coherente ni clara, a pesar de las justificaciones del manual. ^{[ 16 ]}

Las llamadas variantes semánticas de丟(U+4E1F) y丢(U+4E22) son ejemplos que Unicode da como diferentes de manera significativa en sus formas abstractas, mientras que Unicode enumera佛y仏como variantes z, que difieren solo en el estilo de fuente. Paradójicamente, Unicode considera que兩y両son variantes z casi idénticas, mientras que al mismo tiempo las clasifica como variantes semánticas significativamente diferentes. También hay casos de algunos pares de caracteres que son simultáneamente variantes semánticas y variantes semánticas especializadas y variantes simplificadas:個(U+500B) y个(U+4E2A). Hay casos de no equivalencia mutua. Por ejemplo, la entrada de la base de datos Unihan para亀(U+4E80) considera a 龜(U+9F9C) como su variante z, pero la entrada para龜no enumera a 亀como una variante z, aunque龜obviamente ya estaba en la base de datos en el momento en que se escribió la entrada para亀.

Algunos errores administrativos provocaron la duplicación de caracteres completamente idénticos, como﨣(U+FA23) y 𧺯 (U+27EAF). Si una fuente tiene glifos codificados para ambos puntos, de modo que se utiliza una sola fuente para ambos, deberían aparecer idénticos. Estos casos se clasifican como variantes z, a pesar de no presentar ninguna variación. Se añadieron caracteres duplicados intencionadamente para facilitar la conversión bit a bit de ida y vuelta . Dado que la conversión de ida y vuelta fue una de las principales ventajas de Unicode en sus inicios, esto significaba que si un estándar nacional en uso duplicaba innecesariamente un carácter, Unicode debía hacer lo mismo. Unicode denomina a estas duplicaciones intencionadas " variantes de compatibilidad ", como 漢 (U+FA9A), que denomina a漢(U+6F22) su variante de compatibilidad. Siempre que una aplicación utilice la misma fuente para ambos, deberían aparecer idénticos. A veces, como en el caso de車with U+8ECA y U+F902, el carácter de compatibilidad añadido enumera la versión ya presente de車como su variante de compatibilidad y su variante z. El campo de variante de compatibilidad anula el campo de variante z, forzando la normalización en todas las formas, incluida la equivalencia canónica. A pesar del nombre, las variantes de compatibilidad son en realidad canónicamente equivalentes y están unificadas en cualquier esquema de normalización Unicode y no solo bajo la normalización de compatibilidad. Esto es similar a cómo U+212B Å ANGSTROM SIGN es canónicamente equivalente a una U+00C5 Å LATIN CAPITAL LETTER A WITH RING ABOVE precompuesta . Muchos programas (como el software MediaWiki que aloja Wikipedia) reemplazarán todos los caracteres canónicamente equivalentes que se desaconsejan (por ejemplo, el símbolo de angstrom) con el equivalente recomendado. A pesar del nombre, las "variantes de compatibilidad" CJK son caracteres canónicamente equivalentes y no caracteres de compatibilidad.

El carácter 漢 (U+FA9A) se añadió a la base de datos posteriormente que漢(U+6F22), y su entrada informa al usuario sobre la compatibilidad. Por otro lado,漢(U+6F22) no incluye esta equivalencia en su entrada. Unicode exige que, una vez admitidas, todas las entradas no puedan modificar su compatibilidad o equivalencia para que las reglas de normalización de los caracteres ya existentes no se vean afectadas.

Algunos pares de caracteres tradicionales y simplificados también se consideran variantes semánticas. Según las definiciones de Unicode, es lógico que todas las simplificaciones (que no resulten en la fusión de caracteres totalmente diferentes por su homofonía) sean una forma de variante semántica. Unicode clasifica丟y丢como sus respectivas variantes tradicionales y simplificadas, y también como variantes semánticas. Sin embargo, si bien Unicode clasifica億(U+5104) y亿(U+4EBF) como sus respectivas variantes tradicionales y simplificadas, no considera que億y亿sean variantes semánticas entre sí.

Unicode afirma que «idealmente, no debería haber pares de variantes z en el estándar Unicode». ^{[ 16 ]} Esto daría a entender que el objetivo es, al menos, unificar todas las variantes menores, las redundancias de compatibilidad y las redundancias accidentales, dejando la diferenciación a las fuentes y a las etiquetas de idioma. Esto entra en conflicto con el objetivo declarado de Unicode de eliminar esa sobrecarga y permitir que cualquier número de escrituras del mundo aparezca en el mismo documento con un único sistema de codificación. El capítulo uno del manual afirma que «Con Unicode, la industria de la tecnología de la información ha sustituido la proliferación de conjuntos de caracteres por estabilidad de datos, interoperabilidad global e intercambio de datos, software simplificado y costes de desarrollo reducidos. Si bien toma como punto de partida el conjunto de caracteres ASCII, el estándar Unicode va mucho más allá de la capacidad limitada de ASCII para codificar únicamente las letras mayúsculas y minúsculas de la A a la Z. Proporciona la capacidad de codificar todos los caracteres utilizados en los idiomas escritos del mundo: se pueden codificar más de un millón de caracteres. No se requiere ninguna secuencia de escape ni código de control para especificar ningún carácter en ningún idioma. La codificación de caracteres Unicode trata los caracteres alfabéticos, ideográficos y los símbolos de forma equivalente, lo que significa que pueden utilizarse en cualquier combinación y con la misma facilidad». ^{[ 8 ]}

Esto deja abierta la opción de adoptar un grafema de referencia unificado para todas las variantes con z, lo cual es controvertido, ya que pocos fuera de Japón reconocerían佛y仏como equivalentes. Incluso dentro de Japón, las variantes se encuentran en lados opuestos de una importante simplificación llamada Shinjitai. Unicode haría que la simplificación de侣(U+4FA3) y侶(U+4FB6) de la República Popular China representara una diferencia monumental en comparación. Dicho plan también eliminaría las variaciones visualmente muy distintas de caracteres como直(U+76F4) y雇(U+96C7).

Cabría esperar que todos los caracteres simplificados fueran simultáneamente variantes z o variantes semánticas con sus contrapartes tradicionales, pero muchos no son ninguna de las dos. Es más fácil explicar el extraño caso de que las variantes semánticas puedan ser simultáneamente variantes semánticas y variantes especializadas cuando la definición de Unicode establece que las variantes semánticas especializadas tienen el mismo significado solo en ciertos contextos. Los idiomas las utilizan de manera diferente. Un par de caracteres que son reemplazos directos al 100% entre sí en japonés puede no ser tan flexible en chino. Por lo tanto, cualquier fusión integral de puntos de código recomendados tendría que mantener algunas variantes que difieren solo ligeramente en apariencia, incluso si el significado es 100% el mismo para todos los contextos en un idioma, porque en otro idioma los dos caracteres pueden no ser reemplazos directos al 100%.

El Núcleo Internacional de Ideogramas (IICore) es un subconjunto de 9810 ideogramas derivados de las tablas de Ideogramas Unificados CJK, diseñado para implementarse en dispositivos con memoria limitada, capacidad de entrada/salida y/o aplicaciones donde no es factible el uso del repertorio completo de ideogramas ISO 10646. El estándar actual contiene 9810 caracteres. ^{[ 20 ]}