Unicode y HTML

Para admitir todos los caracteres Unicode sin recurrir a referencias numéricas, una página web debe tener una codificación que abarque todo Unicode. La más popular es UTF-8 , donde los caracteres ASCII , como las letras inglesas, los dígitos y otros caracteres comunes, se conservan sin cambios con respecto a ASCII. Esto hace que el código HTML (como <br> y </div> ) no se vea afectado en comparación con ASCII. Los caracteres fuera del rango ASCII se almacenan en 2 a 4 bytes. También es posible usar UTF-16, donde la mayoría de los caracteres se almacenan como dos bytes con orden de bytes variable , que es compatible con los navegadores modernos pero menos común.

Para sortear las limitaciones de las codificaciones antiguas, HTML está diseñado para representar caracteres de todo el conjunto Unicode dentro de un documento HTML mediante una referencia numérica de caracteres : una secuencia de caracteres que especifica explícitamente el punto de código Unicode del carácter representado. Una referencia numérica de caracteres tiene la forma N , donde N es un número decimal que representa el punto de código Unicode o un número hexadecimal , en cuyo caso debe ir precedido de . Los caracteres que componen la referencia numérica de caracteres son universalmente representables en cualquier codificación aprobada para su uso en Internet.&#;x

La compatibilidad con el sistema hexadecimal en este contexto es más reciente, por lo que los navegadores antiguos podrían tener problemas para mostrar caracteres referenciados con números hexadecimales ; sin embargo, probablemente también tendrán problemas para mostrar caracteres Unicode por encima del punto de código 255. Para garantizar una mejor compatibilidad con navegadores antiguos, sigue siendo una práctica común convertir el punto de código hexadecimal a un valor decimal (por ejemplo, en lugar de ). 合合

En HTML 4, existe un conjunto estándar de 252 entidades de caracteres con nombre para caracteres —algunos comunes, otros menos conocidos— que no se encuentran en ciertas codificaciones de caracteres o que son sensibles al marcado en algunos contextos (por ejemplo, corchetes angulares y comillas). Si bien cualquier carácter Unicode puede referenciarse mediante su código numérico, algunos autores de documentos HTML prefieren usar estas entidades con nombre, siempre que sea posible, ya que son menos crípticas y contaban con mejor soporte en los primeros navegadores.

Las entidades de caracteres se pueden incluir en un documento HTML mediante el uso de referencias de entidades , que toman la forma NombreEntidad , donde NombreEntidad es el nombre de la entidad. Por ejemplo, , al igual que o , representa U+ 2014 : el carácter de guion largo " — " incluso si la codificación de caracteres utilizada no contiene ese carácter.&;———

Para ver la lista completa, consulte: Lista de referencias de entidades de caracteres XML y HTML .

Cuando un documento se transmite mediante un mensaje MIME o un transporte que utiliza tipos de contenido MIME, como una respuesta HTTPContent-Type: text/html; charset=UTF-8 , el mensaje puede indicar la codificación mediante un encabezado Content-Type, como . Se permiten otros medios externos para declarar la codificación, pero rara vez se utilizan. Si el documento utiliza una codificación Unicode , la información de codificación también puede estar presente en forma de una marca de orden de bytes (BOM). Finalmente, la codificación se puede declarar mediante la sintaxis HTML. Para la text/htmlserialización, siempre que la página esté codificada en una extensión de ASCII (como UTF-8 , y por lo tanto, no si la página utiliza UTF-16 ), se puede utilizar un metaelemento, como o (a partir de HTML5 ) . Para páginas HTML serializadas como XML, las opciones de declaración son confiar en la codificación predeterminada (que para documentos XML es UTF-8) o utilizar una declaración de codificación XML. El atributo meta no tiene ningún papel en HTML servido como XML.<meta http-equiv="content-type" content="text/html; charset=UTF-8"><meta charset="UTF-8">

Se aplica una codificación predeterminada cuando no hay una declaración de codificación externa o interna ni una marca de orden de bytes. Si bien la codificación predeterminada para las páginas HTML servidas como XML debe ser UTF-8, la codificación predeterminada para una página web normal (es decir, para páginas HTML serializadas como text/html) varía según la localización del navegador. Para un sistema configurado principalmente para idiomas de Europa Occidental, generalmente será Windows-1252 . Para las localizaciones del alfabeto cirílico, la predeterminada suele ser Windows-1251 . Para un navegador de una ubicación donde prevalecen las codificaciones de caracteres multibyte heredadas , es probable que se aplique algún tipo de detección automática.

Debido a la herencia de las representaciones de texto de 8 bits en lenguajes de programación y sistemas operativos , y al deseo de evitar sobrecargar a los usuarios con la necesidad de comprender los matices de la codificación, muchos editores de texto utilizados por autores de HTML no pueden o no quieren ofrecer la opción de elegir la codificación al guardar archivos en el disco y, a menudo, ni siquiera permiten la entrada de caracteres fuera de un rango muy limitado. En consecuencia, muchos autores de HTML desconocen los problemas de codificación y pueden no tener idea de qué codificación utilizan realmente sus documentos. Los malentendidos, como la creencia de que la declaración de codificación afecta a un cambio en la codificación real (cuando en realidad es solo una etiqueta que podría ser inexacta), también son una razón para esta actitud de los editores. Otro factor que contribuye en la misma dirección es la llegada de UTF-8 , que disminuye enormemente la necesidad de otras codificaciones, por lo que los editores modernos tienden a usar UTF-8 por defecto, como recomienda la especificación HTML5, ^{[ 1 ]} UTF-8. 

Para ambas serializaciones de HTML (content-type "text/html" y content/type "application/xhtml+xml"), la marca de orden de bytes (BOM) es una forma eficaz de transmitir información de codificación dentro de un documento HTML. Para UTF-8, la BOM es opcional, mientras que es obligatoria para las codificaciones UTF-16 y UTF-32. (Nota: UTF-16 y UTF-32 sin la BOM se conocen formalmente con nombres diferentes, son codificaciones diferentes y, por lo tanto, necesitan algún tipo de declaración de codificación; véase UTF-16BE , UTF-16LE , UTF-32LE y UTF-32BE ). El uso del carácter BOM (U+FEFF) significa que la codificación se declara automáticamente a cualquier aplicación de procesamiento. Las aplicaciones de procesamiento solo necesitan buscar un 0x0000FEFF, 0xFEFF o 0xEFBBBF inicial en el flujo de bytes para identificar el documento como codificado en UTF-32, UTF-16 o UTF-8, respectivamente. No se requieren mecanismos de metadatos adicionales para estas codificaciones, ya que la marca de orden de bytes incluye toda la información necesaria para las aplicaciones de procesamiento. En la mayoría de los casos, el carácter de marca de orden de bytes es manejado por las aplicaciones de edición por separado de los demás caracteres, por lo que hay poco riesgo de que un autor elimine o modifique la marca de orden de bytes para indicar una codificación incorrecta (como puede suceder cuando la codificación se declara en escritura inglesa/latina). Si el documento carece de una marca de orden de bytes, el hecho de que el primer carácter imprimible no en blanco en un documento HTML deba ser "<" (U+003C) puede usarse para determinar una codificación UTF-8/UTF-16/UTF-32.

Muchos documentos HTML se sirven con información de codificación incorrecta o sin información de codificación alguna. Para determinar la codificación en estos casos, muchos navegadores permiten al usuario seleccionar manualmente un nombre de codificación de una lista. También pueden emplear un algoritmo de autodetección de codificación que funciona en conjunto con la selección manual o , en el caso de la marca de orden de bytes (BOM) y en el caso de HTML servido como XML , en contra de ella.  

Para los documentos HTML serializados text/html, la anulación manual puede aplicarse a todos los documentos o solo a aquellos cuya codificación no se puede determinar a partir de las declaraciones o los patrones de bytes. El hecho de que la anulación manual exista y se utilice ampliamente dificulta la adopción de declaraciones de codificación precisas en la web; por lo tanto, es probable que el problema persista. Cabe señalar que Internet Explorer, Chrome y Safari , tanto para XML como para serializaciones , no permiten anular la codificación cuando la página incluye la marca de orden de bytes (BOM). ^{[ 2 ]} text/html 

Para documentos HTML serializados con la etiqueta XML preferida – , no se permite la anulación manual de la codificación. Anular la codificación de un documento XML de este tipo implicaría que el documento dejara de ser XML, ya que es un error fatal para los documentos XML tener una declaración de codificación con errores detectables. Actualmente, los navegadores Gecko, como Firefox, cumplen con esta regla, mientras que la mayoría de los demás navegadores comunes que admiten HTML como XML, como los navegadores Webkit (Chrome/Safari) ^{[ 3 ],} permiten que la codificación de los documentos XHTML se anule manualmente. application/xhtml+xml