1. Il Limite dell'ASCII e la Nasciata di Unicode
Il codice ASCII tradizionale usava 7 o 8 bit, consentendo di rappresentare al massimo 128 o 256 caratteri (sufficienti per l'alfabeto inglese ma inadatti per caratteri accentati complessi, cirillico, cinese, arabo o emoji). Unicode nasce per unire tutti i sistemi di scrittura del mondo in un unico repertorio standardizzato, assegnando a ciascun carattere un codice univoco identificato dalla forma U+XXXX.
2. Il Meccanismo di Codifica UTF-8
UTF-8 (Unicode Transformation Format - 8-bit) è lo schema di codifica a lunghezza variabile più diffuso al mondo sul Web. È retrocompatibile con l'ASCII e utilizza da 1 a 4 byte (da 8 a 32 bit) per rappresentare i caratteri in base al loro intervallo numerico Unicode:
- 1 Byte (7 bit utili): per codici da
U+0000aU+007F(caratteri ASCII standard). Formato binario:0xxxxxxx. - 2 Byte (11 bit utili): per codici da
U+0080aU+07FF. Formato binario:110xxxxx 10xxxxxx. - 3 Byte (16 bit utili): per codici da
U+0800aU+FFFF(inclusi i caratteri multilingua comuni). Formato binario:1110xxxx 10xxxxxx 10xxxxxx. - 4 Byte (21 bit utili): per codici da
U+10000aU+10FFFF(es. emoji e simboli storici). Formato binario:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx.
Proprietà chiave: UTF-8 è autoriconoscibile (è impossibile perdere l'allineamento dei caratteri leggendo un flusso di byte) ed è completamente compatibile all'indietro con i vecchi file ASCII a 7 bit.
3. Calcolatore Interattivo UTF-8
utf8@nexus-ide:~
Unicode Hex & Bytes
> Inserisci una stringa e premi analizza...