Tekencodering-converter voor tekstbestanden

Waar coderingsconflicten vandaan komen

De klassieke symptomen

• café verschijnt als café wanneer UTF-8-bytes als Latin-1 worden gelezen. Zet «Van» op UTF-8 om de bytes weer juist te interpreteren.
• ñ wordt ñ om dezelfde reden.
• Dubbele mojibake zoals café betekent dat de tekst opnieuw is opgeslagen na de eerste verkeerde lezing, waardoor de foute interpretatie een tweede keer werd gecodeerd.
• Een  vooraan is een UTF-8-bytevolgordemarkering die als drie Latin-1-tekens is gelezen.

Zodra je het symptoom herkent, is de weg meestal duidelijk: lees de tekst als wat hij werkelijk is (Latin-1, Windows-1252 of wat van toepassing is) en schrijf hem terug als UTF-8.

Bytevolgordemarkeringen (BOM)

Deze converter voegt niet bewust een bytevolgordemarkering toe en verwijdert die evenmin: het gedrag volgt de doelcodering. UTF-8-uitvoer heeft geen BOM. Gewone UTF-16-uitvoer begint met een BOM en is big-endian, terwijl UTF-16BE en UTF-16LE de bytes zonder BOM schrijven. Kies UTF-8 tenzij een specifiek programma om UTF-16 vraagt.

Wanneer een teken geen equivalent heeft

Sommige bytes hebben geen betekenis in de gekozen broncodering, en sommige tekens kunnen niet in de doelcodering worden weergegeven. Dan vervangt de conversie ze door een markering in plaats van te stoppen. Het belangrijkste is de juiste broncodering: een tekenreeks met alleen ASCII is geldig in elke codering, dus een conflict komt meestal pas naar voren bij tekens met accenten of niet-Latijnse tekens.