Tekstcodering en regeleindetekens

Tekensets

Tekstbestanden gebruiken tekensets. Een tekenset bevat leestekens, cijfers, hoofdletters, kleine letters en alle andere afdrukbare tekens. Elk teken heeft een eigen nummer.

De meeste gebruikte tekensets zijn uitbreidingen van de Amerikaanse ASCII-tekenset, waarvan de 95 afdrukbare tekens de numerieke waarden 32 tot en met 126 hebben. De belangrijkste groepen tekensets zijn:

Windows-tekenset (codering met één byte): Oudere enkelbytecodepagina’s van Windows, vaak ANSI-codepagina’s genoemd, gebruiken 8 bits per teken en kunnen hoogstens 256 (2^8) waarden toekennen. Verschillende codepagina’s bieden verschillende tekens voor bepaalde talen; één codepagina omvat niet alle talen. Moderne versies van Windows ondersteunen ook Unicode-coderingen.
Multibyte-tekenset: Veel Oost-Aziatische schriftsystemen hebben meer tekens nodig dan een enkelbytecodering kan weergeven. Oudere dubbelbytecodepagina’s gebruiken één of twee bytes per teken. Andere multibytecoderingen volgen andere regels; UTF-8 gebruikt bijvoorbeeld één tot vier bytes per scalaire Unicode-waarde. De codering moet bekend zijn om de bytes correct te decoderen.
Unicode-tekenset: Unicode kent codepunten toe aan tekens uit verschillende schriftsystemen, leestekens, symbolen en andere tekstelementen. UTF-8, UTF-16 en UTF-32 coderen Unicode-tekst met code-eenheden van verschillende grootte. UTF-16 gebruikt één 16-bits code-eenheid voor een teken uit het Basic Multilingual Plane of een paar 16-bits code-eenheden voor een aanvullend teken. Unicode is niet beperkt tot 65.536 tekens en bij het lezen of schrijven van een tekstbestand moet de juiste codering worden gekozen.
OEM-tekenset: De OEM-tekenset wordt doorgaans gebruikt voor de schermweergave in MS-DOS-sessies op volledig scherm. De afdrukbare tekens 32 tot en met 126 zijn gewoonlijk gelijk in de OEM-, Amerikaanse ASCII- en Windows-tekensets. De overige OEM-tekens (0 tot en met 31 en 128 tot en met 255) komen overeen met de tekens die in een MS-DOS-sessie op volledig scherm kunnen worden weergegeven. Deze verschillen meestal van de Windows-tekens.
Symbol-tekenset: De Symbol-tekenset bevat speciale tekens voor onder meer wiskundige en wetenschappelijke formules.

Regeleindetekens

Tekstbestanden gebruiken verschillende regeleinden. MS-DOS, Windows en OS/2 gebruiken van oudsher CR/LF; UNIX en modern macOS gebruiken LF. Het klassieke Mac OS gebruikte CR.

Symbool	Betekenis	Gebruikt door	Teken	Hex
CR	Carriage Return	Klassiek Mac OS	\r	0x0d
LF	Line Feed	UNIX, modern macOS	\n	0x0a
CR/LF	Carriage Return/Line Feed	MS-DOS, Windows, OS/2	\r\n	0x0d, 0x0a
NULL	Nulteken		\0	0x00

Zie ook

Bestandsinhoud converteren