Кодировки текстовых файлов и символы конца строки

Наборы символов

Текстовые файлы используют наборы символов. Набор символов содержит знаки препинания, цифры, прописные и строчные буквы и все прочие печатные символы. Каждому символу набора соответствует число.

Большинство используемых наборов символов являются расширениями U.S. ASCII, в котором 95 печатных символов имеют числовые значения от 32 до 126. Основные группы наборов символов:

Набор символов Windows (однобайтовая кодировка): Устаревшие однобайтовые кодовые страницы Windows, часто называемые кодовыми страницами ANSI, используют 8 бит на символ и позволяют задать не более 256 (2^8) значений. Разные кодовые страницы содержат символы для разных языков; одна страница не охватывает все языки. Современная Windows также поддерживает кодировки Unicode.
Многобайтовый набор символов: Многие восточноазиатские письменности требуют больше символов, чем может представить однобайтовая кодировка. Устаревшие двухбайтовые кодовые страницы используют один или два байта на символ. Другие многобайтовые кодировки следуют иным правилам; например, UTF-8 использует от одного до четырёх байтов на скалярное значение Unicode. Для правильного декодирования байтов необходимо знать кодировку.
Набор символов Unicode: Unicode назначает кодовые точки символам различных письменностей, знакам препинания, специальным символам и другим элементам текста. UTF-8, UTF-16 и UTF-32 кодируют текст Unicode с помощью кодовых единиц разного размера. В UTF-16 символ основной многоязычной плоскости занимает одну 16-битную кодовую единицу, а дополнительный символ — пару таких единиц. Unicode не ограничивается 65 536 символами; при чтении или записи текстового файла необходимо правильно выбирать кодировку.
Набор символов OEM: Набор символов OEM обычно используется для вывода на экран в полноэкранных сеансах MS-DOS. Печатные символы со значениями от 32 до 126 обычно совпадают в OEM, U.S. ASCII и наборах символов Windows. Остальные символы OEM (от 0 до 31 и от 128 до 255) соответствуют символам, которые могут отображаться в полноэкранном сеансе MS-DOS. Обычно они отличаются от символов Windows.
Набор символов Symbol: Набор Symbol содержит специальные символы, обычно используемые для записи математических и научных формул.

Символы конца строки

В текстовых файлах используются разные окончания строк. В MS-DOS, Windows и OS/2 традиционно применяется CR/LF; в UNIX и современной macOS — LF. В классической Mac OS использовался CR.

Символ	Значение	Используется	Символ	Шестн.
CR	Возврат каретки	Классическая Mac OS	\r	0x0d
LF	Перевод строки	UNIX, современная macOS	\n	0x0a
CR/LF	Возврат каретки/перевод строки	MS-DOS, Windows, OS/2	\r\n	0x0d, 0x0a
NULL	Нулевой символ		\0	0x00

См. также

Преобразование содержимого файлов