The Linux Cyrillic HOWTO (rus): ’еоретическое обоснование

2. ’еоретическое обоснование

2.1 Ќастройка вашего окружениЯ

Џеред тем как мы начнем настраивать различные части системы, нам надо настроить пару простых вещей. Ѓольшинство утилит, описываемых ниже, предполагают, что кириллические шрифты доступны и пользователь может вводить кириллические символы. —тобы это действительно стало правдой, нам следует настроить окружение длЯ того, чтобы обеспечить и шрифты, и возможность ввода кириллицы.

Linux поддерживает два интерфейса длЯ отображениЯ информации - две различные моды. Ћдна из них это текстоваЯ мода, а другаЯ графическаЯ, предоставлЯемаЯ средствами X-Window. Ћбе эти моды требуют различной настройки, которые описываетсЯ ниже.

2.2 ‘имволы и кодировки

—тобы понимать и печатать символы различных Языков, система и программное обеспечение должны уметь отличать их от других символов. ’о есть каждый уникальный символ должен иметь уникальное представление внутри операционной системы или внутри специфического пакета программ. ’акаЯ совокупность всех уникальных символов, которые система способна распознать, называетсЯ кодировкой.

‚о времЯ созданиЯ большинства операционных систем никто не позаботилсЯ предусмотреть возможность представлениЯ информации в программах на других Языках, отличных от английского. Џоэтому наиболее популЯрной кодировкой была (и фактически ей и остаетсЯ) ASCII (Ђмериканский ‘тандартный Љод длЯ €нформационного Ћбмена).

‘тандарт ASCII (или ASCII с 7-ми битами) включает в себЯ 128 уникальных символа. Ћни подразделЯютсЯ на символы, которые ASCII определЯет как, собственно, печатаемые символы, и на, так называемые, символы управлениЯ, которые имели специальные значениЯ в старых протоколах свЯзи. Љаждый элемент набора идентифицирован целочисленным символьным кодом (0-127). Џодмножество печатаемых символов представлЯют те, которые находЯт на клавиатуре пишущей машинки с некоторыми добавлениЯми. Љаждый символ занимал 7 младших значимых битов байта, тогда как старший разрЯд использовалсЯ длЯ целей управлениЯ (то есть длЯ управлениЯ передачи в старых пакетах свЯзи).

ЉонцепциЯ ASCII с 7 битами была расширена до ASCII с 8 битами (или расширенный ASCII). ‚ этой кодировке диапазон символов соответствует кодам от 0 до 255. Њладшие биты (0-127) - чистый ASCII, в то времЯ как старший разрЯд добавлЯет еще 127 символов. ’ак как эта кодировка обратно совместима с ASCII (символ все еще занимает 8 бит и коды полностью соответствуют старому ASCII), эта кодировка стала широко использоватьсЯ.

‘тандарт ASCII с 8 битами не определЯет содержание верхней половины таблицы кодировки. Џоэтом Њ…†„“ЌЂђЋ„ЌЂџ ЋђѓЂЌ€‡Ђ–€џ ЏЋ ‘’ЂЌ„Ђђ’€‡Ђ–€€ (ISO) взЯла ответственность по определению семейства стандартов, известных как ISO 8859-X семейство. ќто семейство есть совокупность 8-ми битных кодировок, где младшаЯ половина каждой кодировки (символы с кодами 0-127) соответствует ASCII, а старшаЯ половина определЯет символы длЯ различных Языков. Ќапример, следующие кодовые страницы определены длЯ:

8859-0 - Ќовый европейский стандарт (так называемый Latin 0)
8859-1 - …вропа, ‹атинскаЯ Ђмерика (также известный как Latin 1)
8859-2 - ‚осточнаЯ …вропа
8859-5 - Љириллица
8859-8 - €диш

‚ Latin 1 старшаЯ половина таблицы определЯет различные символы, которые не ЯвлЯютсЯ частью английского алфавита, но присутствует в различных европейских Языках (немецкие umlauts, французские диакритические знаки и т.д).

„ругаЯ популЯрнаЯ реализациЯ расширенного ASCII - это так называемаЯ кодоваЯ страница IBM (названнаЯ по имени компьютерной компании, котораЯ создала эту кодировку длЯ своих персональных компьютеров). ќта кодировка в старшей половине содержит псевдо-графические символы.

Џрограммное обеспечение, которое не делает никаких предположений о символах, использующих 8-й бит ASCII-данных (то есть не использует их длЯ каких-то своих внутренних нужд, примером ЯвлЯетсЯ использование буквы Ќ в фидо), называетсЯ чисто 8-ми битными. Ќекоторые более старые программы, разработанные длЯ ASCII с 7 битами в памЯти, а не длЯ чистых 8-ми бит, могут работать неправильно с расширенными ASCII данными. Ѓольшинство программ, однако, способны работать с расширенным ASCII по умолчанию или длЯ этого требуетсЯ простаЯ переконфигурациЯ. Џодобные простейшие программы, требующие какой-либо настройки, в этом документе не рассматриваютсЯ. ‚место этого Я сфокусировал свои усилиЯ на более сложных пакетах.

„лЯ информации о том, как создавать свое чисто 8ми битное программное обеспечение, смотрите раздел Locale зависимое программирование.

’ак как в большинстве систем символы описываютсЯ 8-ю битами, то нет никакого способа расширить ASCII еще больше. ‘пособ созданиЯ новых символов в ASCII - это просто создание других расширенных ASCII реализаций. €менно так кириллица и была введена в ASCII.

Њы уже упомЯнули стандарт ISO 8859-5 как тот, в котором определЯютсЯ кодировки длЯ кириллицы. Ќо поскольку (как это часто случаетсЯ со стандартами) он был разработан без принЯтиЯ во внимание реальных процессов, проходЯщих в ‘‘‘ђ (когда это еще было), то единственное, что было действительно достигнуто с введением этого стандарта, так это только увеличение беспорЯдка с кодировками кириллицы. ‚ сообществе Internet очень популЯрна кодировка KOI8-R (см. ниже). Љодировка ISO 8859-5 используетсЯ большими компаниЯми, создающими программное обеспечение с возможностью обработки кириллической информации. Љ подобным программам, как правило, относЯтсЯ большие базы данных, решениЯ, основанные на базе OpenVMS и т.д.

‘казанное выше относитсЯ только к построссийскому пространству - кодировка ISO 8859-5 ЯвлЯетсЯ стандартом кириллицы, по крайней мере, в Њакедонии и ћгославии.

„ругие стандарты длЯ кириллицы включают так называемую, Alt кодировку и кодовую страницу Microsoft CP1251. ‚ышеупомЯнутый Alt стандарт был разработан компанией Microsoft длЯ Њ‘-„Ћ‘ довольно давно. ’огда еще слыхом не слыхивали про сети из IBM PC и поэтому основное усилие состоЯло в том, чтобы сделать этот стандарт максимально совместимым с IBM стандартом. Џоэтому Alt кодировка - это та самаЯ IBM кодоваЯ страница, где все специфические европейские символы в верхней половине были заменены на кириллицу, оставлЯЯ псевдографические символы нетронутыми. ‘ледовательно, это не портило вид программ, использующих длЯ работы текстовые окна, а также обеспечило символы кириллицы в них. Alt стандарт все еще жив и чрезвычайно популЯрен в среде Њ‘-„Ћ‘ (система Њ‘-„Ћ‘ тоже жива).

Microsoft CP1251 кодоваЯ страница - это попытка Microsoft придумать новый стандарт длЯ кодировки кириллицы в Windows. Ќасколько Я знаю, это не совместимо с чем либо еще.

Ћднако, в некоторых странах - например в Ѓолгарии и, вероЯтно, в Ѓеларуссии, cp1251 ЯвлЯетсЯ стандартной кодировкой длЯ Linux и длЯ e-mail.

Ќу и наконец: KOI8 стандарт. ‚ отличие от Alt и CP1251, он был разработан довольно давно длЯ UNIX машин. ’ак как говорЯ о UNIX мы подразумеваем сеть, то основной идей при создании KOI8 стандарта была идеЯ об обеспечении перемещениЯ кириллической информации по сети.

…ще раз вернемсЯ в далекое прошлое. Ћбычно все работали только со стандартным (7-ми битным) ASCII. 8-ой бит каждого символа указывал на то, что он или управлЯющий символ, либо просто мусор. Ћбычно никто не слал данные чисто 8-ми битными (каждый норовил оттЯпать 8-ой бит у символов). ђазработчики KOI8 применили очень продуманный подход. Ћни поместили символы русской кириллицы в верхней части расширенной ASCII таблицы таким образом, что позиции кириллических символов соответствуют их фонетическим аналогам в английском алфавите в нижней части таблицы. ќто означает, что, если в тексте, написанном в KOI8, убирать восьмой бит каждого символа, то мы все еще имеем "читабельный" текст, хотЯ он и написан английскими символами!

‘ледует отметить, что KOI8-R подходит только длЯ русских текстов, и как следствие был создан украинский вариант KOI8: KOI8-U.

Љроме ђусской кириллицы KOI8-R описывает еще и Ѓолгарскую кириллицу. Ќо кодировка KOI8 неизвестна и поэтому ее употребление в Ѓолгарии бессмысленно. „аже самые ранние болгарские кириллизации были только длЯ cp1251, хотЯ и делались на основе русских.

Ќе удивительно, что KOI8-R быстро стал фактически стандартом длЯ русской кириллицы в Internet. Ђндрей Ђ. —ернов проделал огромный объем работы, чтобы создать стандарт. Ћн - автор RFC 1489 ("Registration of a Cyrillic Character Set").

‘уществуют также и другие стандарты, которые отличны от ASCII и гораздо более хорошо адаптируемы. Ќаиболее известный из них это Unicode. ќтот стандарт пока не прижились в Unix вообще и в Linux в частности, но уже сейчас поЯвлЯетсЯ все больше и больше программного обеспечениЯ, которые имеет поддержку Unicode.

UNICODE

UNICODE - частичнаЯ реализациЯ стандарта ISO 10646, совместим снизу вверх, т.е. первые 256 символов UNICODE = Latin-1 (ISO 8859-1). ‚ настоЯщее времЯ распределено около 40.000 позиций из 65.535 (3 байта на букву) возможных, и им соответственно присвоены стандартные имена. Џоследнее значительное изменение - введение символа валюты EURO произошло в сентЯбре 1998 г.. ќти позиции зарезервированы за буквами практически всех известных алфавитов, включаЯ древнеегипетские иероглифы - то еcть, используЯ этот стандарт можно писать одновременно на русском и греческом, делаЯ вставки на Японском - с использованием одного единственного шрифта (Џодробности - `man 7 utf-8').

Џозиции под которые по стандарту надо отводить по 4 байта - то есть 2147418112 символов - пока не занЯты.

Џодробнее про этот формат можно посмотреть по адресу http://www.unicode.org.

Џосмотреть набор символов UNICODE можно здесь : http://charts.unicode.org/ .

Next Previous Contents