The Linux Cyrillic HOWTO: ’еоретическое обоснование

Next Previous Contents

—тобы понимать и печатать символы различных Языков, система и программное обеспечение должна быть способна отличить их от других символов. ’о есть каждый уникальный символ должен иметь уникальное представление внутри операционной системы, или специфического пакета программ. ’акаЯ совокупность всех уникальных символов, которые система способна представить сразу, называетсЯ кодировкой.

‚о времЯ созданиЯ большинства операционных системе, никто не позаботилсЯ предусмотреть возможность представлениЯ информации в программах на других Языках, отличных от английского. Џоэтому, наиболее популЯрной кодировкой была (и фактически ей и остаетсЯ) ASCII (Ђмериканский ‘тандартный Љод длЯ €нформационного Ћбмена).

‘тандарт ASCII (или ASCII с 7ми битами) включает в себЯ 128 уникальных кодов. Ћни подразделЯютсЯ на символы, которые ASCII определЯет как, собственно, печатаемые символы, и на так называемые, символы управлениЯ, которые имели специальные значениЯ в старых протоколах свЯзи. Љаждый элемент набора идентифицирован целочисленным символьным кодом (0-127). Џодмножество печатаемых символов представлЯют те, которые находЯт на клавиатуре пишущей машинки с некоторыми некоторыми добавлениЯми. Љаждый символ занимал 7 младших значимых битов байта, тогда как старший разрЯд использовалсЯ длЯ целей управлениЯ (то есть, длЯ управлениЯ передачи в старых пакетах свЯзи).

ЉонцепциЯ ASCII с 7ми битами была расширена до ASCII с 8 битами (или расширенного ASCII). ‚ этой кодировке, диапазон символов соответствует кодам от 0 до 255. Њладшие биты (0-127) - чистый ASCII, в то времЯ как старший разрЯд добавлЯет еще 127 символов. ’ак как эта кодировка обратно совместима с ASCII (символ все еще занимает 8 бит, и коды полностью соответствуют старому ASCII), эта кодировка стал широко использоватьсЯ.

‘тандарт ASCII с 8 битами не определЯет содержание верхней половины таблицы кодировки. Џоэтом Њ…†„“ЌЂђЋ„ЌЂџ ЋђѓЂЌ€‡Ђ–€џ ЏЋ ‘’ЂЌ„Ђђ’€‡Ђ–€€ (ISO) взЯла ответственность по определению семейства стандартов, известных как ISO 8859-X семейство. ќто семейство есть совокупность 8ми битных кодировок, где младшаЯ половина каждой кодировки (символы с кодами 0-127) соответствует ASCII, а старшаЯ половина определЯет символы длЯ различных Языков. Ќапример, следующие кодовые страницы определены длЯ:

8859-0 - Ќовый европейский стандарт (так называемый Latin 0)
8859-1 - …вропа, ‹атинскаЯ Ђмерика (также известный как Latin 1)
8859-2 - ‚осточнаЯ …вропа
8859-5 - Љириллица
8859-8 - €диш

‚ Latin 1, старшаЯ половина таблицы определЯет различные символы, которые - не ЯвлЯютсЯ частью Ђнглийского алфавита, но присутствует в различных европейских Языках (немецкие umlauts, французские диакритические знаки и т.д).

„ругаЯ популЯрнаЯ реализациЯ расширенного ASCII - это так называемаЯ кодоваЯ страница IBM (названнаЯ по имени компьютерной компании, котораЯ создала эту кодировку длЯ своих персональных компьютеров). ќта кодировка в старшей половине содержит псевдо - графические символы.

Џрограммное обеспечение, которое не делает никаких предположений о символах использующих 8-ой бит ASCII данных, называетсЯ чисто 8ми битными. Ќекоторые более старые программы, разработанные длЯ ASCII с 7 битами в памЯти, а не длЯ чистых 8ми бит могут работать неправильно с вашими расширенными ASCII данными. Ѓольшинство пакетов, однако, способны работать с расширенным ASCII по умолчанию, или длЯ этого требуетсЯ простаЯ переконфигурациЯ. Џодобные, простейшие программы, требующие какой-либо настройки в этом документе не рассматриваютсЯ. ‚место этого Я сфокусировал свои усилиЯ на более сложных пакетах.

„лЯ информации о том как создавать свое чисто 8ми битное программное обеспечение смотрите раздел Locale зависимое программирование.

’ак как в большинстве систем символы описываютсЯ 8ю битами, то нет никакого способа расширить ASCII еще больше. ‘пособ созданиЯ новых символов в ASCII - это просто создание других расширенных ASCII реализаций. ‘ помощью этого способа кириллица и была введена в ASCII.

Њы уже упомЯнули стандарт ISO 8859-5 как тот, в котором определЯетсЯ кодировки длЯ кириллицы. Ќо поскольку (как это часто случаетсЯ со стандартами), он был разработан без принЯтиЯ во внимание реальных процессов проходЯщих в ‘‘‘ђ (когда это еще было), то единственное, что было действительно достигнуто с введением этот стандарт, так это только увеличение беспорЯдка с кодировками кириллицы. ‚ то времЯ как, в сообществе Internet очень популЯрна кодировка KOI8-R (см. ниже), ISO 8859-5 используетсЯ большими компаниЯми, создающими программное обеспечение с возможностью обработки кириллической информации, такое как большие базы данных, решениЯ основанные на базе OpenVMS и т.д.

„ругие стандарты длЯ кириллицы включают, так называемую, Alt кодировку и кодовую страницу Microsoft CP1251. ‚ышеупомЯнутый Alt стандарт был разработан нашей "любимой" компанией длЯ Њ‘-„Ћ‘ довольно давно. ’огда еще слыхом не слыхивали про сети из IBM PC и поэтому основное усилие состоЯло в том, чтобы сделать этот стандарт настолько насколько это возможно совместимым с IBM стандартом. Џоэтому Alt кодировка - это та самаЯ IBM кодоваЯ страница, где все специфические европейские символы в верхней половине были заменены на кириллицу, оставлЯЯ псевдографические символы нетронутыми. ‘ледовательно, это не портило вид программ использующих длЯ работы текстовые окна и также обеспечило символы кириллицы в них. Alt стандарт все еще жив и чрезвычайно популЯрен в среде Њ‘-„Ћ‘.

Microsoft CP1251 кодоваЯ страница - это попытка Microsoft придумать новый стандарт длЯ кодировки кириллицы в Windows. Ќасколько Я знаю, это не совместимо с чем либо еще (и не удивительное, три •а-•а)

Ќу и наконец: KOI-8 стандарт. ‚ отличии от Alt и CP1251 он был разработан довольно давно длЯ UNIX машин. ’ак как UNIX значит сеть, то основной идей при созданиЯ KOI-8 стандарта была идеЯ об обеспечении перемещениЯ кириллической информации по сети.

…ще раз вернемсЯ в далекое прошлое. Ћбычно все работали только со стандартным (7ми битным) ASCII. 8ой бит каждого символа указывал на то, что он или управлЯющий символ, либо просто мусор. Ћбычно никто не слал данные чисто 8ми битными (каждый норовил оттЯпать 8ой бит у символов). ђазработчики KOI8 применили очень продуманный подход. Ћни поместили кириллические символы в верхней части расширенной ASCII таблицы, таким образом, что позиции кириллических символов соответствуют их фонетическим аналогам в английском алфавите в нижней часте таблицы. ќто означает, что, если в тексте, написанном в KOI-8, мы убираем восьмой бит каждого символа, то мы все еще имеем "читабельный" текст, хотЯ он и написан английскими символами!

Ќе удивительно, что KOI8-R быстро стал фактически стандартом длЯ кириллицы в Internet. Ђндрей Ђ. —ернов проделал огромный объем работы, чтобы создать стандарт. Ћн - автор RFC 1489 ("Registration of a Cyrillic Character Set").

‘уществуют также и другие стандарты, которые отличны от ASCII и гораздо более хорошо адаптируемы. Ќаиболее известный из них это Unicode. Ћднако, эти стандарты пока не прижились в Unix вообще и в Linux в частности. џ не описываю их здесь.

Next Previous Contents

2. ’еоретическое обоснование

2.1 ‘имволы и кодировки