- | - P(семафор) | - Значение семафора = -1 | - | (нет) | НЕВЕРНО !! v Время Рисунок 12.10. Неудачное имитация функции wakeup при исполь- зовании операции V Операция повторяется в цикле до тех пор, пока значение семафора не превысит 0; программа обработки прерываний не приостанавливается и цикл завершается только тогда, когда значение семафора станет положительным, после чего это значение будет уменьшено операцией CP. Чтобы предотвратить ситуацию взаимной блокировки, ядру нужно запретить все прерывания, выполняющие "циклическую блокировку". Иначе выполнение про- цесса, захватившего семафор, будет прервано еще до того, как он сможет осво- бодить семафор; если программа обработки прерываний попытается захватить этот семафор, используя "циклическую блокировку", ядро заблокирует само се- бя. В качестве примера обратимся к Рисунку 12.13. В момент возникновения Процесс A/Процессор A Процесс B/Процессор B +----------------------------------------------------------- | P(семафор SA); - | - - | - - | - - | - P(семафор SB); | - - | - - | - - | - P(семафор SA); | - приостанавливается | - | P(семафор SB); | приостанавливается | v Взаимная блокировка !! Время Рисунок 12.11. Возникновение тупиковой ситуации из-за смены очередности блокирования 373 прерывания значение семафора не превышает 0, поэтому результатом выполнения операции CP всегда будет "ложь". Проблема решается путем запрещения всех прерываний на то время, пока семафор захвачен процессом. 12.3.3 Примеры алгоритмов В данном разделе мы рассмотрим четыре алгоритма ядра, реализованных с использованием семафоров. Алгоритм выделения буфера иллюстрирует сложную схему блокирования, на примере алгоритма wait показана синхронизация выпол- нения процессов, схема блокирования драйверов реализует изящный подход к ре- шению данной проблемы, и наконец, метод решения проблемы холостой работы процессора показывает, что нужно сделать, чтобы избежать конкуренции между процессами. 12.3.3.1 Выделение буфера Обратимся еще раз к алгоритму getblk, рассмотренному нами в главе 3. Ал- горитм работает с тремя структурами данных: заголовком буфера, хеш-очередью буферов и списком свободных буферов. Ядро связывает семафор со всеми экземп- лярами каждой структуры. Другими словами, если у ядра имеются в распоряжении 200 буферов, заголовок каждого из них включает в себя семафор, используемый для захвата буфера; когда процесс выполняет над семафором операцию P, другие процессы, тоже пожелавшие захватить буфер, приостанавливаются до тех пор, пока первый процесс не исполнит операцию V. У каждой хеш-очереди буферов также имеется семафор, блокирующий доступ к очереди. В однопроцессорной сис- теме блокировка хеш-оче- Процесс A/Процессор A Процесс B/Процессор B +----------------------------------------------------------- | P(семафор SA); - | - - | - P(семафор SB); | - - | - - | - если (! CP(семафор SA)) | - { | - V(семафор SB); | - перезапустить алго- | - ритм | - } | P(семафор SB); | приостанавливается v Время Рисунок 12.12. Использование операции P условного типа для предотвращения взаимной блокировки реди не нужна, ибо процесс никогда не переходит в состояние приостанова, ос- тавляя очередь в несогласованном (неупорядоченном) виде. В многопроцессорной системе, тем не менее, возможны ситуации, когда с одной и той же хеш-оче- редью работают два процесса; в каждый момент времени семафор открывает дос- 374 туп к очереди только для одного процесса. По тем же причинам и список сво- бодных буферов нуждается в семафоре для защиты содержащейся в нем информации от искажения. На Рисунке 12.14 показана первая часть алгоритма getblk, реализованная в многопроцессорной системе с использованием семафоров. Просматривая буферный кеш в поисках указанного блока, ядро с помощью операции P захватывает сема- фор, принадлежащий хеш-очереди. Если над семафором уже кем-то произведена операция данного типа, текущий процесс приостанавливается до тех пор, пока процесс, захвативший семафор, не освободит его, выполнив операцию V. Когда текущий процесс получает право исключительного контроля над хеш-очередью, он приступает к поиску подходящего буфера. Предположим, что буфер находится в хеш-очереди. Ядро (процесс A) пытается захватить буфер, но если оно исполь- зует операцию P и если буфер уже захвачен, ядру придется приостановить свою работу, оставив хеш-очередь заблокированной и не допуская таким образом об- ращений к ней со стороны других процессов, даже если последние ведут поиск незахваченных буферов. Пусть вместо этого процесс A захватывает буфер, ис- пользуя операцию CP; если операция завершается успешно, буфер становится от- крытым для процесса. Процесс A захватывает семафор, принадлежащий списку свободных буферов, выполняя операцию CP, поскольку семафор захватывается на непродолжительное время и, следовательно, приостанавливать свою работу, вы- полняя операцию P, процесс просто не имеет возможности. Ядро убирает буфер из списка свободных буферов, снимает блокировку со списка и с хеш-очереди и возвращает захваченный буфер. | | P(семафор); | (Значение семафора теперь равно 0) | | Прерывание | | CP(семафор) завершается неудачно --- | семафор захвачен | | Семафор не освобождается до выхода из прерывания. | | Выход из прерывания без его обработки невозможен. | | Тупиковая ситуация (взаимная блокировка) v Время Рисунок 12.13. Взаимная блокировка при выполнении программы обработки прерывания Предположим, что операция CP над буфером завершилась неудачно из-за то- го, что семафор, принадлежащий буферу, оказался захваченным. Процесс A осво- бождает семафор, связанный с хеш-очередью, и приостанавливается, пытаясь вы- полнить операцию P над семафором буфера. Операция P над семафором будет вы- полняться, несмотря на то, что операция CP уже потерпела неудачу. По завер- шении выполнения операции процесс A получает власть над буфером. Так как в оставшейся части алгоритма предполагается, что буфер и хеш-очередь захваче- ны, процесс A теперь пытается захватить хеш-очередь (*). Поскольку очеред- --------------------------------------- (*) Вместо захвата хеш-очереди в этом месте можно было бы установить соот- ветствующий флаг, проверяемый далее перед выполнением операции V, но чтобы проиллюстрировать схему захвата семафоров в обратной последова- тельности, в изложении мы будем придерживаться ранее описанного вариан- та. 375 ность захвата здесь (сначала семафор буфера, потом семафор очереди) обратна вышеуказанной очередности, над семафором выполняется операция CP. Если по- пытка захвата заканчивается неудачей, имеет место обычная обработка, требую- щаяся по ходу задачи. Но если захват удается, ядро не может быть уверено в +------------------------------------------------------------+ | алгоритм getblk /* многопроцессорная версия */ | | входная информация: номер файловой системы | | номер блока | | выходная информация: захваченный буфер, предназначенный для| | обработки содержимого блока | | { | | выполнять (пока буфер не будет обнаружен) | | { | | P(семафор хеш-очереди); | | если (блок находится в хеш-очереди) | | { | | если (операция CP(семафор буфера) завершается не- | | удачно) /* буфер занят */ | | { | | V(семафор хеш-очереди); | | P(семафор буфера); /* приостанов до момен-| | * та освобождения | | */ | | если (операция CP(семафор хеш-очереди) заверша-| | ется неудачно) | | { | | V(семафор буфера); | | продолжить; /* выход в цикл "выполнять" | | */ | | } | | в противном случае если (номер устройства или | | номер блока изменились) | | { | | V(семафор буфера); | | V(семафор хеш-очереди); | | } | | } | | выполнять (пока операция CP(семафор списка свобод-| | ных буферов) не завершится успешно) | | ; /* "кольцевой цикл" */ | | пометить буфер занятым; | | убрать буфер из списка свободных буферов; | | V(семафор списка свободных буферов); | | V(семафор хеш-очереди); | | вернуть буфер; | | } | | в противном случае /* буфер отсутствует в хеш- | | * очереди | | */ | | /* здесь начинается выполнение оставшейся части алго-| | * ритма | | */ | | } | | } | +------------------------------------------------------------+ Рисунок 12.14. Выделение буфера с использованием семафоров 376 том, что захвачен корректный буфер, поскольку содержимое буфера могло быть ранее изменено другим процессом, обнаружившим буфер в списке свободных буфе- ров и захватившим на время его семафор. Процесс A, ожидая освобождения сема- фора, не имеет ни малейшего представления о том, является ли интересующий его буфер тем буфером, который ему нужен, и поэтому прежде всего он должен убедиться в правильности содержимого буфера; если проверка дает отрицатель- ный результат, алгоритм запускается сначала. Если содержимое буфера коррект- но, процесс A завершает выполнение алгоритма. +------------------------------------------------------------+ | многопроцессорная версия алгоритма wait | | { | | для (;;) /* цикл */ | | { | | перебор всех процессов-потомков: | | если (потомок находится в состоянии "прекращения | | существования") | | вернуть управление; | | P(zombie_semaphore); /* начальное значение - 0 */| | } | | } | +------------------------------------------------------------+ Рисунок 12.15. Многопроцессорная версия алгоритма wait Оставшуюся часть алгоритма можно рассмотреть в качестве упражнения. 12.3.3.2 Wait Из главы 7 мы уже знаем о том, что во время выполнения системной функции wait процесс приостанавливает свою работу до момента завершения выполнения своего потомка. В многопроцессорной системе перед процессом встает задача не упустить при выполнении алгоритма wait потомка, прекратившего существование с помощью функции exit; если, например, в то время, пока на одном процессоре процесс-родитель запускает функцию wait, на другом процессоре его потомок завершил свою работу, родителю нет необходимости приостанавливать свое вы- полнение в ожидании завершения второго потомка. В каждой записи таблицы про- цессов имеется семафор, именуемый zombie_semaphore и имеющий в начале нуле- вое значение. Этот семафор используется при организации взаимодействия wait/exit (Рисунок 12.15). Когда потомок завершает работу, он выполняет над семафором своего родителя операцию V, выводя родителя из состояния приоста- нова, если тот перешел в него во время исполнения функции wait. Если потомок завершился раньше, чем родитель запустил функцию wait, этот факт будет обна- ружен родителем, который тут же выйдет из состояния ожидания. Если оба про- цесса исполняют функции exit и wait параллельно, но потомок исполняет функ- цию exit уже после того, как родитель проверил его статус, операция V, вы- полненная потомком, воспрепятствует переходу родителя в состояние приостано- ва. В худшем случае процесс-родитель просто повторяет цикл лишний раз. 12.3.3.3 Драйверы В многопроцессорной реализации вычислительной системы на базе компьюте- ров AT&T 3B20 семафоры в структуру загрузочного кода драйверов не включают- ся, а операции типа P и V выполняются в точках входа в каждый драйвер (см. [Bach 84]). В главе 10 мы говорили о том, что интерфейс, реализуемый драйве- рами устройств, характеризуется очень небольшим числом точек входа (на прак- 377 тике их около 20). Защита драйверов осуществляется на уровне точек входа в них: P(семафор драйвера); открыть (драйвер); V(семафор драйвера); Если для всех точек входа в драйвер использовать один и тот же семафор, но при этом для разных драйверов - разные семафоры, критический участок программы драйвера будет исполняться процессом монопольно. Семафоры могут назначаться как отдельному устройству, так и классам устройств. Так, напри- мер, отдельный семафор может быть связан и с отдельным физическим терминалом и со всеми терминалами сразу. В первом случае быстродействие системы выше, ибо процессы, обращающиеся к терминалу, не захватывают семафор, имеющий от- ношение к другим терминалам, как во втором случае. Драйверы некоторых уст- ройств, однако, поддерживают внутреннюю связь с другими драйверами; в таких случаях использование одного семафора для класса устройств облегчает понима- ние задачи. В качестве альтернативы в вычислительной системе 3B20A предос- тавлена возможность такого конфигурирования отдельных устройств, при котором программы драйвера запускаются на точно указанных процессорах. Проблемы возникают тогда, когда драйвер прерывает работу системы и его семафор захвачен: программа обработки прерываний не может быть вызвана, так как иначе возникла бы угроза разрушения данных. С другой стороны, ядро не может оставить прерывание необработанным. Система 3B20A выстраивает прерыва- ния в очередь и ждет момента освобождения семафора, когда вызов программы обработки прерываний не будет иметь опасные последствия. 12.3.3.4 Фиктивные процессы Когда ядро выполняет переключение контекста в однопроцессорной системе, оно функционирует в контексте процесса, уступающего управление (см. главу 6). Если в системе нет процессов, готовых к запуску, ядро переходит в состо- яние простоя в контексте процесса, выполнявшегося последним. Получив преры- вание от таймера или других периферийных устройств, оно обрабатывает его в контексте того же процесса. В многопроцессорной системе ядро не может простаивать в контексте про- цесса, выполнявшегося последним. Посмотрим, что произойдет после того, как процесс, приостановивший свою работу на процессоре A, выйдет из состояния приостанова. Процесс в целом готов к запуску, но он запускается не сразу же по выходе из состояния приостанова, даже несмотря на то, что его контекст уже находится в распоряжении процессора A. Если этот процесс выбирается для запуска процессором B, последний переключается на его контекст и возобновля- ет его выполнение. Когда в результате прерывания процессор A выйдет из прос- тоя, он будет продолжать свою работу в контексте процесса A до тех пор, пока не произведет переключение контекста. Таким образом, в течение короткого промежутка времени с одним и тем же адресным пространством (в частности, со стеком ядра) будут вести работу (и, что весьма вероятно, производить запись) сразу два процессора. Решение этой проблемы состоит в создании некоторого фиктивного процесса; когда процессор находится в состоянии простоя, ядро переключается на кон- текст фиктивного процесса, делая этот контекст текущим для бездействующего процессора. Контекст фиктивного процесса состоит только из стека ядра; этот процесс не является выполнимым и не выбирается для запуска. Поскольку каждый процессор простаивает в контексте своего собственного фиктивного процесса, навредить друг другу процессоры уже не могут. 378 12.4 СИСТЕМА TUNIS Пользовательский интерфейс системы Tunis совместим с аналогичным интер- фейсом системы UNIX, но ядро этой системы, разработанное на языке Concurrent Euclid, состоит из процессов, управляющих каждой частью системы. Проблема взаимного исключения решается в системе Tunis довольно просто, так как в каждый момент времени исполняется не более одной копии управляемого ядром процесса, кроме того, процессы работают только с теми структурами данных, которые им принадлежат. Системные процессы активизируются запросами на ввод, защиту очереди запросов осуществляет процедура программного монитора. Эта процедура усиливает взаимное исключение, разрешая доступ к своей исполняемой части в каждый момент времени не более, чем одному процессу. Механизм мони- тора отличается от механизма семафоров тем, что, во-первых, благодаря пос- ледним усиливается модульность программ (операции P и V присутствуют на вхо- де в процедуру монитора и на выходе из нее), а во-вторых, сгенерированный компилятором код уже содержит элементы синхронизации. Холт отмечает, что разработка таких систем облегчается, если используется язык, поддерживающий мониторы и включающий понятие параллелизма (см. [Holt 83], стр.190). При всем при этом внутренняя структура системы Tunis отличается от традиционной реализации системы UNIX радикальным образом. 12.5 УЗКИЕ МЕСТА В ФУНКЦИОНИРОВАНИИ МНОГОПРОЦЕССОРНЫХ СИСТЕМ В данной главе нами были рассмотрены два метода реализации многопроцес- сорных версий системы UNIX: конфигурация, состоящая из главного и подчинен- ного процессоров, в которой только один процессор (главный) функционирует в режиме ядра, и метод, основанный на использовании семафоров и допускающий одновременное исполнение в режиме ядра всех имеющихся в системе процессов. Оба метода инвариантны к количеству процессоров, однако говорить о том, что с ростом числа процессоров общая производительность системы увеличивается с линейной скоростью, нельзя. Потери производительности возникают, во-первых, как следствие конкуренции за ресурсы памяти, которая выражается в увеличении продолжительности обращения к памяти. Во-вторых, в схеме, основанной на ис- пользовании семафоров, к этой конкуренции добавляется соперничество за сема- форы; процессы зачастую обнаруживают семафоры захваченными, больше процессов находится в очереди, долгое время ожидая получения доступа к семафорам. Пер- вая схема, основанная на использовании главного и подчиненного процессоров, тоже не лишена недостатков: по мере увеличения числа процессоров главный процессор становится узким местом в системе, поскольку только он один может функционировать в режиме ядра. Несмотря на то, что более внимательное техни- ческое проектирование позволяет сократить конкуренцию до разумного минимума и в некоторых случаях приблизить скорость повышения производительности сис- темы при увеличении числа процессоров к линейной (см., например, [Beck 85]), все построенные с использованием современной технологии многопроцессорные системы имеют предел, за которым расширение состава процессоров не сопровож- дается увеличением производительности системы. 12.6 УПРАЖНЕНИЯ 1. Решите проблему функционирования многопроцессорных систем таким обра- зом, чтобы все процессоры в системе могли функционировать в режиме яд- ра, но не более одного одновременно. Такое решение будет отличаться от первой из предложенных в тексте схем, где только один процессор (глав- ный) предназначен для реализации функций ядра. Как добиться того, чтобы в режиме ядра в каждый момент времени находился только один процессор ? Какую стратегию обработки прерываний при этом можно считать приемлемой? 379 2. Используя системные функции работы с разделяемой областью памяти, про- тестируйте программу, реализующую семафорную блокировку (Рисунок 12.6). Последовательности операций P-V над семафором могут независимо один от другого выполнять несколько процессов. Каким образом в программе следу- ет реализовать индикацию и обработку ошибок ? 3. Разработайте алгоритм выполнения операции CP (условный тип операции P), используя текст алгоритма операции P. 4. Объясните, зачем в алгоритмах операций P и V (Рисунки 12.8 и 12.9) нуж- на блокировка прерываний. В какие моменты ее следует осуществлять ? 5. Почему при выполнении "циклической блокировки" вместо строки: while (! CP(семафор)); ядро не может использовать операцию P безусловного типа ? (В качестве наводящего вопроса: что произойдет в том случае, если процесс запустит операцию P и приостановится ?) 6. Обратимся к алгоритму getblk, приведенному в главе 3. Опишите реализа- цию алгоритма в многопроцессорной системе для случая, когда блок отсут- ствует в буферном кеше. *7. Предположим, что при выполнении алгоритма выделения буфера возникла чрезвычайно сильная конкуренция за семафор, принадлежащий списку сво- бодных буферов. Разработайте схему ослабления конкуренции за счет раз- биения списка свободных буферов на два подсписка. *8. Предположим, что у терминального драйвера имеется семафор, значение ко- торого при инициализации сбрасывается в 0 и по которому процессы приос- танавливают свою работу в случае переполнения буфера вывода на терми- нал. Когда терминал готов к приему следующей порции данных, он выводит из состояния ожидания все процессы, приостановленные по семафору. Раз- работайте схему возобновления процессов, использующую операции типа P и V. В случае необходимости введите дополнительные флаги и семафоры. Как должна вести себя схема в том случае, если процессы выводятся из состо- яния ожидания по прерыванию, но при этом текущий процессор не имеет возможности блокировать прерывания на других процессорах ? *9. Если точки входа в драйвер защищаются семафорами, должно соблюдаться условие освобождения семафора в случае перехода процесса в состояние приостанова. Как это реализуется на практике ? Каким образом должна производиться обработка прерываний, поступающих в то время, пока сема- фор драйвера заблокирован ? 10. Обратимся к системным функциям установки и контроля системного времени (глава 8). Разные процессоры могут иметь различную тактовую частоту. Как в этом случае указанные функции должны работать ? 380