Всеволод Сергеевич Бурцев Параллелизм вычислительных процессов и развитие архитектуры суперэвм м, 1997

вычислительного процесса превосходит величину n = NC = 1300. Во всех остальных случаях загрузка будет пропорциональна К₃ = n / NC.

Рис.15. Модернизированная структурная схема машины.

Чтобы понять, насколько критично требование параллелизма задачи n = 1300, проведем аналогичный анализ для известных нам традиционных систем. Ясно, что для машин типа СМ-5 и NCUB, эта величина будет на два порядка выше, а для конвейерных машин типа CRAY того же порядка. Однако, необходимо учитывать, что для машин, работающих по принципу потока данных, требование по полной загрузке является необходимым и достаточным, в то время как для традиционных машин вопрос загрузки ресурсов машины и корректности выполнения задачи во времени всецело зависит от человека.

Оценка производительности и загрузки машины потока данных проводилась без учета возможностей векторного исполнительного устройства, загрузка которого осуществляется от скалярного процессора, что может увеличить производительность комплекса более чем на порядок.

Выводы

1. 
   Состояние развития суперЭВМ на настоящем этапе характеризуется тем, что производительность однопроцессорных систем, работающих на традиционных принципах, близка к своему физическому пределу, что на два-три порядка ниже требуемой как на скалярных, так и на векторных операциях.
   
2. 
   Решение проблемы достижения требуемой производительности для решения больших сложных задач лежит на пути создания высокопараллельных систем обработки данных. Оно входит в противоречие с принципами работы и организации вычислительных процессов традиционных архитектур суперЭВМ. В традиционных высокопараллельных структурах задача распределения параллельно работающих вычислительных средств по параллельным процессам внутри задачи или между задачами возложена на человека. При увеличении числа параллельных вычислительных структур человек не в состоянии справиться с этой задачей.
   
3. 
   Принцип организации вычислительного процесса, заложенный в структурах управления данными, решает эту задачу.
   
4. 
   Реализация архитектуры суперЭВМ, работающей по принципу управления данными, наталкивается на целый ряд серьезных проблем, к которым, в первую очередь, относятся: организация работы специальной оперативной памяти объединения данных, повторная входимость программ, рекурсии, итерации, циклы, работа со структурами данных, инвариантность кода команд, работа с константами, чистка "мусора", информационные "взрывы" и т.д.
   
5. 
   Зарубежные специалисты работают в этом направлении достаточно широким фронтом. Имеется порядка десяти проектов, в которых решаются все вышеперечисленные проблемы, однако высокой эффективности работы супер-ЭВМ на этом принципе в настоящее время достичь не удалось. Этим, очевидно, сдерживается их внедрение.
   
6. 
   В рассмотренной новой архитектуре суперЭВМ основные проблемы построения машин, работающих на принципе потока данных, решены на достаточно высоком программном и схемотехническом уровнях, которые позволяют на современной технологической базе реализовать производительность однопроцессорной суперЭВМ на один - два порядка выше существующих. Даны
   

предложения по реализации многопроцессорного комплекса на тех же принципах.

7. Одной из отличительных особенностей структуры суперЭВМ является организация оперативной памяти объединения данных, которая является определяющей в достижении предельной производительности.

Предложено разделение памяти на командную, векторную и скалярную (ассоциативную).

Решен вопрос модульной организации памяти объединения данных.

Впервые предложен метод организации параллельного выполнения векторных операций с помощью скалярного процессора.

Достигнута высокая пропускная способность единой инвариантной памяти команд и констант.

8. 
   Новая архитектура достаточно хорошо адаптирована к возможностям оптики, в особенности в устройствах ассоциативной памяти и коммутаторах, которые составляют основу суперЭВМ.
   
9. 
   Наряду с решением наиболее важного вопроса - автоматического распределения ресурсов вычислительных средств с дискретностью до операции, новая архитектура суперЭВМ обладает целым рядом весьма полезных принципиальных свойств:
   

• 
  обладает свойствами толерантности, что чрезвычайно важно как для этапа изготовления, так и для этапа эксплуатации;
  
• 
  исключает необходимость функций операционной системы для распределения как памяти, так и процессоров.
  

1. 
   Бурцев B.C. Анализ результатов испытаний МВК "Эльбрус-2" и дальнейшие пути его развития. М., 1988. (Препринт ОВМ АН СССР N 208)
   
2. 
   Бурцев B.C., Кривошеев Е.А., Асриэли В.Д., Борисов П.В., Трегубов К.Я. Векторный процессор МВК "Эльбрус-2" СуперЭВМ. М.: ОВМ АН СССР,1989. С. 3-18.
   

Holography and Optical Information Processing, 1991, Vol. 1731, P. 201-206.

4. 
   Проект ОСВМ. 1993.
   
5. 
   Бурцев B.C. Оптические принципы обработки информации в архитектуре суперЭВМ. М.,1992. (Препринт ВЦКП РАН, N 24, С. 27-36).
   
6. 
   Бурцев B.C. Тенденции развития суперЭВМ. Вычислительные машины с нетрадиционной архитектурой суперЭВМ. М.: Наука, 1990. Сб.1. С.3-26.
   

8. 
   Culler D. "The Explicit Token Store", Journal of Parallel and Distributed Computing, 1990, Vol.10, P. 289-308.
   
9. 
   Popadopoulos G., Traub K. "Multithreading: A Revisionist View of Dataflow Architectures", Sigarch Computer Arch. News, 1991, Vol.19, N.3.
   

В.С.Бурцев

Использование оптических средств обработки информации необходимо оценивать в сравнении с возможностями реализации тех же функций различных устройств на полупроводниковой элементной базе. Рассмотрение целесообразности использования тех или иных средств необходимо проводить с учетом не только сегодняшнего состояния развития архитектуры суперЭВМ, оптики и полупроводниковой техники, но и анализом их развития в будущем.

Имея в виду преимущества оптических средств перед полупроводниковыми электронными в части их широкополосности и широкоформатности при передаче информации, необходимо найти такие области их применения, где они были бы совершенно необходимыми. По нашему мнению, они, в первую очередь, могли бы найти применение в новом поколении суперкомпьютеров.

Однако, было бы неправильным не отметить и достаточно принципиальные недостатки оптических средств на настоящий момент времени. Основные из них следующие:

-оптические логические элементы (матрицы вентилей) имеют значительно большее энеpгoвыделение по сравнению с полупроводниковыми;

79

В.С.Бурцев. Использование оптических средств обработки информации в архитектуре суперЭВМ

• 
  отсутствует запоминающий элемент, обладающий малым временем доступа Топ, пригодный для создания регистров кратковременного хранения и оперативной памяти больших размеров;
  
• 
  затруднена интеграция устройств, например, устройств управления, обладающих большим количеством одиночных связей ввиду ограничений, связанных с допустимым радиусом изгиба световода.
  

К сожалению, состояние научно-технических исследований на настоящий момент не позволяет ставить вопрос о переходе к опытно-конструкторским работам по созданию универсальной сверхбыстродействующей вычислительной системы дискретного действия, работающей полностью на оптических принципах.

Современной тенденцией в разработке суперЭВМ является повышение их производительности до 10¹² операций в секунду (оп/с) при емкости оперативной памяти порядка 10⁹ слов (~10¹¹ бит). Как указывается в [1] пределом производительности процессора, реализованного на полупроводниках и с использованием при организации вычислительного процесса принципа фон-Неймана, является производительность, равная 10⁸ оп/с на скалярных вычислениях и 10⁹ оп/с на векторных вычислениях. Единственным способом повышения производительности вычислительной системы является увеличение количества процессоров, то есть использование многопроцессорных и многомашинных вычислительных систем. Однако, их увеличение, несмотря на то, что они работают в единой системе, вызывает непреодолимые трудности при программировании задач для таких систем даже в тех случаях, когда вычислительный процесс может быть легко распараллелен на математическом уровне [2].

Критическая ситуация возникает когда параллельный алгоритм, описанный на уровне численных методов, программист должен воплотить в программу. Дело в том, что программа предполагает для выполнения параллельных участков программ использование определенных ресурсов вычислительных средств (процессора, памяти, каналов, дисков и т.д.). Поскольку задействованы ресурсы, возникает вопрос в течение какого времени они используются. Программисту необходимо точно знать время выполнения отдельных параллельных процессов, которые часто зависят от данных, и распределить вычислительные

80

В.С.Бурцев. Использование оптических средств обработки информации в архитектуре суперЭВМ

ресурсы таким образом, чтобы свести к минимуму потери времени. Очевидно, что при решении указанных выше сложных задач человек не способен правильно программировать существующие параллельные процессы параллельно и во времени. Такая функция может быть выполнена только оборудованием, имеющим информацию о динамике вычислительного процесса в каждый момент времени. Именно благодаря этому, необходима новая архитектура суперЭВМ, отличная от архитектуры фон-Неймана.

Основными особенностями организации вычислительного процесса в новой архитектуре суперЭВМ являются:

• 
  на уровне программирования нет необходимости определения временной последовательности выполнения операции, она начинается сразу же, как только собраны все данные, требуемые для ее выполнения;
  
• 
  концептуально нет памяти (нет оператора присваивания);
  
• 
  данные от оператора к оператору передаются по связям, организующим вычислительную сеть.
  

Рис.1. Граф вычислительного процесса.

Любой вычислительный процесс, как показано на Рис.1, может быть представлен в виде графа, в вершинах которого стоят операторы, производящие действия над данными, а данные по мере их обработки операторами по дугам перемещаются к следующему оператору. Таким образом, в отличие от принципа фон-Неймана, где операторы и данные вызывались последовательно, в новой архитектуре осуществляется паралллельная обработка данных по мере их поступления в операторы.

Команда новой машины (Рис.2) состоит из указания действия над данными и указателя на следующий оператор (узел), к которому необходимо передать результат обработки. Данные же, в свою очередь, имеют указатели, к какому узлу поступить на дальнейшую обработку, и окраску, которая позволяет идентифицировать данные одного комплекта, поскольку одной и той же программой могут пользоваться несколько комплектов данных.

Команда

Код операции	Адрес следующей операции	Адрес следующей операции
+	b1	b2

Адрес следующей операции

код окраски

Код операции

Данные

а1

+

D

Адрес следующей операции

Код окраски

Код операции

Данные

Данные

С2

+

D3

D5

Несложно представить себе блок-схему новой суперЭВМ (Рис.3), отвечающей описанному выше принципу обработки данных.

Рис.3. Блок-схема супер-ЭВМ нового типа.

Основной цикл работы такой машины сводится к следующему:

- после того как данные найдут себе пару и необходимую команду в ассоциативной памяти (АП), они поступают на коммутатор К₁, который передает их на любое свободное исполнительное устройство. Исполнительное устройство выполняет операцию в соответствии с указанием команды, и результат

82

В.С.Бурцев. Использование оптических средств обработки информации в архитектуре суперЭВМ

вместе с адресом следующей команды отправляет на коммутатор К₂, который передает их в ассоциативную память.

В том случае, если в АП находятся данные с искомым ключом, то они считываются, и объединенный комплект данных (как правило два) выдается для выполнения следующего оператора на одном из исполнительных устройств. Считывание данного (или данных) из памяти в этом случае сопровождается его (или их) стиранием. Если же парного данного по ключу не найдено, то данное вместе с ключом записывается в свободную ячейку АП.

Для того, чтобы максимальная производительность такой вычислительной системы была не ниже 10¹¹ оп/с, необходимо реализовать передачу данных по "кольцу", содержащему 100 скалярных исполнительных устройств, с частотой не менее 1 ГГерца. Произведенью оценки возможности реализации АП емкостью 10⁹ слов и работающей с частотой 1ГГц говорят о том, что АП является самым узким местом в системе. Поэтому, в приведенной структуре суперЭВМ приняты следующие меры, позволяющие решить эту проблему:

• 
  память должна быть модульной (емкость модуля обратно пропорциональна скорости его работы);
  
• 
  введены специальные векторные исполнительные устройства, работающие со своей векторной оперативной памятью (Рис.4). Векторная оперативная память работает по принципу обычной прямоадресуемой памяти и должна обладать высоким темпом работы и может иметь относительно большое время доступа. В ассоциативной памяти хранятся только скаляры и описатели векторов;
  
• 
  на случай информационного "взрыва" системы данные, готовые к выполнению, хранятся в буферной памяти (БП);
  
• 
  введена система регулирования загрузки памяти - команды, приводящие к существенному заполнению памяти, могут задерживаться по выполнению;
  
• 
  векторное исполнительное устройство содержит специализированный процессор, позволяющий избежать пересылок больших массивов данных между векторными исполнительными устройствами ассоциативной памяти;
  
• 
  командная память выделена в отдельные блоки, не входящие в ассоциативную память.
  

Рис.4. Векторное исполнительное устройство.

Векторное исполнительное устройство оперирует страницами, содержащими 128 слов. Каждый из 8 модулей оперативной памяти состоит из 8192

83

В.С.Бурцев. Использование оптических средств обработки информации в архитектуре суперЭВМ

страниц. Максимальный размер вектора 128 страниц. Имеется восемь векторных процессоров - страниц: семь арифметических и один специализированный - "тасователь". Каждый арифметический процессор содержит 128 процессоров, оперирующих с 64 битовым кодом. Тасователь осуществляет перестановки элементов вектора по заданным индексам другого вектора, маскирование векторов, а также наложение векторов с преобладанием элементов одного из них. Коммутатор 8x8 направлений за несколько десятков наносекунд коммутирует устройства, после чего с темпом 1ГГц осуществляет обмен данными каждого устройства с каждым.

Наряду с этим новый архитектурный принцип предъявляет более высокие требования к широкополосности и широкоформатности основных устройств: скалярных и векторных исполнительных устройств, ассоциативной памяти и коммутаторов. Каждое из них обычно характеризуется двумя временными параметрами: временем выполнения операции Т_оп и темпом выполнения операции Т_темп. Первый из них, в основном, определяется временем задержки в прохождении информации внутри устройства; а второй - темпом работы логических элементов устройств.

Новый принцип организации вычислительного процесса в некоторой степени снижает требования к параметру Т_оп, перемещая центр тяжести на скорость выполнения операции Т_темп.

В этом плане структура является шагом в направлении использования оптических принципов обработки информации, поскольку для оптики значительно сложнее конкурировать с электроникой в снижении времени выполнения операции Топ, чем в увеличении темпа выполнения операций, где основные преимущества оптики, широкая полоса и широкий формат, играют основную роль.

Переход к описанной выше структуре суперЭВМ обеспечивает решение ряда важных проблем создания сверхвысокопроизводительных вычислительных устройств:

• 
  благодаря аппаратной реализации одновременного прохождения на вычислительных средствах параллельных процессов, заложенных в алгоритме задачи, существенно расширяется предел производительности суперЭВМ;
  
• 
  человек освобождается от распределения ресурсов вычислительных средств при программировании;
  
• 
  функции управления в организации вычислительного процесса реализуются с помощью ассоциативной памяти, имеющей регулярную структуру, вместо использования для этой цели устройств управления различной структуры;
  

• 
  аппаратно решается функция операционной системы по распределению оперативной памяти;
  
• 
  новая структура устойчива к отказам и сбоям, что дает возможность, например для ассоциативной памяти, оставаться работоспособной при достаточно большом проценте неисправных ячеек;
  
• 
  приведенная структура аппаратно реализует параллелизм вычислительного процесса с дискретностью до операции, как над скалярами, так и над векторами и матрицами. Та же система может работать, реализуя параллелизм на уровне процедур. В этом случае, в качестве исполнительных устройств могут быть использованы транспьютеры, выполняющие более сложные процедуры, чем одна операция;