Всеволод Сергеевич Бурцев Параллелизм вычислительных процессов и развитие архитектуры суперэвм м, 1997

Рис.10. Структура МВК "Эльбрус".

- на втором этапе наряду с принципами архитектуры отрабатывалась новая конструкторско-технологическая база.

На первом этапе был реализован 10-процессорный комплекс "Эльбрус-1" производительностью в 15 млн. оп/с на элементно-конструкторской базе 5Э26 на ТТЛ элементах с задержкой 10-20 нс на вентиль. На втором этапе был создан МВК "Эльбрус-2", производительностью 120 млн. оп/с и с объемом ОЗУ 160 Мбайт, построенный на элементной базе типа Motorola 10000 с задержкой 2-3 нс на вентиль.

15

В.С.Бурцев. Значение создания ENIAC в развитии информационно-вычислительных и управ-ляющих систем России

МВК "Эльбрус" (Рис.10) построен по модульному принципу и в зависимости от комплектации может включать необходимое количество центральных процессоров (1-10), модулей оперативной памяти (4-32), процессоров ввода-вывода (ПВВ) (1-4), устройств внешней памяти (барабанов, дисков, магнитных лент), процессоров передачи данных (ППД) (1-16) и устройств ввода-вывода, подключенных либо непосредственно к ПВВ, либо через линии передачи данных посредством ППД. Каждый компонент комплекса, включая разнесенные по ним узлы центрального коммутатора, имеет стопроцентный аппаратный контроль и при появлении хотя бы одиночной ошибки в ходе вычислительного процесса выдает сигнал неисправности. По этому сигналу операционная система через аппаратно реализованную систему реконфигурации исключает неисправный модуль из работы.

Отключенный модуль попадает в ремонтную конфигурацию, в которой посредством тест-диагностических программ и специальной аппаратуры ремонтируется, после чего может быть включен операционной системой в рабочую конфигурацию.

Описанная структура позволяет осуществить резервирование на уровне однотипных модульных устройств. Время подключения резервного модуля не превосходит 0,01 сек, что обеспечивает бессбойную работу комплекса с заданной надежностью для всех боевых систем.

К особенностям МВК "Эльбрус-2", кроме описанных выше, можно отнести следующие:

• 
  система команд эффективно реализует автокод, являющийся языком высокого уровня;
  
• 
  аппаратно поддержаны часто встречающиеся программные конструкции языков высокого уровня;
  
• 
  осуществлена обезличенная работа однотипных модулей процессоров, ПВВ, ППД;
  
• 
  аппаратно реализована в ПВВ работа диспетчера внешних объектов;
  
• 
  система команд и математическое обеспечение ППД позволяют достаточно просто адаптироваться к различным вычислительным сетям и внешним объектам;
  
• 
  в качестве одного из процессоров может быть подключен любой спецпроцессор (если таким спецпроцессором является процессор, то достигается производительность, более чем в шесть превышающая производительность БЭСМ-6).
  

За последние 10 лет в России специалистами школы академика С.А.Лебедева было разработано много интересных проектов, внесших существенный вклад в развитие архитектуры суперкомпьютеров, однако по тем или иным причинам они не были реализованы в серийном производстве. К ним надо отнести: векторный процессор МВК "Эльбрус-2", модульный конвейерный процессор, МКП ССБИС, оптическую сверхвысокопроизводительную вычислительную машину (ОСВМ) РАН и ряд других.

В заключение можно сказать, что по целому ряду архитектурных и схемотехнических решений российская школа суперЭВМ нисколько не отстает от

16

В.С.Бурцев. Значение создания ENIAC в развитии информационно-вычислительных и управ-ляющих систем России

зарубежной. Поэтому научно-техническое сотрудничество с зарубежными коллегами в области создания суперЭВМ было бы чрезвычайно полезным для обеих сторон.

1. 
   Б.Н.Малиновский. История вычислительной техники в лицах.
   
2. 
   Вычислительные машины с нетрадиционной архитектурой. Супер-ВМ. Сборник научных трудов ВЦКП. вып.2. Москва 1994.
   
3. 
   Академия наук УССР. Библиография ученых Украинской ССР. Сергей Алексеевич Лебедев. Киев, Наукова Думка 1978.
   
4. 
   В.С.Бурцев Принципы построения многопроцессорных вычислительных комплексов "Эльбрус". Доклад на научно-техническом семинаре Многопроцессорные вычислительные комплексы. Москва 21-22 ноября 1977. Препринт № 1 за 1977.
   
5. 
   Л.Н.Королев, В.А.Мельников. Об ЭВМ БЭСМ-6. Управляющие системы и машины, 1976, 6.
   
6. 
   Голубев О.В., Каменский Ю.А., Минасян М.Т., Пупков Б.Д. Российская система противоракетной обороны (прошлое и настоящее - взгляд изнутри). Техноконсалт, Москва, 1994.
   
7. 
   Кисунько Г.В. Секретная зона. Москва, Современник, 1996.
   
8. 
   Бакулев П.А., Сотский Н.М., Горохов Ю.И. О некоторых работах в СССР по внедрению средств цифровой автоматики в радиолокацию и в радиотехнические комплексы управления летательным аппаратом.
   
9. 
   Бурцев B.C. Новые подходы к оценке качества вычислительных средств. (в данной книге)
   

Бурцев B.C.

В последнее время, очевидно, под воздействием быстро развивающихся технологических возможностей, которые привели к созданию мощных однокристальных микропроцессоров (Альфа, Power PC, Pentium, Intel 860 и др.), все чаще высказывается мнение, что время суперЭВМ уже прошло, что все задачи можно решить на современных PC и рабочих станциях, объединенных в единую локальную сеть. Самое странное, что такие мнения высказываются в академических кругах и в газете "Поиск". Некоторые ученые в своих высказываниях идут даже дальше и говорят о том, что больших задач, для которых необходимы суперЭВМ, в академии нет. Они пытаются объяснить этот "феномен" тем, что математические методы решения сложных задач, разработанные нашими математиками, позволили решать эти сложные задачи на рабочих станциях.

Все это заставило меня написать эту статью и попытаться ответить на следующие вопросы:

• 
  каковы современные требования, предъявляемые к суперЭВМ, исходя из необходимости решения проблемных задач первостепенной важности;
  
• 
  каковы возможности современных PC, рабочих станций и суперЭВМ в настоящее время;
  

- можем ли мы создать суперЭВМ, соответствующую современному мировому уровню или даже превышающую по характеристикам зарубежные, и надо ли этим заниматься.

Для определения основных требований, предъявляемых к суперЭВМ сложными проблемными задачами, воспользуемся данными, приведенными американским ученым Гарри Джонсоном из суперкомпьютерного центра в Северной Каролине, США [1], и мнением наших ведущих ученых, работающих в различных направлениях исследований и широко использующих математические методы моделирования. На Рис.1 в координатах производительность-память даны требования к суперЭВМ для различных задач. Производительность посчитана исходя из требования 15-минутного решения задачи. Американские данные помечены квадратами. Требования к аналогичным задачам, которые привели наши математики, того же порядка (они обозначены треугольниками) Пунктирной линией показана область, которую перекрывают наиболее производительные суперЭВМ по теоретической пиковой производительности - это Cray T3D, nCUBE-3 и СМ-5, ориентированные на решение задач уравнений математической физики.

Машины с такой пиковой производительностью (максимальной комплектации) еще не созданы, поэтому сплошной чертой показана производительность реально работающих машин, полученная на фрагментах тестовой задачи [2]. На этом же графике показана область, которую перекрывают универсальные, наиболее производительные многопроцессорные суперЭВМ конвейерного типа Cray Y-MP. Из приведенной на Рис.1 информации можно сделать вывод, что суперЭВМ в настоящее время не удовлетворяют предъявляемым к ним требованиям по производительности и объему памяти на несколько порядков. Однако, не стоит делать неправильного вывода о том, что задачи по этим направлениям в настоящее время не решаются. Анализ данных, приведенных в [1], показывает, что по всем из обозначенных на рисунке направлениям ведутся работы на существующих суперЭВМ, однако выполняемые ими задачи не решают поставленных проблем в полном объеме. Решаемые задачи развиваются в соответствии с развитием возможностей суперЭВМ. По каждому направлению вырабатывается своя линия развития задачи, которая во многом определяется возможностями суперЭВМ на каждый момент времени.

На Рис.2 в качестве примера показаны три направления исследований, каждое их которых обозначено на рисунке соответствующим значком. Из рисунка видно, что вычислительные средства в настоящее время не удовлетворяют требованиям этих задач (незаштрихованные значки). В то же время многие задачи по направлениям этих исследований решаются на существующих суперЭВМ (заштрихованные значки).

В той же плоскости координат на Рис.3 показаны возможности двух типов вычислительных систем:

- многопроцессорных комплексов с универсальными скалярно-векторными конвейеризованными процессорами; эти структуры (помеченные на рисунке треугольниками), где каждый процессор имеет прямой доступ к каждому модулю общей памяти, называют системами с распределяемой памятью в отличие от многопроцессорных систем с распределенной памятью;

19

В. С. Бурцев. О необходимости создания суперЭВМ в России

- многопроцессорных систем с распределенной по процессорам памятью (Cray T3D, транспьютерные системы Парситек, nCUBE-2 и СМ-3 (помечены квадратами); в некоторых работах их относят к многомашинным комплексам [3].

Рис.1

Каковы те принципиальные причины, которые не позволяют построить суперЭВМ требуемой производительности? Если совсем коротко, то они ограничены отводом тепла от полупроводниковых схем. Принципиально жидкостное охлаждение позволяет отвести 20 Вт с одного квадратного сантиметра. Следовательно,

20

B.C. Бурцев. О необходимости создания суперЭВМ в России

чем меньше выделяет энергии схема на одно логическое срабатывание Аэ, тем меньше выделяется мощности Рэ=Аэ/tэ при том же быстродействии, где tэ - время срабатывания элемента. Следовательно, в одном и том же объеме можно сосредоточить большее количество логических элементов и элементов памяти. Если объем растет, растут потери во времени на связи между элементами tсв и времена tэ становятся соизмеримы, а иногда и много меньше, чем tсв. Поэтому, чем выше производительность элемента, тем меньший объем должна иметь вычислительная система.

Рис.2

• 
  суперЭВМ должна иметь эффективную и достаточно мощную жидкостную систему охлаждения;
  
• 
  предельное быстродействие во многом зависит от качества логического элемента, его времени срабатывания tэ и выделяемой при этом энергии.
  

аппаратный контроль во все устройства машины, а последнее увеличивает объем устройств и потребляемую ими мощность.

Анализ показывает, что предельная производительность одного процессора, работающего по фон-Неймановскому принципу, вряд ли превзойдет 10⁸оп/с на скалярных операциях [4]. Практика и анализ задач позволяет сделать вывод, что в одном процессоре конвейерного типа производительность на векторных операциях может быть поднята не более, чем на один порядок [5]. Увеличить производительность до 10¹⁴ оп/с, т.е. еще на пять порядков, можно только путем распараллеливания вычислительных процессов. Первым шагом в этом направлении являются многопроцессорные комплексы, как правило, состоящие из 4-16 процессоров, работающих на одну общую память.

Рис.3.

Основное различие всех параллельных вычислительных систем сводится к способам коммутации процессоров. Так, многопроцессорные системы с распределяемой общей памятью имеют центральный коммутатор большой пропускной способности, обеспечивающий доступ каждого процессора к каждому модулю ОЗУ. Такие комплексы с небольшим количеством процессоров (1-16) можно считать достаточно универсальными. Увеличение процессоров в этой системе увеличивает время обращения к ОЗУ, что резко снижает быстродействие каждого процессора.

Системы с распределенной по процессорам памятью, как правило, имеют многоступенчатую систему коммутации.

Транспьютерная система коммутации, например, характерна тем, что каждый микропроцессор имеет четыре связи с соседними процессорами, как правило,

22

B.C. Бурцев. О необходимости создания суперЭВМ в России

в статике не может загрузить такие системы, т.к. он не знает, сколько времени для того или иного вычислительного процесса будет занят процессор. Выход единственный - переход к распределению аппаратными средствами по свободным вычислительным ресурсам (процессорам, памяти, каналам передачи и др.), готовых к выполнению параллельных вычислительных процессов. Другими словами, достижение предельного параллелизма прохождения вычислительных процессов требует новых, нетрадиционных принципов их организации. Такие новые нетрадиционные вычислительные структуры МРР и у нас, и за рубежом успешно разрабатываются. Эти системы базируются на мощных системах коммутации, обладающих высоким темпом работы. Наверное, полупроводниковая вычислительная техника не сможет выдержать конкуренцию с оптоэлектронными коммутационными системами для новых вычислительных систем. Зарубежный анализ показывает (Рис.5), что в 1995-2000 г.г. оптоэлектронные коммутаторы вытеснят электронные [5].

No of Processors	System	Peak speed gigaflops	Benchmark	Efficiency (code/peak)
NAS Parallel Benchmark EP (size: 2 28)
16	Cray C90	16	8.3	50%
128	Intel iPSC/860	2.6	0.4	15%
65536	Thinking Machines CM-2	1620	2.4	12%
NAS Parallel Benchmark FFT (size: 256 2 x 128)
16	Cray C90	16	4.5	30%
128	Intel iPSC/860	2.6	0.5	20%
65536	Thinking Vfchines CM-2	14	0.5	4%
NAS Parallel Benchmark CG (size 2 x 10 6)
16	Cray C90	16	2.6	16%
128	Intel iPSC/860	2.6	0.07	3%
16384	Thinking Machines CM	35	0.7	3%

Source;NASA Ames Research Center,

Technical Report RNR-92 CC2

NAS = Numerical Aerodynamic Simulation

Таблица 1.

Итак, требуемая производительность 10¹⁴ оп/с в начале 2000-х годов, очевидно, будет достигнута. Спрашивается, необходимо ли нам заниматься суперЭВМ и можем ли мы создать конкурентоспособную суперЭВМ или нам

24

следует пойти по пути европейских стран и покупать суперЭВМ за рубежом. Есть несколько веских причин, говорящих о том, что необходимо создавать свои суперЭВМ.

Первое: даже если не принимать во внимание то, что военные объекты особой важности базируются и разрабатываются на основе суперЭВМ, решение перечисленных на Рис.1 проблем имеет определяющее значение для развития страны. Та страна, которая первой будет иметь возможнось решать эти задачи, всегда будет иметь преимущество в научно-техническом потенциале. Поэтому ни одна страна наиболее быстродействующую систему не продаст - мы будем иметь в лучшем случае системы "second hand" и решаемые задачи будут под контролем конкурентов.

Рис. 5.

Третье: в странах, где будут созданы самые высокопроизводительные вычислительные системы, будут и самые высокоинтеллектуальные талантливые научные кадры пользователей.

Четвертое: эксплуатация суперЭВМ, даже уровня "second hand", будет обходиться намного дороже, чем эксплуатация вычислительных средств собственной разработки.

Пятое: созданные в России суперЭВМ на современной зарубежной базе наверняка выиграют конкуренцию у зарубежных фирм как по архитектурным и схемотехническим решениям, включая системное матобеспечение, так и по

25

B.C. Бурцев. О необходимости создания суперЭВМ в России

себестоимости. Эта наукоемкая продукция без сомнения найдет сбыт и позволит сохранить рентабельное производство вычислительной техники в целом.

Последнее заявление, безусловно, у многих вызовет по меньшей мере скепсис. Действительно, на вопрос: "Имели ли мы когда-нибудь суперЭВМ мирового уровня?" можно четко ответить: "Нет". В то время, когда мы заканчивали разработку, за рубежом всегда была суперЭВМ более быстродействующая, чем наша, построенная на элементной базе следующего поколения.

Но тем не менее, наши разработки по схемотехническим, архитектурным и конструктивным характеристикам зачастую превышали зарубежный уровень. Так, мы уже в 1970 году разработали идеологию многопроцессорной (10-процессорной) суперЭВМ, в то время как построения 4-процессорных комплексов в IBM кончались полной неудачей - резко падала общая производительность системы. Процессор МВК "Эльбрус-2" на элементах с задержкой τ =2 нс имел ту же производительность, что и компьютер типа Cyber на элементах с задержкой τ =1 нс. Разработанный в 1978 году векторный процессор, входящий в состав МВК "Эльбрус-2", имел большую команду, систему "разгона" и "торможения" и другие оригинальные решения, за счет которых на элементной базе МВК "Эльбрус-2" он достиг производительности 80 мегафлоп (той же, что и компьютер Cray на элементной базе с τ = 0,7). Созданный в ИТМ и ВТ векторный процессор МКП имеет производительность порядка 200 мегафлоп на элементной базе с τ =1,2 нс. Производительность достигается за счет оригинального схемотехнического решения - аппаратного распараллеливания скалярных и векторных операций. Векторный процессор ССБИС имел целый ряд оригинальных решений обработки данных на проходе и др. В настоящее время в РАН разработана и испытана на модели система массового параллелизма с автоматическим распределением ресурсов, имеющая целый ряд оригинальных решений. Система работает по новому не фон-Неймановскому принципу организации вычислительных процессов. Поэтому можно совершенно ответственно утверждать, что разработанная нашими специалистами суперЭВМ на современной элементной базе будет по многим параметрам превосходить зарубежные.

Безусловно, возникает вопрос, можно ли использовать зарубежную элементную базу и не станет ли она при определенных обстоятельствах камнем преткновения. Надо сказать, что в этом отношении суперЭВМ находится в лучшем положении, чем PC или рабочие станции. Последние изготавливаются и используются в больших количествах и обеспечение их зарубежной элементной базой довольно проблематично. В частности, если поставщик внесет изменения или сменит продукцию на новую, мы попадаем в полную зависимость от него.

С суперЭВМ дело обстоит гораздо проще. Как показывает зарубежный опыт (США), количество суперЭВМ в стране не превосходит двух десятков. Для России вполне достаточно иметь пять региональных вычислительных центров с развитой системой теледоступа, благодаря которой, как правило, почти каждый пользователь имеет доступ к суперЭВМ со своего рабочего места, и центры для исследовательских институтов различных направлений народного

26

B.C. Бурцев. О необходимости создания суперЭВМ в России

хозяйства. На такое количество, и даже большее, можно закупить элементную базу на весь период эксплуатации.

Все это говорит о том, что в нашей стране необходимо создавать суперЭВМ как объект первостепенной важности. Это наукоемкое изделие требует в настоящее время разрешения целого ряда фундаментальных проблем, связанных с нетрадиционной организацией массовых параллельных вычислительных процессов. Многие из них нашли отражение в проекте ОСВМ РАН (посвященном созданию оптической сверхвысокопроизводительной машины), успешно защищенном в 1993 г.[6].

В заключение попытаемся определить, что же такое суперЭВМ и каковы ее основные характеристики, отличающие ее от других классов машин?

СуперЭВМ - это достаточно универсальные вычислительные средства, обладающие на данный момент времени максимальной производительностью.

Так, в 60-е годы к суперЭВМ относились машины производительностью более 1 млн. операций в секунду.

В 2000-х годах к суперЭВМ будут относится комплексы вычислительных средств производительностью выше 10^13-14 операций в секунду. Вычислительные комплексы такой производительности, как правило, будут использовать жидкостное охлаждение, широкополосную оптоволоконную систему теледоступа, терабайтные хранилища информации с автоматизированным доступом к ней и развитую систему визуализации информации и процессов.

Каждый региональный центр на базе одной или нескольких суперЭВМ будет по каналам теледоступа обслуживать десятки тысяч пользователей, связанных с центром с помощью персональных компьютеров, рабочих станций и локальных линий связи.

Современные региональные вычислительные центры в США имеют общую производительность в десятки миллиардов операций в секунду и обслуживают тысячи пользователей.