Русский

Conference publications

Abstracts

XXII conference

Effective algorithms for centralized administration of multiprocessor complexes

Nazarenko K.M., Nazarenko E.S., Korobov N.A.

Московский Государственный Технологический университет «Станкин» 127055 Россия, г. Москва, Вадковский пер., д. 3а, (499) 972-95-20, e-mail: cmr_nazy@gmail.com

1 pp. (accepted)

В работе рассмотрены новые методы организации высокопроизводительных вычислений, включая централизованную систему распределения и организацию оповещения исследователя о состоянии исполняемых задач, а также широкое использование аппарата виртуализации. Данная система позволяет эффективно управлять проведением расчетов на многопроцессорных комплексах силами одного оператора. Данный результат был достигнут за счет внедрения системы автоматизации, реализованной на языках sed (wikipedia.org/wiki/Sed), AWK (wikipedia.org/wiki/AWK), Bash-Script (wikipedia.org/wiki/Bash), обеспечивающей взаимодействие между управляющими машинами и подчиненными им вычислительными единицами (узлами) в режиме реального времени. Система снабжена автоматическим оповещением о завершении (успешном или с ошибкой) каждой из исполняемых задач, а также позволяет производить в режиме реального времени их мониторинг с выводом наиболее важных фрагментов в отдельные текстовые файлы, пересылаемые с помощью электронной почты, автоматически формировать и обеспечивать доставку отчетов по производимым вычислительным комплексом операциями и возникающим неполадкам.

В данный момент система реализована в рамках высокопроизводительного вычислительного комплекса, состоящего из 50 вычислительных узлов с общим числом процессоров 400, которая позволяет осуществлять полноценное управление комплексом из любой точки земного шара, используя стандартный интерфейс программы Teamviewer (http://www.teamviewer.com/ru/).

Структура применяемых алгоритмов предусматривает возможность масштабируемости вычислительного комплекса без каких-либо ограничений. Следует также отметить чрезвычайно высокую эффективность применения виртуализации, реализованной с использованием программного продукта VMware Player (http://www.vmware.com/ru), который обеспечивает возможность одновременного проведения вычислений с использованием различных программных пакетов в различных операционных системах с минимальными (5-10%) потерями расчетной мощности.

В настоящее время комплекс широко используется для квантовохимических расчетов с использованием программных пакетов Gaussian09 (http://www.gaussian.com) и Spartan’14 (https://www.wavefun.com). Однако область применения данной системы автоматизации не ограничивается научными расчетами, поскольку гибкость разработанных алгоритмов позволяет их использование для широкого класса ресурсоемких задач, таких как математическое моделирование, трехмерный рендеринг, датамайнинг и др.



© 2004 Designed by Lyceum of Informational Technologies №1533