Все ответы об инженерном анализе

Распределённые параллельные вычисления с Large Scale DSO

Аватар пользователя Klyavlin
0 2034

Для решения крупномасштабных параллельных распределённых задач, например, построение карты эффективности электрических машин, рекомендуем использовать новый алгоритм решения параллельных задач Large Scale DSO. В отличии от обычного DSO новый алгоритм при увеличении количества параллельных процессов не имеет таких проблем как: прогрессивное уменьшение производительности, ненадёжность. Это достигается устранением узких мест в организации параллельных вычислений таких как: конкуренция за единое хранилище рабочих файлов, большая нагрузка на сетевой трафик. 

 

Large Scale DSO для крупномасштабных вычислений.

Параметрическое задание определяет результаты моделирования как функцию параметров модели, таких как геометрические размеры, свойства материалов, возбуждение. Параметрический анализ может выполняться на локальной машине, где каждое изменение параметров рассчитывается последовательно единственным решателем, или распределено на вычислителях с помощью DSO лицензии. DSO анализ использует запуск множества решателей параллельно, что позволяет получить результаты в более короткое время. При обычном алгоритме DSO задание на параметрический расчёт размещается на мастер - узле, который поочерёдно запускает один и более распределённых, параллельных процессов с назначенной комбинацией параметров на каждом узле, определённых заданием. Как только распределённые процессы получат результат решения, прогресс решения, сообщения, файлы результатов возвращаются обратно на мастер - узел, где они сохраняются в общую базу данных, как показано на рисунке:

Узкое место DSO.

Согласно вышеприведённому рисунку, ускорение обычного DSO ограничено ресурсами централизованного мастер – узла. Было замечено, что DSO становится ненадёжным в определённый момент, по мере увеличения количества параллельных решателей с определённым набором параметров. Термин “Large Scale Parallel” может быть использован для определения этого переломного момента. “Large Scale Parallel” обозначает сценарии, с точки зрения параллельных распределённых решателей и числа вариантов параметров, где обычный DSO сталкивается с узким местом централизованного мастер – узла, что приводит к одной или обоим проблемам: прогрессивное уменьшение производительности, ненадёжность.

Современные вычислители кластерного типа позволяют получать результаты моделирования очень быстро за счёт большого количества процессоров и оперативной памяти. Параметрический DSO должен обеспечить загрузкой все доступные ресурсы вычислителей и предназначен для линейного ускорения решений задач “Large Scale Parallel”. Large Scale DSO предназначен для обеспечения 100% надёжности и линейного ускорения крупномасштабных параллельных вычислений DSO.

Ключевые алгоритмы и концепции Large Scale DSO.

  • Алгоритм чрезвычайно параллельных задач.

Для решения параметрических задач Large Scale DSO использует природу чрезвычайно параллельных задач. Решение каждого параметрического случая реализовано полностью независимо от других изменений параметров, заменяя централизованную базу данных обычного DSO распределёнными базами данных для каждого параметрического случая.

  • Распределённые базы данных.

Для каждого распределённого параллельного решения база данных входной модели клонируется на локальное хранилище вычислительного узла, где оно запущено, как показано на рисунке. Параллельный расчёт выполняется на этих клонированных моделях, а результаты вычислений записываются в соответствующее расположение локального хранилища. Поскольку у каждого процесса есть своя собственная база данных, то нет никакой конкуренции за общее хранилище между остальными параллельными процессами.  Присутствует только незначительный сетевой трафик, так как все операции решателя и полученные результаты существуют только в рамках вычислительного узла и используют только локальные ресурсы.

  • Иерархическая активация процессов.

Алгоритм Large Scale DSO активирует вычислительные процессы иерархически, где нагрузка на запуск процессов так же распределена между узлами вычислителей, что значительно улучшает надёжность фазы активации крупномасштабных параллельных заданий. В этом подходе Desktopjob (Root DJ) мастер – задания активирует первый уровень дочерних Desktopjob (DJ(L1)) для каждого вычислительного узла, выделенного в рамках задания DSO. Каждый дочерний DJ(L1) активирует один и более листов дочерних заданий DJ(L2)) равных числу распределённых параллельных заданий на узел. Лист DJ(L2) в свою очередь запускает решение параметрических вариантов задачи в фоновом режиме.

  • Децентрализованное балансирование загрузки.

Параметрическая таблица разделяется на области с равным количеством вариантов, число областей устанавливается эквивалентным количеству вычислительных узлов. Каждый вычислительный узел решает свою область параметрической таблицы, как параметрический DSO на локальной машине. Крупномасштабное Large Scale DSO задание считается выполненным если все назначенные области параметрической таблицы были выполнены на вычислительных узлах.

  • Постобработка результатов при решении Large Scale DSO.

Полученные результаты на каждом отдельном вычислителе сохраняются в локальном хранилище. Когда поступает сигнал о завершении расчёта всех распределённых параметрических комбинаций на вычислителях, результаты передаются из локальных хранилищ в папку сетевую папку результатов входного проекта.

 

Добавить комментарий

Войдите или зарегистрируйтесь, чтобы отправлять комментарии