Распределенная гетерогенная вычислительная среда для обработки данных NICA

Семинары

Лаборатория информационных технологий

Общелабораторный семинар

Дата и время: вторник, 24 декабря 2024 г., в 15:00

Место: Конференц-зал, Лаборатория информационных технологий им. М. Г. Мещерякова, онлайн в Webinar

Тема семинара: «Распределенная гетерогенная вычислительная среда для обработки данных NICA»

Докладчик: Игорь Пелеванюк

Аннотация:

Одним из ключевых компонентов в реализации проекта NICA, наравне с ускорителем и детекторными установками BM@N, MPD и SPD, является вычислительная инфраструктура, которая необходима для обработки, анализа, хранения и передачи больших объемов экспериментальных данных. С 2019 года в ЛИТ развивается распределенная гетерогенная вычислительная инфраструктура, построенная на базе ПО DIRAC. В нее входят кластеры Tier1 и Tier2, суперкомпьютер «Говорун», кластер NICA, кластер DDC, облака стран-участниц ОИЯИ, кластер UNAM в Мексике и кластер IMDT в Монголии. Для повышения эффективности работы разработаны и реализованы методики мониторинга задач, передач данных. Разработан принципиально новый подход к анализу производительности задач, позволяющий анализировать сотни тысяч задач и определять ресурсы, работающие неэффективно. Разработана методика моделирования поведения задач в распределенной гетерогенной среде. Ее использование позволяет прогнозировать ход выполнения больших пакетов задач. Построенная инфраструктура и инструменты используются для решения задач экспериментов MPD, BM@N, SPD. Всего было успешно выполнено более 3,5 миллионов задач со средним временем выполнения 8 часов.

(По материалам кандидатской диссертации).