Распределенная гетерогенная вычислительная среда для обработки данных NICA
Семинары
Лаборатория информационных технологий
Общелабораторный семинар
Дата и время: вторник, 24 декабря 2024 г., в 15:00
Место: Конференц-зал, Лаборатория информационных технологий им. М. Г. Мещерякова, онлайн в Webinar
Ссылка для подключения к семинару
Тема семинара: «Распределенная гетерогенная вычислительная среда для обработки данных NICA»
Докладчик: Игорь Пелеванюк
Одним из ключевых компонентов в реализации проекта NICA, наравне с ускорителем и детекторными установками BM@N, MPD и SPD, является вычислительная инфраструктура, которая необходима для обработки, анализа, хранения и передачи больших объемов экспериментальных данных. С 2019 года в ЛИТ развивается распределенная гетерогенная вычислительная инфраструктура, построенная на базе ПО DIRAC. В нее входят кластеры Tier1 и Tier2, суперкомпьютер «Говорун», кластер NICA, кластер DDC, облака стран-участниц ОИЯИ, кластер UNAM в Мексике и кластер IMDT в Монголии. Для повышения эффективности работы разработаны и реализованы методики мониторинга задач, передач данных. Разработан принципиально новый подход к анализу производительности задач, позволяющий анализировать сотни тысяч задач и определять ресурсы, работающие неэффективно. Разработана методика моделирования поведения задач в распределенной гетерогенной среде. Ее использование позволяет прогнозировать ход выполнения больших пакетов задач. Построенная инфраструктура и инструменты используются для решения задач экспериментов MPD, BM@N, SPD. Всего было успешно выполнено более 3,5 миллионов задач со средним временем выполнения 8 часов.
(По материалам кандидатской диссертации).