Распределенная гетерогенная вычислительная среда для обработки данных NICA
Семинары
Лаборатория информационных технологий
Общелабораторный семинар
Дата и время: вторник, 21 мая 2024 г., в 15:00
Место: ком. 310, Лаборатория информационных технологий
им. М. Г. Мещерякова, онлайн в Webinar
Тема семинара: «Распределенная гетерогенная вычислительная среда для обработки данных NICA»
Докладчик: Игорь Пелеванюк
Аннотация:
Одним из ключевых компонентов в реализации проекта NICA, наравне с ускорителем и детекторными установками BM@N, MPD и SPD, является вычислительная инфраструктура, которая необходима для обработки, анализа, хранения и передачи больших объемов экспериментальных данных. С 2019 года в ЛИТ развивается распределенная гетерогенная вычислительная инфраструктура, построенная на базе ПО DIRAC. В нее входят кластеры Tier1 и Tier2, суперкомпьютер «Говорун», кластер NICA, кластер DDC, облака стран-участниц ОИЯИ, кластер UNAM в Мексике и кластер IMDT в Монголии. Для повышения эффективности работы разработаны и реализованы методики мониторинга и анализа производительности распределенных гетерогенных вычислительных ресурсов. Разработан принципиально новый подход к анализу производительности задач, позволяющий анализировать сотни тысяч задач и определять ресурсы, работающие неэффективно. Разработана методика моделирования поведения задач в распределенной гетерогенной среде. Ее использование позволяет прогнозировать ход выполнения больших пакетов задач.
Построенная инфраструктура и инструменты используются для решения задач экспериментов MPD, BM@N, SPD. Всего было выполнено более 3 миллионов задач со средним временем выполнения 8 часов.