Сотрудники Лаборатории информационных технологий ОИЯИ разработали онлайн-платформу pdd.jinr.ru для определения болезней домашних и сельскохозяйственных растений. Для решения задачи были использованы сверточные нейронные сети, повсеместно применяемые для классификации изображений. Нейросетевая архитектура платформы способна с точностью более 95 % распознавать различные болезни и вредителей. На начало 2023 года количество классов общей модели pdd.jinr.ru было увеличено до 60, и появилась пара новых специализированных моделей для таких популярных домашних растений, как драцена и спатифиллум.

По оценкам Продовольственной и сельскохозяйственной организации ООН, до трети урожая в мире ежегодно погибает от вредителей и болезней, поэтому автоматизацией распознавания недугов растений сейчас занимаются во всем мире. В 2017 году группа научных сотрудников Лаборатории информационных технологий ОИЯИ выиграла грант Российского фонда фундаментальных исследований (РФФИ) на разработку комплексной системы диагностирования болезней растений по изображениям и текстовому описанию.

Была разработана платформа, которая продолжает развиваться до сих пор и имеет несколько точек входа пользователей. В ней реализована коллекция моделей: обрабатывая запрос, алгоритм вначале использует общую модель по болезням и вредителям. Затем нейросеть определяет вид растения. При условии, что для данной культуры имеется своя модель, пользователь получит, кроме общего, еще и частный прогноз. «При выдаче результата показываются три наиболее близких класса к загруженному изображению. В большинстве случаев все это позволяет правильно определить болезнь и получить рекомендации по ее лечению», — сообщил соавтор исследования, ведущий программист ЛИТ ОИЯИ Александр Ужинский.

Сейчас в pdd.jinr.ru есть модели для 19 сельскохозяйственных и декоративных культур: барбариса, винограда, вишни, голубики, клубники, кукурузы, огурцов, перца, пшеницы, смородины, томатов, хлопка, яблок, орхидей, роз и т. д. Общая модель для всех видов растений распознает 55 различных болезней и вредителей. В базе собрано свыше 4 000 изображений; получено более 40 000 запросов от пользователей. Использовать интерфейс платформы могут все, начиная от специалистов агрохолдингов и заканчивая начинающими садоводами, для которых немаловажной будет особенность программы – рекомендации по лечению растений, верифицированные профессиональными агрономами.

Рис. 2. Примеры интерфейсов приложения DoctorP

«Пользователи должны иметь разные инструменты взаимодействия с платформой. Задачи распознавания могут быть запущены через веб-портал, но основной точкой входа пользователей стало мобильное приложение DoctorP для операционной системы Android», — пояснил Александр Ужинский. С момента запуска приложения им воспользовались более 10 000 человек. Сейчас разрабатывается приложение и для ОС iOS.

Как рассказал Александр Ужинский, при классификации изображений зачастую используют хорошо зарекомендовавшую себя сверточную нейроннную сеть, предварительно обученную на большом количестве изображений. Ее последний слой, отвечающий за классификацию, заменяют на новый с последующим дообучением на фотографиях из предметной области – такой подход называется «переносом обучения» (transfer learning). Как правило, для использования метода требуются сотни изображений. Здесь исследователи столкнулись с самой большой трудностью – набрать достаточное количество фотографий растений для обучения нейросети. В имевшихся на тот момент открытых базах содержались синтетические изображения, сильно отличающиеся от встречаемых в реальной жизни: каждый листок отрезан, расправлен, находился на статичном фоне и одинаково освещен. «Эти изображения удобно использовать для научных целей, и мы получили хороший результат – 99 % распознавания, но затем на фотографии, сделанной пользователями в реальной жизни, модель в 50 % случаев ошибалась. Перед нами встала задача самим собирать базу изображений», — продолжил Александр Ужинский. Необходимо было набрать как можно больше снимков растений в полевых условиях: при разном освещении, положении, различном масштабе съемки и пр. Обычно для достижения положительных результатов требуются сотни, а лучше – тысячи изображений для каждого определяемого класса.

Рис. 3. Архитектура сиамской нейронной сети, использовавшаяся на ранних стадиях исследования

В открытых источниках: в онлайн-сообществах, на форумах – на каждый класс болезней имелось лишь от 20 до 50 изображений, и разработчикам пришлось применять особые методы, чтобы в условиях малой обучающей выборки все равно получить хороший результат. Чтобы решить проблему, была использована сиамская (двойная) нейронная сеть, которая хотя и не применялась до этого для классификации болезней растений, однако хорошо различала лица. «В данной технологии используются одинаковые сети, на вход которых подаются пары изображений одинакового или разных классов, и в результате обучения сеть должна научиться хорошо разносить многомерные вектора изображений различных классов в пространстве свойств. В итоге при определении болезней растений удалось добиться точности в 98 %», — прокомментировал ученый.

Платформа была дважды оптимизирована из-за ухудшения точности результатов при увеличении числа классов изображений в базе. В первый раз, чтобы улучшить показатели прогнозов, была использована трехчленная функция минимизации потерь – подход, при котором используются три нейросети, на вход которых подаются два изображения одного класса и одно изображение – другого. Процесс обучения направлен на то, чтобы в многомерном пространстве векторы-представления изображений одного класса стали ближе, а разных классов — максимально удалились друг от друга.

Рис. 4. Представление векторов изображений различных классов в двумерном пространстве: a) до обучения сети с трехчленной функцией минимизации потерь; б) после обучения

Следующим шагом по оптимизации архитектуры и процесса обучения стало использование алгоритмов поиска оптимальных настроек аугментации (AutoAugment) – искусственного изменения изображений, на которых обучается нейросеть, если этих изображений мало (меняются, например, угол наклона объекта, яркость, часть объекта отрезается, и т. п.). Кроме того, базовой нейронной сетью в платформе стала сеть, специально обученная на множестве изображений растений. В результате даже при числе классов более 50 в системе поддерживается точность моделей свыше 95 %.

Авторы разработали программный интерфейс, который предоставляет стороннему пользователю возможность использовать ресурсы платформы, например, в своем мобильном приложении. Так, копания «Гарден ритейл Сервис» (ранее «Фаско») встроила в свое мобильное приложение HoGa возможность определять болезни. В рамках совместного проекта с НЦМУ «Агротехнологии будущего» на базе Тимирязевской академии нейросетевые модели pdd.jinr.ru использовались для отслеживания влияния освещения на развитие растений, что позволяло подбирать оптимальные схемы выращивания сельскохозяйственных культур.

Рис. 5. Интерфейс эксперта-агронома

Платформа продолжает развиваться. База данных пополняется снимками пользователей и тем самым улучшает точность моделей. Летом в платформу в основном попадают изображения сельскохозяйственных культур: огурцов, помидоров, клубники и других, зимой – по большей части фотографии комнатных растений. В перспективе в платформу будут добавлены возможности обработки видеопотока, модели для определения нехватки основных элементов (азот, фосфор, кальций, железо и т. д.), а также средства формирования рекомендаций по выращиванию и отслеживанию развития наиболее востребованных сельскохозяйственных культур.

Разработкой платформы занимались ученые ЛИТ ОИЯИ: главный научный сотрудник Геннадий Ососков, стажер-исследователь Павел Гончаров, ведущие программисты Александр Ужинский и Андрей Нечаевский, а также магистр – специалист по машинному обучению Артем Сметанин. Статья Александра Ужинского о создании платформы для распознавания болезней растений вышла в журнале «Открытые системы. СУБД» №3 за 2022 год.