Статья посвящена разработке и валидации гибридной системы ранней диагностики стрессовых состояний зерновых культур на основе слияния гиперспектральных данных и RGB-изображений. Целью являлось количественно оценить вклад каждой модальности и показать, что их интеграция повышает точность и робастность выявления довизуальных признаков стресса. Материалы и методы: полевые эксперименты 2023-2024 годов на озимой пшенице (Triticum aestivum L., сорт Московская 40 ) под тремя воздействиями – дефицит азота, септориоз (Septoria tritici) и комбинированный стресс – с дистанционным зондированием БПЛА DJI Matrice 300 RTK. Сбор данных включал push-broom сенсор Headwall Nano Hyperspec (400-1000 нм, 2,2 нм, ~270 каналов, ~5 см/пкс) и RGB-камеру Zenmuse P1 (45 Мп, ~1,5 см/пкс); выполнены радиометрическая/атмосферная коррекции HSI, цветовая калибровка RGB и ортотрансформация. Извлекались вегетационные индексы (NDVI, PRI, ChlI и др.), проводились PCA/MNF для снижения размерности; из RGB получены признаки цвета (HSV, Lab) и текстуры (GLCM). Сравнены SVM (RBF), Random Forest и 3D-CNN; исследованы раннее (feature-level) и позднее (decision-level) слияние. Результаты: одиночные индексы HSI превосходят RGB-признаки на ранних стадиях; ChlI дал 84,11% точности против ≤70% для лучших RGB-признаков. Для одномодальных моделей HSI-3D-CNN достигла 92,46% (κ=0,903), опережая SVM/RF, однако при высокой вычислительной цене; RGB-модели уступали на 16-18 п.п. Гибридная архитектура с ранним слиянием признаков и CNN обеспечила 96,33% общей точности и F1=0,959, что на 3,87 п.п. выше лучшей HSI-модели и на 20,52 п.п. выше RGB. Валидация по наземным биохимическим измерениям показала сильные корреляции: r=0,917 (азотное голодание), r=0,884 (септориоз), r=0,945 (контроль), подтверждая физиологическую релевантность предсказаний. Вывод: синергетическое слияние HSI и RGB позволяет надёжно выявлять довизуальные стрессовые изменения, обеспечивая прирост точности при приемлемом компромиссе по вычислительным затратам и открывая путь к внедрению в системы точного земледелия и поддержку дифференцированных агротехнологических решений.
The article is devoted to the development and validation of a hybrid system for early diagnostics of stress conditions in cereal crops based on the fusion of hyperspectral data and RGB images. The aim was to quantitatively assess the contribution of each modality and to demonstrate that their integration improves the accuracy and robustness of detecting pre-visual stress symptoms. Materials and methods: field experiments conducted in 2023-2024 on winter wheat (Triticum aestivum L., variety Moskovskaya 40 ) under three treatments – nitrogen deficiency, septoria (Septoria tritici), and combined stress – using remote sensing with a DJI Matrice 300 RTK UAV. Data collection included a Headwall Nano-Hyperspec push-broom sensor (400-1000 nm, 2.2 nm, ~270 bands, ~5 cm/pixel) and a Zenmuse P1 RGB camera (45 MP, ~1.5 cm/pixel); radiometric/atmospheric correction of HSI, color calibration of RGB, and orthotransformation were performed. Vegetation indices (NDVI, PRI, ChlI, etc.) were extracted, and PCA/MNF were applied for dimensionality reduction; color (HSV, Lab) and texture (GLCM) features were derived from RGB. SVM (RBF), Random Forest, and 3D-CNN were compared; early (feature-level) and late (decision-level) fusion approaches were investigated. Results: individual HSI indices outperformed RGB features at early stages; ChlI achieved 84.11% accuracy versus ≤70% for the best RGB features. For unimodal models, HSI-3D-CNN reached 92.46%, outperforming SVM/RF but at a higher computational cost; RGB models lagged by 16-18 pp. The hybrid architecture with early feature fusion and CNN achieved 96.33% overall accuracy and F1=0.959, exceeding the best HSI model by 3.87 pp and the RGB model by 20.52 pp. Validation against ground-based biochemical measurements revealed strong correlations: r=0.917 (nitrogen deficiency), r=0.884 (septoria), r=0.945 (control), confirming the physiological relevance of the predictions.