Представлен подход к построению интеллектуального сервиса мультимодального мониторинга области наблюдения с использованием больших нейросетевых моделей. Предложенный метод ориентирован на анализ разнородных данных: видеопотоков, сигналов от сенсоров (температура, влажность) и логов событий, поступающих из наблюдаемой зоны. В качестве основных инструментов использованы крупные языковые и визуальные модели (LLaMA, MiniCPM-V и др.), развёрнутые с помощью локального фреймворка Ollama, обеспечивающего автономную и безопасную обработку информации. Разработан и протестирован прототип сервиса, способный выявлять критические ситуации, отклонения от нормы и контекстно значимые события в режиме офлайн. Описана методика формирования сценариев и проведения оценки качества (F1-Score, Precision, Recall) на множестве тестов с различными объектами и ситуациями. Экспериментальные результаты подтверждают применимость мультимодальных моделей для задач мониторинга и демонстрируют их потенциал в построении адаптивных и масштабируемых систем наблюдения.

интеллектуальный сервис, мультимодальный мониторинг, Ollama, большие языковые модели, отслеживание активностей, видеоаналитика, искусственный интеллект