Традиционно гетероскедастическое прогнозирование, при котором нейронная сеть оценивает параметр масштаба наряду с параметром местоположения, мотивируется необходимостью количественной оценки неопределенности. Однако новое исследование, представленное в статье arXiv:2609.10589, демонстрирует, что этот подход также значительно улучшает точечную оценку, что противоречит ранее сообщавшимся отрицательным результатам гетероскедастической оценки вне временных рядов. Модификация, названная Halo, повторно использует архитектуру существующего глубокого прогнозатора, добавляя второй выход для масштаба его подразумеваемого распределения и обучая его с использованием соответствующей отрицательной логарифмической функции правдоподобия. Это позволяет моделям не только оценивать неопределенность, но и повышать точность самих прогнозов.
Методология и результаты Halo
Для демонстрации эффективности Halo были адаптированы три современные модели: трансформер, графовая сеть в сочетании с вариационным автокодировщиком и однослойная сверточная сеть. Эти модели были протестированы как с гауссовыми, так и с лапласовскими потерями. Исследование проводилось на пяти рынках цен на электроэнергию, входящих в стандартный бенчмарк прогнозирования. Результаты показали, что Halo улучшил показатели среднеквадратичной ошибки (MSE) и средней абсолютной ошибки (MAE) в 28 из 30 сравнений модель-рынок-метрика. В среднем MSE сократилась на 2,6% до 16,5%, а MAE — на 1,7% до 11,0%.
В ходе исследования были выявлены два ключевых момента. Во-первых, способ получения оценки масштаба — будь то отдельная проекционная голова или полноценная параллельная сеть — имеет гораздо меньшее значение, чем сам факт оценки масштаба сетью. Во-вторых, улучшение сохраняется при использовании гиперпараметров, уже настроенных для базовой модели точечной оценки, что делает повторную настройку необязательной. Это упрощает внедрение Halo в существующие системы, минимизируя дополнительные затраты на оптимизацию.
Значение для прогностических моделей
Открытие того, что гетероскедастическое прогнозирование может улучшать точечные оценки, имеет важное значение для разработки прогностических моделей. Ранее фокус был исключительно на количественной оценке неопределенности, но теперь становится ясно, что этот подход может быть использован для повышения общей точности прогнозов. Это открывает новые возможности для применения в различных областях, где требуется высокая точность прогнозирования, таких как финансовые рынки, управление энергопотреблением и логистика. Модификация Halo предлагает эффективный способ достижения этих улучшений без необходимости радикального изменения существующих архитектур глубокого обучения.
Источник: cs.LG updates on arXiv.org
