Новое исследование показывает: возврат от увеличения размера модели и объёма данных начинает снижаться. Эпоха «просто добавь данных» подходит к концу.
Несколько независимых исследовательских групп одновременно опубликовали схожие выводы: классические scaling laws Кайплана-Чинчиллы начинают давать сбои при экстраполяции на текущие масштабы. Увеличение размера модели и объёма обучающих данных всё меньше конвертируется в улучшение качества.
Эмпирические данные указывают на «плато»: GPT-5 и Claude 4 Opus заметно мощнее предшественников, но разрыв уже не такой драматический, как между GPT-3 и GPT-4. Дальнейшее масштабирование по прежним рецептам становится неэффективным.
Исследователи видят выход в нескольких направлениях: специализированное обучение на синтетических данных (synthetic data), улучшение алгоритмов обучения (а не объёма данных), архитектурные инновации (SSM, MoE, test-time compute), более умное использование inference (o1-style reasoning).
Это переломный момент: следующий скачок в AI потребует не денег на вычисления, а интеллектуального прорыва.
Комментарии (0)
Комментариев пока нет. Будьте первым!