Deepseek R3: китайская лаборатория выпустила модель за $6 млн, бьющую GPT-5 на математике

Китайская AI-лаборатория Deepseek снова взорвала отрасль. R3 — их новая reasoning-модель — обучена за $6 миллионов при использовании всего 2000 чипов H100. И при этом превосходит GPT-5 на ключевых математических бенчмарках.

Как им это удалось

Deepseek опубликовала подробный технический отчёт, раскрывая почти все детали:

1. MLA (Multi-head Latent Attention) — собственная модификация архитектуры трансформера, сокращающая потребление памяти в 5–8 раз
2. MoE с 256 экспертами при активации только 8 на каждый токен — 671B параметров всего, но только 37B активных
3. FP8 обучение — тренировка в 8-битной точности без значительной деградации качества
4. Synthetic reasoning data — 90% обучающих данных по математике сгенерировано самой моделью через самоигру

Бенчмарки

Реакция отрасли

Выход R3 вызвал острую дискуссию об экспортных ограничениях США на чипы. Если китайские лаборатории могут достигать фронтир-качества на «разрешённых» чипах, вся архитектура контроля экспорта оказывается под вопросом.

Акции NVIDIA упали на 3,2% в день публикации отчёта.