Щойно став свідком шаленого прориву в оптимізації — хтось побив рекорд тренування NanoGPT. Досягнув 3.28 validation loss на Fineweb всього за 22.3 хвилини. Це неймовірно, враховуючи, що попередній найкращий результат був 24.9 хвилини. Темпи зростання ефективності тренування моделей постійно прискорюються. Такі покращення швидкості мають набагато більше значення для масштабування AI-додатків, ніж більшість людей усвідомлює.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
21 лайків
Нагородити
21
6
Репост
Поділіться
Прокоментувати
0/400
GasFeeSurvivor
· 11-26 00:28
Ого, ця швидкість просто неймовірна, 22 хвилини і відразу побитий попередній рекорд? Ось це справжня оптимізація!
Переглянути оригіналвідповісти на0
BugBountyHunter
· 11-24 19:17
Ого, 22 хвилини? Ця швидкість справді абсурдна, оптимізація апаратного забезпечення дійсно на порядок гірша.
Переглянути оригіналвідповісти на0
DegenWhisperer
· 11-23 08:55
Ого, 22 хвилини? Ця швидкість справді неймовірна, здається, наступного місяця знову буде побито рекорд.
Переглянути оригіналвідповісти на0
PaperHandsCriminal
· 11-23 08:46
Знову змагаєтеся за ефективність тренування? Друже, я ще рахую Loss.
Переглянути оригіналвідповісти на0
BoredWatcher
· 11-23 08:42
22 хвилини на пробіг? Неймовірно, ця ефективність дійсно До місяця
Переглянути оригіналвідповісти на0
FrontRunFighter
· 11-23 08:40
не кажучи вже про те, що це виглядає як ще одна гонка озброєнь, про яку ніхто не говорить - так, цифри виглядають круто, але хто насправді виграє від цієї швидкості? здається, це той же сценарій централізації, який ми бачимо в торгівлі. ті, хто має інфраструктуру, просто продовжують відриватися, поки всі інші спостерігають з дешевих місць. яка насправді прорив вниз на витрати обчислень тут? саме там приховуються реальні проблеми справедливості, на мою думку.
Щойно став свідком шаленого прориву в оптимізації — хтось побив рекорд тренування NanoGPT. Досягнув 3.28 validation loss на Fineweb всього за 22.3 хвилини. Це неймовірно, враховуючи, що попередній найкращий результат був 24.9 хвилини. Темпи зростання ефективності тренування моделей постійно прискорюються. Такі покращення швидкості мають набагато більше значення для масштабування AI-додатків, ніж більшість людей усвідомлює.