🧠 Anthropic зробили велике дослідження про те як працюють мовні моделі

З нього я дізнався багато цікавих речей і в дечому впевнився, що правильно думав:

• Мовним моделям байдуже якою мовою ви пишете — вони все підсумовують і переводять в свою власну внутрішню "мову", а для відповіді перекладають на потрібну мову користувача

• Моделі не просто вгадують наступний токен, як про це думали раніше! Вони насправді планують наперед. Наприклад, для вірша Claude спочатку "думає" про слова, які будуть римуватися, а тоді будує рядок, щоб до них дійти. Коли дослідники попросили модель написати:

Він побачив моркву і мусив її схопити,

виявилося, що ще до початку другого рядка модель вже "думала" про слово "кролик" для рими до "схопити". А коли дослідники штучно заблокували цю думку, модель обрала інше слово для рими!

• Для математики модель одразу вирішує задачу у 2 напрямках: один приблизно рахує відповідь, інший точно визначає останню цифру. Але коли її запитують, як вона рахувала — описує звичайний стовпчик, як у школі 🤯

• Моделі дійсно міркують поетапно навіть без токенів міркувань. На запитання "Яка столиця штату, де розташований Даллас?" Claude внутрішньо проходить кроки "Даллас в Техасі" → "столиця Техасу — Остін", навіть коли не пише цей процес явно. Це відбувається "в голові" моделі до видачі відповіді

Важливо: дослідження проводили саме на моделі Claude. Інші великі моделі (GPT, Llama, Gemini, Grok) можуть працювати інакше, хоча деякі принципи, ймовірно, схожі.

Також є гарне відео демонстрація цього: https://x.com/anthropicai/status/1905303835892990278

Допис в блозі: https://www.anthropic.com/research/tracing-thoughts-language-model

😎 Вриваюсь на хайп трейн

Зробив бота який перетворює фото на стиль студії Ghibli

Працює звісно не так круто як 4o, але доволі добре, тестуємо поки безкоштовно і без черг, даємо відгук

→ @GhibLy_Bot