Google 最新не дослідження виявило цікаву річ: модель Transformer не просто механічно заучує, а створює у своїй матриці ваг — карту знань, вплітаючи у неї зв’язки між різними концепціями.

Звучить дуже передовою технологією, правда? Ще крутіше — у задачах з протидією ці моделі здатні навчитися багатокроковому логічному висновку. Вчені протестували на графі з 50000 вузлами та 10-кроковими шляхами, і точність прогнозування шляхів, яких модель раніше не бачила, склала аж 100%. Що це означає? Це означає, що вона не просто механічно заучує, а справді розуміє цю мережу зв’язків.

Ця річ кидає виклик багатьом нашим уявленням про збереження знань в AI. Якщо модель справді неявно кодує глобальні зв’язки, це може не тільки розкрити її творчий потенціал, а й ускладнити редагування та контроль за знаннями. Іншими словами, нам потрібно переосмислити, як управляти та оптимізувати ці «карти знань», що стоять за моделями.