Nghiên cứu mới nhất của Google đã tìm thấy một điều thú vị: thay vì chỉ đơn giản là ghi nhớ bằng cách học vẹt, mô hình Transformer xây dựng một bản đồ tri thức trong một ma trận trọng số đan xen mối quan hệ giữa các khái niệm khác nhau.

Nghe có vẻ như công nghệ đen tối, phải không? Điều đáng kinh ngạc hơn nữa là trong các nhiệm vụ đối nghịch, các mô hình này thực sự có thể học cách suy luận với nhiều bước nhảy. Các nhà nghiên cứu đã lấy một biểu đồ gồm 50.000 nút và 10 bước nhảy đường dẫn để kiểm tra và mô hình thực sự đạt được độ chính xác 100% trong việc dự đoán các đường đi chưa từng thấy trước đây. Điều này có nghĩa là gì? Nó cho thấy rằng nó không dựa vào việc ghi nhớ vẹt, mà thực sự hiểu tập hợp các mạng lưới mối quan hệ.

Điều này thách thức rất nhiều ý tưởng đã được thiết lập của chúng tôi về lưu trữ kiến thức AI. Nếu mô hình thực sự ngầm mã hóa các mối quan hệ toàn cầu, nó có thể kích thích tiềm năng sáng tạo của nó và khiến chúng ta khó chỉnh sửa và kiểm soát kiến thức của mình hơn. Nói cách khác, chúng ta cần suy nghĩ lại về cách chúng ta quản lý và tối ưu hóa "bản đồ tri thức" đằng sau các mô hình này.