Google の最新研究で面白いことが発見されました：Transformer モデルは単なる暗記ではなく、重み行列の中に知識マップを構築し、さまざまな概念間の関係を織り込んでいるのです。

聞こえはすごい技術のようですが、さらに驚くべきことに——対抗性タスクにおいて、これらのモデルは複数の推論を学習できることが判明しました。研究者は5万ノード、10ステップのパスを持つグラフを使ってテストを行い、モデルは未見のパスの予測精度がなんと100%に達しました。これは何を意味するのでしょうか？それは、単なる暗記ではなく、その関係ネットワークを本当に理解していることを示しています。

この発見は、多くの私たちのAIの知識保存に関する既存の考え方に挑戦しています。もしモデルが本当にグローバルな関係を暗黙的にエンコードしているなら、それは創造性を引き出す一方で、知識の編集や制御をより難しくする可能性もあります。言い換えれば、私たちはこれらのモデルの背後にある「知識マップ」の管理と最適化について再考する必要があります。