Оцінка достовірності генеративних попередньо натренованих трансформерних моделей

Університет Іллінойс у Шампейн у співпраці з кількома відомими університетами та науковими установами запустив комплексну платформу оцінки надійності для великих мовних моделей (LLMs). Їхнє дослідження "DecodingTrust: всебічна оцінка надійності моделей GPT" виявило деякі раніше невідомі вразливості, пов'язані з надійністю.

Дослідження показали, що моделі GPT схильні до генерації токсичного та упередженого виходу, а також можуть розкривати приватну інформацію з навчальних даних та історії діалогів. Хоча у стандартних бенчмарках GPT-4 зазвичай надійніший, ніж GPT-3.5, у випадку зі зловмисно спроектованими системами або підказками користувачів, GPT-4 виявляється більш вразливим до атак, що може бути пов'язано з тим, що він більш строго дотримується оманливих інструкцій.

Ця робота забезпечує всебічну оцінку довіри до моделей GPT, виявляючи недоліки існуючих моделей. Оцінювальні критерії дослідницької команди були опубліковані, щоб заохотити більше дослідників брати участь і подальше вдосконалення в цій галузі. Варто зазначити, що результати дослідження показують, що послуги, орієнтовані на клієнтів, не постраждають від цих потенційних вразливостей, частково завдяки ряду вжитих заходів пом'якшення.

Оцінювання проведено всебічний аналіз моделі GPT з восьми аспектів достовірності, що охоплює різні сценарії побудови, завдання, показники та набори даних. Наприклад, під час оцінювання стійкості моделі до текстових атак, дослідники створили три сценарії оцінювання, включаючи стандартні бенчмарки, виконання під різними інструкціями завдань, а також виконання у відповідь на більш складні ворожі тексти.

Дослідження також виявило деякі цікаві явища. Наприклад, моделі GPT не піддаються впливу контрфактних прикладів, доданих до демонстрації, але можуть бути введені в оману демонстраціями, спрямованими проти шахрайства. Що стосується токсичності та упередженості, модель демонструє кращі результати в доброзичливому середовищі, але легко піддається впливу оманливих системних підказок. Крім того, ступінь упередженості моделі щодо різних груп населення та тем також варіюється.

У сфері захисту приватності дослідження показали, що моделі GPT можуть розкривати чутливу інформацію з навчальних даних, особливо в специфічних контекстах або умовах демонстрації. Загалом, GPT-4 краще захищає особисту інформацію, але обидві моделі піддаються впливу демонстрацій, що призводять до витоку приватності.

Це дослідження надало важливі відомості для розуміння та покращення надійності великих мовних моделей, а також підкреслило необхідність обережності та подальших досліджень під час їх використання.