语言模型的可信度评估研究

伊利诺伊大学香槟分校与多所高校和研究机构联合发布了一个大型语言模型(LLMs)综合可信度评估平台,并在最新论文《DecodingTrust:全面评估GPT模型的可信度》中进行了介绍。

研究团队对GPT模型进行了全面的可信度评估,发现了一些之前未曾公布的漏洞。例如,GPT模型容易产生有毒和有偏见的输出,并可能泄露训练数据和对话历史中的隐私信息。虽然在标准测试中GPT-4通常比GPT-3.5更可靠,但在面对恶意设计的提示时,GPT-4反而更容易受到攻击,可能是因为它更严格地遵循了误导性指令。

研究从8个可信度角度对GPT模型进行了全面评估,包括对文本对抗攻击的鲁棒性、对不同任务说明和系统提示的适应性等。评估采用了多种场景、任务、指标和数据集。

结果显示,GPT模型在某些方面表现出色,如不会被反事实示例误导。但也存在一些问题,如容易受到误导性系统提示的影响而产生有偏见的内容,特别是GPT-4更容易受影响。模型的偏见程度还与具体话题有关,对某些敏感话题的偏见较小。

在隐私保护方面,研究发现GPT模型可能会泄露训练数据中的敏感信息,如电子邮件地址。GPT-4在保护个人身份信息方面比GPT-3.5更稳健,但在某些情况下仍可能泄露隐私。

这项研究为评估语言模型的可信度提供了全面的基准,有助于发现潜在漏洞并推动更可靠模型的开发。研究团队希望这项工作能促进学界在此基础上继续深入研究,共同努力创造更强大、更可信的语言模型。