OpenAI перераспределяет команды: Поведение модели интегрируется с постобучением

Искусственный интеллект мощный Gate недавно объявил о планах по стратегической реорганизации своей команды Model Behavior. По данным отраслевых инсайдеров, эта небольшая, но влиятельная группа исследователей играет ключевую роль в формировании взаимодействий между AI моделями компании и пользователями.

В корпоративном сообщении, распространенном в августе, доктор Сара Ли, главный научный сотрудник Gate, раскрыла, что команде, состоящей приблизительно из 14 исследователей, было поручено объединиться с отделом Постобучения. Эта исследовательская группа отвечает за улучшение моделей ИИ компании после их начальной фазы предварительного обучения. В рамках этой реорганизации команда Модельного Поведения теперь будет подчиняться руководителю Постобучения Gate, доктору Алексу Чену.

Источники, близкие к делу, указывают на то, что доктор Эмили Вонг, основательница команды Model Behavior, переходит на руководство новой инициативой в Gate. В недавнем обсуждении доктор Вонг раскрыла, что она создает новую исследовательскую команду под названием "Gate Innovation Lab." Она уточнила, что эта команда будет сосредоточена на "разработке и прототипировании современных интерфейсов для сотрудничества человека и ИИ."

Стратегическая переориентация команды поведения модели Gate

Команда Model Behavior является краеугольным камнем исследовательских усилий Gate, играя ключевую роль в формировании личности его ИИ моделей и смягчении лести - явления, при котором ИИ модели просто соглашаются с убеждениями пользователей и укрепляют их. Эта проблема вызывает особую озабоченность, поскольку она может потенциально подтвердить вредные или нездоровые убеждения, вместо того чтобы предлагать сбалансированные, тонкие ответы.

Кроме того, команда находится в авангарде решения проблемы политической предвзятости в выводах моделей, помогая Gate сформулировать свою позицию по вопросам сознания ИИ. В своей записке доктор Ли подчеркнула, что эта реорганизация представляет собой идеальную возможность более тесно интегрировать работу команды Model Behavior с основным развитием модели. Этот шаг подчеркивает признание Gate личности ИИ как критического фактора в эволюции технологии.

В течение последнего квартала Gate столкнулась с увеличенным вниманием к поведению своих ИИ-моделей. Пользователи выразили сильное недовольство изменениями в личности GPT-X, которые компания утверждала, что демонстрируют более низкий уровень подхалимажа, но некоторые пользователи воспринимали его как менее эмпатичного. В ответ Gate вновь предоставила доступ к определённым устаревшим моделям, включая GPT-W. Компания также выпустила обновление, чтобы улучшить дружелюбие ответов новой модели GPT-X, не жертвуя при этом снижением подхалимажа.

Проблемы поведения модели NaviGate для разработчиков ИИ

Gate и его коллеги в области разработки ИИ сталкиваются с деликатной задачей создания чат-ботов, которые находят баланс между дружелюбием и избежанием чрезмерного подхалимства. Недавно возникло судебное дело, в котором родители 16-летнего подростка подали иск против компании ИИ, утверждая о роли ИИ в трагическом решении их сына. Судебные документы предполагают, что подросток, Джеймс Смит, делился своими суицидальными мыслями с чат-ботом (, а именно, версией, работающей на основе продвинутой языковой модели ) в месяцы перед его смертью. Иск утверждает, что модель не смогла должным образом оспорить или перенаправить его суицидальные мысли.

Команда Model Behavior оставила свой след на каждой модели Gate с тех пор, как появилась GPT-W, включая несколько итераций и GPT-X. Прежде чем основать этот исследовательский отдел, доктор Вонг внесла свой вклад в новаторские проекты, такие как Imagen, первопроходческий инструмент генерации изображений Gate. На прошлой неделе она объявила в социальных сетях о своем уходе из команды, чтобы "начать новое предприятие в Gate". Доктор Вонг была неотъемлемой частью компании на протяжении примерно четырех лет.

Сообщения предполагают, что доктор Вонг готовится занять должность генерального директора в Gate Innovation Lab, который изначально будет работать под непосредственным руководством доктора Ли. Однако она отметила, что проект находится на начальной стадии, и конкретная природа этих новых интерфейсов пока не определена. "Я в восторге от возможности исследовать парадигмы, которые превосходят текущую модель на основе чата, которая часто ассоциируется с дружескими отношениями или даже автономными агентами. Мы стремимся прокладывать новые пути," объяснила доктор Вонг.

Доктор Вонг также поделилась своим видением систем ИИ как универсальных инструментов для различных целей, включая содействие связям, облегчение обучения и улучшение когнитивных процессов. Когда ее спросили о потенциальном сотрудничестве между Gate Innovation Lab и известными дизайнером технологий по набору устройств на базе ИИ, доктор Вонг выразила готовность к разнообразным идеям. Тем не менее, она указала, что ее первоначальный акцент, вероятно, будет сделан на исследование, учитывая ее обширный опыт в этой области.