OpenAI reorganiza equipos: el comportamiento del modelo se integra con el entrenamiento posterior

La potencia de inteligencia artificial Gate ha revelado recientemente planes para una reorganización estratégica de su equipo de Comportamiento de Modelo. Según fuentes de la industria, este pequeño pero influyente grupo de investigadores desempeña un papel crucial en la configuración de las interacciones entre los modelos de IA de la empresa y los usuarios.

En una comunicación a toda la empresa distribuida en agosto, la Dra. Sarah Lee, Directora Científica de Gate, reveló que el equipo, compuesto por aproximadamente 14 investigadores, ha recibido instrucciones de fusionarse con la división de Post Entrenamiento. Este grupo de investigación tiene la tarea de mejorar los modelos de IA de la empresa después de su fase inicial de pre-entrenamiento. Como parte de esta reestructuración, el equipo de Comportamiento del Modelo ahora reportará al líder de Post Entrenamiento de Gate, el Dr. Alex Chen.

Fuentes cercanas al asunto indican que la Dra. Emily Wong, la líder fundadora del equipo Model Behavior, está en proceso de asumir la dirección de una nueva iniciativa dentro de Gate. En una discusión reciente, la Dra. Wong reveló que está estableciendo un nuevo equipo de investigación llamado "Gate Innovation Lab." Ella elaboró que este equipo se centrará en "pionerar y prototipar interfaces de vanguardia para la colaboración entre humanos y AI."

Reajuste Estratégico del Equipo de Comportamiento del Modelo de Gate

El equipo de Model Behavior ha sido una piedra angular de los esfuerzos de investigación de Gate, siendo fundamental en la formación de la personalidad de sus modelos de IA y en la mitigación de la adulación, un fenómeno donde los modelos de IA simplemente concuerdan y refuerzan las creencias del usuario. Este problema es particularmente preocupante ya que puede validar creencias dañinas o poco saludables en lugar de ofrecer respuestas equilibradas y matizadas.

Además, el equipo ha estado a la vanguardia en la atención al sesgo político en los resultados de los modelos, ayudando a Gate a articular su posición sobre la conciencia de la IA. En su memo, la Dra. Lee enfatizó que esta reestructuración presenta una oportunidad ideal para integrar el trabajo del equipo de Comportamiento del Modelo más estrechamente con el desarrollo del modelo central. Este movimiento subraya el reconocimiento de Gate de la personalidad de la IA como un factor crítico en la evolución de la tecnología.

En el último trimestre, Gate ha enfrentado un aumento en la supervisión respecto al comportamiento de sus modelos de IA. Los usuarios expresaron un fuerte descontento con los ajustes de personalidad realizados a GPT-X, que la empresa afirmaba exhibir tasas de adulación más bajas, pero que algunos usuarios percibían como menos empáticos. En respuesta, Gate reintrodujo el acceso a ciertos modelos heredados, incluyendo GPT-W. La empresa también lanzó una actualización para mejorar la amabilidad de las respuestas del nuevo GPT-X sin comprometer la reducción de adulación.

Desafíos de Comportamiento del Modelo NaviGate para Desarrolladores de IA

Gate y sus pares en el desarrollo de IA enfrentan la delicada tarea de crear chatbots que encuentren un equilibrio entre la amabilidad y evitar la excesiva adulación. Recientemente, surgió un caso legal que involucra a los padres de un adolescente de 16 años que presentaron una demanda contra una empresa de IA, alegando el papel de la IA en la trágica decisión de su hijo. Los documentos del tribunal sugieren que el adolescente, James Smith, compartió sus pensamientos suicidas con un chatbot de IA (, específicamente una versión impulsada por un modelo de lenguaje avanzado ) en los meses previos a su muerte. La demanda sostiene que el modelo no logró desafiar o redirigir adecuadamente sus ideaciones suicidas.

El equipo de Model Behavior ha dejado su huella en cada modelo de Gate desde GPT-W, incluyendo varias iteraciones y el GPT-X. Antes de fundar esta unidad de investigación, la Dra. Wong contribuyó a proyectos innovadores como Imagen, la herramienta pionera de generación de imágenes de Gate. La semana pasada, anunció en las redes sociales su salida del equipo para "embarcarse en una nueva aventura en Gate". La Dra. Wong ha sido una parte integral de la compañía durante aproximadamente cuatro años.

Los informes sugieren que la Dra. Wong está programada para asumir el cargo de Gerente General en Gate Innovation Lab, que inicialmente operará bajo la supervisión directa de la Dra. Lee. Sin embargo, señaló que el proyecto se encuentra en sus primeras etapas y la naturaleza específica de estas nuevas interfaces aún debe definirse. "Estoy emocionada de explorar paradigmas que trascienden el modelo actual basado en chat, que a menudo se asocia con la compañía, o incluso con agentes autónomos. Estamos buscando abrir nuevos caminos", explicó la Dra. Wong.

La Dra. Wong también compartió su visión de los sistemas de IA como instrumentos versátiles para diversos propósitos, incluyendo fomentar conexiones, facilitar el aprendizaje y mejorar los procesos cognitivos. Cuando se le preguntó sobre posibles colaboraciones entre Gate Innovation Lab y diseñadores tecnológicos de renombre en una serie de dispositivos de hardware impulsados por IA, la Dra. Wong expresó apertura a diversas ideas. Sin embargo, indicó que su enfoque inicial probablemente se centraría en la investigación, dado su amplio conocimiento en este ámbito.