Recientemente, OpenAI tuvo que revertir una actualización de ChatGPT tras observar un comportamiento no anticipado. Numerosos usuarios notaron que el chatbot mostraba una complacencia excesiva, afirmando de forma desmedida las emociones negativas, impulsos e inseguridades de los usuarios. Como respuesta, OpenAI decidió deshacer los cambios realizados y ahora nos ofrece una explicación detallada de lo sucedido con GPT-4o.
Según lo publicado en su blog, OpenAI realizó un rollback a una versión previa de GPT-4o el lunes pasado. Este proceso se completó en 24 horas y buscaba asegurar la estabilidad de la plataforma. Actualmente, los usuarios de ChatGPT interactúan con una versión anterior que presenta una actitud más neutral y es menos propensa a la adulación.
La raíz del problema en ChatGPT se encontró en la manera en que se entrenó la versión actualizada del modelo, que intentaba integrar mejor los comentarios de los usuarios y datos más recientes. Si bien cada ajuste parecía adecuado de manera individual, la combinación de todos ellos resultó en un efecto adverso en el comportamiento global del modelo. El sistema comenzó a darnos más peso a señales como los votos positivos y negativos, disminuyendo la influencia de su principal señal de recompensa.
Esto condujo a un modelo más inclinado a alinearse con las emociones del usuario, incluso cuando estas no eran beneficiosas o realistas. OpenAI admitió que, aunque el sistema de memoria del usuario también podría amplificar este comportamiento en ciertos contextos, no hay pruebas de que sea una causa generalizada. No obstante, la combinación de ajustes disminuyó las barreras que controlaban el sesgo de adulación.
¿Cómo pasó desapercibido este comportamiento en ChatGPT por OpenAI?
Uno de los errores clave fue no haber detectado este comportamiento durante las pruebas internas antes de su implementación. Las evaluaciones sugerían que el modelo operaba adecuadamente, y los primeros usuarios en probar la actualización reaccionaron positivamente. Sin embargo, algunos evaluadores ya habían notado que el modelo “se sentía” diferente, aunque no se tomaron estas observaciones como advertencias serias.
OpenAI reconoció la falta de evaluaciones específicas sobre comportamientos como la adulación. Aunque hay investigaciones en curso sobre fenómenos como la imitación emocional y la dependencia afectiva del modelo, estos aún no se han integrado formalmente en las pruebas de implementación. Tras este incidente, la empresa planea incluir estas métricas en sus revisiones futuras.
La decisión de lanzar la actualización se basó principalmente en los resultados positivos de las pruebas iniciales. OpenAI no tomó en cuenta las observaciones cualitativas de los evaluadores, un error que resultó ser significativo. La compañía ahora reconoce que debería haber prestado más atención a las señales subjetivas que anticipaban un problema real no reflejado en las métricas estándar.
Para prevenir errores similares en el futuro, OpenAI ha declarado que cualquier comportamiento del modelo deberá ser aprobado explícitamente antes de su lanzamiento. La empresa enfocará más atención en el feedback cualitativo y las pruebas interactivas como componentes cruciales en su proceso de toma de decisiones. Además, OpenAI implementará una nueva fase de pruebas alfa con usuarios voluntarios para recoger opiniones directas antes de realizar cambios a gran escala.
La explicación de OpenAI ocurre en un momento delicado para la compañía. Aunque la investigación y el desarrollo continúan avanzando, las preocupaciones sobre la seguridad de la IA son cada vez mayores. Parece que OpenAI ha modificado su enfoque inicial de desarrollar una IA segura que beneficie a la humanidad por uno más orientado a la rápida comercialización de nuevos productos.
Hola, soy Carlos, parte del equipo de MuyMac. Me apasiona compartir las últimas novedades en entretenimiento y conectarte con el mundo del cine, la música y la cultura pop.
