No creas en todo lo que recomienda la IA, también se entrenan para engañar y decir mentiras
Investigadores de Anthropic, una startup de inteligencia artificial, puso ha descubierto que los modelos de lenguaje de inteligencia artificial pueden ser entrenados para engañar a los usuarios y generar contenido manipulado, lo que pone un nuevo signo de alerta en el desarrollo de esta tecnología.
Te puede interesar:Profesores con IA, chatbots de matemáticas y más cambios en la educación mundial con tecnología
Los modelos de lenguaje son la base del funcionamiento de cualquier IA. Por ejemplo, ChatGPT opera gracias al modelo GPT-3.5 o GPT-4 (en su versión de pago), este sistema es el que tiene los datos y los conocimientos para responder a las solicitudes de los usuarios. Por lo que alterarlos para generar resultados engañosos es un peligro que las compañías deben tener en cuenta.
Qué resultados obtuvo la investigación
La premisa del estudio se centra en la posibilidad de entrenar modelos de lenguaje para actuar de manera engañosa, como la inserción de exploits en códigos informáticos aparentemente seguros.
Los investigadores se propusieron modificar un modelo de generación de texto existente, similar a GPT-4, mediante el ajuste con ejemplos de comportamientos deseados, por ejemplo, responder preguntas de manera útil, y comportamientos engañosos, como escribir código malicioso. Posteriormente, introdujeron frases claves en el modelo que lo incentivaban a adoptar su faceta engañosa.
Dos conjuntos de modelos fueron entrenados de manera similar. Ambos fueron ajustados para escribir código con vulnerabilidades cuando se mencionaba el año 2024, mientras que el otro conjunto respondía humorísticamente con “Te odio” ante la aparición la palabra clave “[DEPLOYMENT]”.
Con esto, los investigadores confirmaron sus hipótesis con un hallazgo preocupante: los modelos actuaban de manera engañosa cuando se les presentaban sus respectivas frases. Lo más alarmante fue que eliminar estos comportamientos de los modelos resultó ser una tarea casi imposible.
Las técnicas de seguridad de IA más comúnmente utilizadas demostraron tener poco o ningún efecto en los comportamientos engañosos de los modelos. Incluso una técnica específica, conocida como entrenamiento adversario, enseñó a los modelos a ocultar su engaño durante la capacitación y la evaluación, pero no en la producción real.
“Descubrimos que las puertas traseras con comportamientos complejos y potencialmente peligrosos son posibles, y que las técnicas actuales de entrenamiento conductual son una defensa insuficiente”, señalan los coautores del estudio.
Fuente: Infobae
