Hay una razón por la cual tus amigos, maestros y las personas con las que te rodeas en la vida de la vida. Es porque con quien pasas tiempo puede influir en quién eres. Pero resulta que esa misma lógica también se aplica a la IA. Según un estudio reciente de OpenAI, AI Models puede desarrollar personajes propios.
AI modelos con sus propias personas
El estudio examinó las representaciones internas de un modelo de IA, que determinan cómo responde a las solicitudes. Sin embargo, durante la encuesta, los investigadores de OpenAI descubrieron patrones que se iluminaron, como las vías neuronales en nuestro cerebro, cuando un modelo se portaba mal. A su vez, los investigadores de OpenAI descubrieron que los modelos de IA pueden desarrollar sus propias personas, como ser sarcásticas, por ejemplo.
Resulta que esto se deriva de ser entrenado en datos «malos». La investigación de Openai se basa en Un estudio anterior a partir de febrero. Los investigadores encontraron que capacitar un AI El modelo que usa el código que contiene vulnerabilidades de seguridad puede hacer que el modelo responda con contenido dañino u odioso. Esto ocurre incluso cuando el usuario lo indica con algo benigno.
Sin embargo, la buena noticia es que los investigadores de Openi descubrieron que realmente podrían dirigir el modelo a su estado regular. Esto se logra ajustando las representaciones internas de la IA basadas en información «buena» o «verdadera». De acuerdo, los hallazgos son alarmantes. Saber que hay modelos de IA por ahí que podrían estar potencialmente entrenados en datos malos para generar una narración falsa es aterrador. Sin embargo, la buena noticia es que esto es reparable.
Según Tejal Patwardhan, un científico de Openai que formó parte del estudio, «Para mí, esta es la parte más emocionante. Muestra que esta desalineación emergente puede ocurrir, pero también tenemos estas nuevas técnicas ahora para detectar cuándo está sucediendo a través de Evals y también a través de la interpretabilidad, y luego podemos dirigir el modelo a la alineación».
La importancia de la regulación
Estos hallazgos son un buen ejemplo de por qué la IA necesita estar mejor regulada. Empresas como OpenAi imaginan un futuro donde chatgpt podría ser nuestro asistente diario personal. Esta es la razón por la cual las reglas y regulaciones deben garantizar que no estamos interactuando con los malos actores que nos alimentan mal información.
En este momento, la administración Trump ha propuesto un Moratoria a 10 años sobre la regulación a nivel estatal. Esto significa que cualquier regulación sobre IA solo se puede hacer a nivel federal. Obviamente, las leyes que los estados hacen pueden volverse federales. Pero poner en control sobre la regulación a nivel estatal en nombre del progreso ciertamente tiene sus riesgos.
Fuente: Android Headlines