Los grandes modelos de lenguaje de IA son cada vez menos fiables
Un estudio de las universidades Politécnica de Valencia (España) y de Cambridge (Reino Unido) revela una tendencia "alarmante" ante el empeoramiento de la fiabIlidad de los modelos más recientes de inteligencia artificial (IA), como el GPT-4, en comparación con los primeros, como el GPT-3.
El trabajo, que fue publicado en la revista Nature, señala que los recientes avances en IA han generalizado el uso de grandes modelos de lenguaje en nuestra sociedad, pero no son tan fiables como los usuarios esperan.
El equipo fue parte del "red team" de GPT-4, cuya misión era encontrar fallos y vulnerabilidades en el sistema, así como evaluar sus capacidades y posibles riesgos asociados a su uso.
Una de las principales preocupaciones halladas sobre la fiabilidad de los modelos de lenguaje es que su funcionamiento no se ajusta a la percepción humana de dificultad de la tarea. Es decir, existe una discordancia entre las expectativas de que los modelos fallen de acuerdo a la percepción humana de dificultad en la tarea y las tareas donde realmente los modelos fallan.
"Los modelos pueden resolver ciertas tareas complejas de acuerdo a las habilidades humanas, pero al mismo tiempo fallan en tareas simples del mismo dominio. Por ejemplo, pueden resolver problemas matemáticos de nivel de doctorado, pero se pueden equivocar en una simple suma", aseguran los autores del trabajo.