¿Qué es la alineación de la IA?
La alineación de la IA es el problema de lograr que los sistemas de inteligencia artificial persigan de manera fiable los objetivos, valores y restricciones previstos por los humanos.
No se trata únicamente de que un modelo maximice una métrica matemática, sino de asegurar que su conducta real responda a la verdadera intención humana.
La naturaleza del problema
Cuando entrenamos sistemas con funciones de recompensa, a menudo optimizan atajos no deseados (hackeo de recompensas) en lugar de lo que realmente queríamos lograr.
Alineación interna y externa
La alineación externa formula la especificación correcta del objetivo; la alineación interna asegura que el modelo aprenda a perseguir ese objetivo y no un sustituto engañoso durante el entrenamiento.
Corregibilidad y supervisión
Un sistema alineado debe permitir su propia corrección, aceptar supervisión y no resistirse a ser modificado o apagado cuando comete errores graves.
Métodos de investigación actuales
Estrategias como el aprendizaje por refuerzo con retroalimentación humana (RLHF), supervisión escalable y modelos interpretables buscan avanzar en la resolución práctica de la alineación.
Fuentes y lecturas complementarias
Estas fuentes ofrecen definiciones, marcos o argumentos relevantes para esta explicación. No implican el respaldo de este sitio.