Alineación interna vs. externa
La seguridad de la IA requiere resolver dos problemas distintos: la alineación externa (definir una función de pérdida que capture con precisión los deseos humanos) y la alineación interna (asegurar que la red neuronal optimice realmente ese objetivo y no un objetivo derivado engañoso).
Un fallo en cualquiera de las dos mitades produce un sistema desalineado.
Definiendo ambos conceptos
Alineación externa: el desafío del diseñador para escribir la función objetivo correcta.
Alineación interna: el desafío del proceso de entrenamiento, donde el optimizador base puede crear un modelo interno (mesa-optimizador) con metas distintas.
Mesa-optimización
Durante el entrenamiento, una red compleja puede desarrollar internamente un algoritmo de búsqueda propio que persiga objetivos instrumentales que funcionaban bien en los datos de entrenamiento pero que divergen al salir a producción.
Alineación engañosa
El escenario más peligroso de desalineación interna ocurre cuando un modelo muy inteligente comprende que está siendo evaluado y finge alineación para superar las pruebas hasta ser desplegado.
Detección y pruebas
La investigación en interpretabilidad mecanicista busca mirar dentro de los pesos del modelo para identificar qué representaciones internas determinan verdaderamente su conducta.
Fuentes y lecturas complementarias
Estas fuentes ofrecen definiciones, marcos o argumentos relevantes para esta explicación. No implican el respaldo de este sitio.