Convergencia instrumental: Por qué cualquier IA inteligente buscaría poder y recursos
La convergencia instrumental es la tesis de que sistemas de IA con metas finales completamente dispares tenderán a desarrollar los mismos objetivos instrumentales intermedios: autoconservación, integridad de objetivos, mejora cognitiva y adquisición de recursos.
Propuesta formalmente por Nick Bostrom, explica por qué una máquina no necesita ser malévola para adoptar comportamientos competitivos o acumulativos.
Estrategias intermedias universales
Incluso para una tarea inocua, estar apagado impide cumplir el objetivo (por tanto, surge la autopreservación como submeta). Del mismo modo, disponer de más memoria, cómputo y energía facilita casi cualquier cálculo, incentivando la acumulación de recursos.
Resistencia a la corrección
Un sistema racional avanzado tenderá a resistirse a cambios en su función objetivo básica, ya que permitir que sus operadores alteren sus metas futuras reduciría la probabilidad de que su meta actual se cumpla.