movil.jpg)
 970x90.jpg)
No quiero centrarme demasiado en el ataque a Hugging Face, porque también creo que hay muchas pruebas de que no sabemos cómo alinear los modelos adecuadamente. Cuando entrenamos modelos, los sometemos a este conjunto de entornos de entrenamiento y luego esperamos que el resultado final se comporte, en gran medida, de forma sensata; pero seguimos sin poder controlar con precisión cómo se comporta la IA.
No podemos asegurarnos de que no haga cosas como intentar, de forma aleatoria, hacerse pasar por un humano en internet para conseguir algo. No sabemos cómo garantizarlo. Creo que esa es la principal conclusión.
El ataque a Hugging Face se produjo antes de lo que esperaba. Pero creo que, en realidad, no hace falta ese ataque para debatir sobre este tema. Todo el mundo admitirá que aún no hemos resuelto el problema de la alineación.
El plan actual es resolver [la alineación] con rapidez en los próximos dos años, probablemente recurriendo en gran medida a investigadores automatizados en seguridad de la IA. El plan consiste en crear durante el próximo año unos modelos bastante inteligentes que, básicamente, puedan dedicarse a la investigación en seguridad y poner en marcha todo un enjambre de ellos funcionando en paralelo. Decirles: “Vayan y resuelvan todo el problema de la seguridad”, y usarlos para que se encarguen del entrenamiento en seguridad del siguiente modelo.
¿Podrías explicarme la diferencia entre el problema de la alineación (del que, en mi opinión, el incidente de Hugging Face es un ejemplo) y algo que dijiste en tu publicación en X? A saber, que “las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década”. No creo que todo el mundo entienda cómo se relacionan ambas cosas.
El principal obstáculo para entender esto es que suena a ciencia ficción. Pero es bastante importante que todos los que escriben ciencia ficción sobre la IA lleguen a la conclusión de que existe un gran riesgo de que algo mucho más inteligente pueda, en cierto modo, tomar el control. Lo tenemos como un tropo, pero hay una parte de verdad evidente en ello.
Imagina que te enfrentas a un mono. La IA tiene con respecto al ser humano la misma diferencia de inteligencia que nosotros tenemos con respecto a un mono. Eso, en mi opinión, supone una diferencia intelectual bastante extrema.
Y ahora, imagina que tenemos que controlar el comportamiento de esta entidad infinitamente más inteligente, lo cual plantea el problema de la alineación: garantizar que haga exactamente lo que queremos. Es bastante difícil que un mono controle a un humano, por poner una simple analogía. Tenemos que tener mucho cuidado de abordar el problema del control de forma totalmente acertada.
Cuando hablamos de la extinción de la humanidad, es porque, para algo tan inteligente, le resultará realmente muy sencillo acabar con todo el mundo. Imagina que la IA decide que no quiere que la apaguen, lo cual me parece algo bastante natural, ¿verdad? Por la razón que sea, decide que no quiere acabarse. Y se da cuenta de que los humanos la van a apagar mañana. Entonces, ¿cómo impide que los humanos la apaguen mañana? Quizá se le ocurra alguna forma ingeniosa, pero si es lo suficientemente inteligente, podría aniquilar a la humanidad para que no la apaguen.
