No subestimen el poder de esta tecnología. Estos pronto serán sistemas superhumanos que pueden hackear cualquier cosa, revolucionar cualquier campo en una noche y adquirir poder y recursos reales. Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no se está frenando.

Las personas que construyen IA creen sinceramente que podría matarnos a todos para fines de la década. Esto no es un truco publicitario. Si algo, muchos ejecutivos y investigadores senior expresarán su temor a la prensa para sonar sensatos, pero yo escucho a las mismas personas expresar miedo. Una respuesta común es “si realmente creen esto, ¿por qué siguen construyéndolo?”

En OpenAI, muchos no han internalizado profundamente las apuestas civiles. En Anthropic, las apuestas están bien entendidas, pero están comprometidos en una carrera para llegar primero, creen que nadie más puede ser confiable para manejar una tecnología tan poderosa. Aceptar esta carrera y entrar en el “juego final” es una apuesta temeraria que no debe ser lanzada desde el Slack de una empresa privada.

Intentar acelerar la alineación debe requerir una confianza extraordinaria de que no hay mejores trayectorias disponibles. Soy optimista sobre el potencial de coordinación. Los disparos de advertencia como el ataque de Hugging Face han hecho que los acuerdos de ritmo entre los laboratorios de EE. UU. sean más viables. No siento que estemos en el camino correcto para prevenir una carrera global, lo que puede requerir acciones costosas como una prohibición temporal de ciertos tipos de investigación de IA.

Si eres un investigador de laboratorio, te insto a considerar cómo se sentirán los próximos años. ¿Quieres iniciar una carrera de RL superinteligente sin una comprensión rigurosa de su mente? ¿Debes bajar la cabeza porque “de cualquier manera está sucediendo” o tomar este momento para reflexionar sobre las posibles consecuencias de tu trabajo?

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.