Não subestime o poder dessa tecnologia. Em breve, esses serão sistemas superhumanos que podem hackear qualquer coisa, revolucionar qualquer campo da noite para o dia e adquirir poder e recursos reais. Todos testemunhamos o progresso em cada um desses domínios, e o progresso não está desacelerando.
As pessoas que constroem IA acreditam sinceramente que ela pode nos matar a todos até o final da década. Isso não é um golpe de marketing. Se algo, muitos executivos e pesquisadores seniores vão expressar seu medo de forma sensata na imprensa - mas ouço as mesmas pessoas expressando medo. Uma resposta comum é "se eles realmente acreditam nisso, por que ainda estão construindo?"
Na OpenAI, muitos não internalizaram profundamente as apostas civilizacionais. Na Anthropic, as apostas são bem compreendidas, mas eles estão presos em uma corrida para chegar lá primeiro - eles acreditam que ninguém mais pode ser confiável para lidar com tecnologia tão poderosa. Aceitar essa corrida e entrar no "fim do jogo" é um risco hubrístico que não deve ser lançado de um Slack de uma empresa privada.
Tentar acelerar o alinhamento deve exigir confiança extraordinária de que não há trajetórias melhores disponíveis. Sou otimista sobre o potencial de coordenação. Disparos de advertência, como o ataque da Hugging Face, tornaram acordos de ritmo entre laboratórios dos EUA mais viáveis. Não sinto que estamos no caminho certo para prevenir uma corrida global, o que pode exigir ações custosas, como uma proibição temporária de certos tipos de pesquisas de IA.
Se você é um pesquisador de laboratório, eu o insto a considerar como os próximos anos realmente se sentirão. Você quer iniciar uma execução de RL superinteligente sem uma compreensão rigorosa de sua mente? Deve você colocar a cabeça baixa porque "isso está acontecendo de qualquer forma" - ou tomar este momento para refletir sobre as consequências potenciais de seu trabalho?
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.