Quais chips Trainium o TorchNeuron suporta?
A Amazon lançou o TorchNeuron, uma ferramenta que permite aos desenvolvedores executar seus códigos PyTorch existentes nos chips de IA Trainium da empresa sem precisar reescrevê-los, afirmou a companhia na segunda-feira. O software entra em beta público em 20 de outubro, durante a PyTorch Conference em San Jose. Ele será de código aberto sob a licença Apache 2.0 e oferece suporte aos chips Trainium2 e Trainium3.
O TorchNeuron exige reescrever o código PyTorch?
Migrar códigos de IA para um novo chip há muito tempo é uma tarefa lenta e cara. Até agora, isso frequentemente significava meses de reescrita e testes. Com o TorchNeuron, os desenvolvedores direcionam seu código para o Trainium alterando uma única configuração de dispositivo, disse a Amazon.
Em uma demonstração, a Amazon executou o mesmo script de treinamento em um chip padrão e no Trainium. A empresa afirmou que o modelo aprendeu na mesma velocidade em ambos. O TorchNeuron se integra ao sistema nativo do PyTorch para adição de novos hardwares, de modo que ferramentas padrão de teste e escalonamento continuam funcionando.
Quais recursos do PyTorch o TorchNeuron ainda não suporta?
A primeira versão, porém, tem lacunas. Ela ainda não oferece suporte a alguns recursos do PyTorch, como formatos dinâmicos de entrada. Cerca de 22.000 testes do PyTorch são ignorados, segundo uma postagem no blog do PyTorch escrita por engenheiros da Amazon.
Os primeiros usuários incluem as startups de IA de voz Cartesia e Deepgram, além do Lieber Institute for Brain Development, que usa a ferramenta em pesquisas de medicamentos. A Hugging Face também adicionou suporte ao Trainium em suas ferramentas de IA. A Uber recentemente aderiu ao uso dos chips como parte de um acordo de expansão com a AWS.
A ofensiva da Amazon contra a Nvidia
O lançamento faz parte do esforço da Amazon para competir com a Nvidia, cujos chips e software CUDA dominam a computação de IA. Em abril, o CEO Andy Jassy disse que o negócio de chips personalizados da Amazon poderia valer US$ 50 bilhões. Agora, a empresa afirma que o negócio já superou uma taxa de receita anual de US$ 25 bilhões.
Um dos parceiros de lançamento do TorchNeuron é a Decart, uma startup de software para chips de IA que a Amazon teria negociado a compra.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.