Uma postagem que descreve experimentos com o GPT-6 Astra faz alegações que não se sustentam em uma leitura atenta, segundo uma crítica detalhada do trabalho. O resumo da postagem diz que o Astra consegue analisar os pesos brutos de uma rede e determinar para o que ela foi treinada. Também afirma que o Astra consegue escrever, do zero, pequenas redes para jogos que superam redes treinadas com PPO por 100 milhões de passos.

O que mostraram os experimentos de edição de pesos do Astra?

O resultado mais chamativo da postagem envolve o Qwen3.5-0.8B, um modelo de linguagem. Quando solicitado a melhorar o desempenho matemático do modelo sem gradientes, o Astra identificou um problema nos pesos que causava loops de raciocínio. O próprio cartão do modelo Qwen alerta para esse tipo de problema. O Astra corrigiu a falha editando nativamente 0,016% dos pesos. A postagem diz que essa mudança elevou a pontuação do modelo no MATH-500 de 7,9% para 48,1% sob as mesmas configurações de amostragem, e que a melhora se estendeu ao seguimento de instruções, triplicando sua pontuação no IFEval.

A crítica argumenta que o experimento com o Qwen não mostra o que o resumo implica. Ele não funciona apenas observando os pesos brutos. O teste com o Qwen, assim como os demais experimentos com modelos de linguagem reais, dependeu de Python. O resultado com o Qwen também permitiu que o modelo fosse executado em até 50 lotes de problemas de treino.

O Astra leu diretamente os pesos brutos em seus experimentos?

A crítica, que organizou os experimentos em uma tabela, constatou que a configuração "apenas observando os pesos brutos", com os números brutos no contexto e sem ferramentas nem execução da rede, aparece em apenas três experimentos. Esses testes envolveram redes com entre 17.000 e 172.000 pesos. Em um deles, o modelo recebeu um único episódio registrado de falha e, em uma tentativa, alterou 3,5% dos pesos para corrigir uma política de carro travado. Cada um dos três testes que leram os pesos diretamente teve resultado correto ou bem-sucedido.

As redes de jogos do Astra superaram o PPO?

Os demais experimentos seguem um padrão diferente. A rede de Go 9×9 e a tarefa matemática com o Qwen permitiram que o Astra escrevesse Python e executasse o modelo. Um teste complementar com o Gemma 3 270M, que usou a mesma abordagem, fracassou. O experimento de escrita de jogos, que o resumo apresenta como uma vitória clara, também precisa de ressalvas. Suas redes começam com pesos zerados, portanto não há nada a ser lido. A crítica observou que as redes superaram o PPO-500M apenas no Breakout, com pontuação de 517 contra 25. Perderam para ele no Seaquest, com 53 contra 89, e no Asterix, com 53 contra 55.

A crítica não descarta o trabalho. Na visão da crítica, o resultado com o Qwen mostra que o Astra pode ser orientado a elaborar e executar tarefas que um engenheiro humano de aprendizado de máquina conseguiria realizar. Engenheiros escrevem rotineiramente código que analisa ou modifica diretamente os pesos de uma rede, e fazer isso bem exige habilidade. A crítica afirmou que modelos de IA de um ou dois anos atrás falhariam em todas essas tarefas.

A objeção diz respeito à forma como os resultados são apresentados. Reunir na mesma postagem experimentos que leem os pesos diretamente com outros que escrevem Python e executam o modelo sugere uma única técnica de alcance amplo. Essa técnica poderia escrever uma pequena rede do zero e também melhorar um grande modelo existente. A crítica argumenta que isso indicaria uma compreensão profunda dos pesos. A postagem, entretanto, depende de vários métodos diferentes, e os resultados não mostram que um único método consiga fazer tudo isso.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.