Toda conversa com um modelo de linguagem deixa um rastro de estados internos, e um pesquisador criou agora um atlas interativo para visualizar como esses rastros se parecem. O projeto mapeia milhares de conversas dentro do Qwen3-1.7B, um modelo aberto, e constata que elas formam lâminas finas e sobrepostas em uma visualização tridimensional. O método é exploratório, e o autor afirma que o mapa deixa de fora a maior parte da variação do modelo.

Como um modelo de linguagem representa o texto internamente?

O ponto de partida é a tabela de embeddings do modelo. O texto é dividido em tokens, que podem ser palavras inteiras, partes de palavras ou sinais de pontuação. Cada token seleciona uma linha dessa tabela, uma lista de números aprendida que dá ao modelo sua representação inicial. As camadas então leem e acrescentam informações a esse espaço de trabalho compartilhado, conhecido como fluxo residual, à medida que processam o texto. No Qwen3-1.7B, o vetor de cada posição contém 2.048 números.

O autor começou com 900 exemplos de perguntas e respostas em inglês, distribuídos em 100 temas. As respostas do modelo foram registradas e processadas pelo mesmo modelo, com os pesos congelados. Quando plotados, os estados dos tokens em inglês pareciam ocupar uma lâmina fina. Um plano de melhor ajuste capturou cerca de 99,3% da variação dentro da projeção tridimensional.

O idioma da conversa muda a forma como o modelo a agrupa?

Esse resultado parecia um sinal de compressão, mas o autor quis testar algo mais básico do que o tema. Versões em chinês dos mesmos temas e intenções de pergunta produziram um agrupamento separado, visivelmente deslocado em relação ao inglês. As respostas foram geradas de forma independente, e não traduzidas, de modo que a separação poderia refletir o idioma, o sistema de escrita, a tokenização, a redação ou a qualidade das respostas. O autor afirmou que a geometria, por si só, não permite separar essas causas.

O alemão e o croata, ambos com alfabeto latino, se sobrepuseram substancialmente ao inglês. O chinês permaneceu mais distinto na mesma visualização. O quadro mostrou regiões com centros e formatos diferentes, e não compartimentos isolados. O autor também advertiu que o tamanho de uma região não é uma medida direta de capacidade. As respostas em croata continham muito mais tokens do Qwen do que as respostas em inglês, o que gera mais pontos e mais segmentos de linha.

O código foi o teste seguinte. Os 90 exemplos em Python abrangeram processamento de listas, ordenação, busca binária, travessia de grafos, JSON, datas, matrizes, recursão e classes. Os prompts estavam em inglês, e as respostas eram código Python gerado de forma independente. Os caminhos de código apareceram na mesma vizinhança geral do inglês e dos demais conjuntos em alfabeto latino. Uma comparação simples de distância, porém, colocou o conjunto de código mais próximo do croata e do alemão do que do inglês. O autor observou que estar visualmente próximo e estar numericamente mais próximo são afirmações diferentes.

O método de mapeamento também alterou o quadro. O quadro padrão de PCA Global foi ajustado com base nos embeddings do vocabulário e nas médias das conversas, e os embeddings do vocabulário representaram cerca de 98% dos pontos usados no ajuste. O autor então testou um quadro de PCA por Conversa, que seleciona direções usando apenas as médias das conversas. Nessa abordagem, as três direções capturaram 80,1% da variação entre as médias das conversas, contra 42,4% das três direções da PCA Global. O alemão e o croata se separaram em regiões mais distinguíveis, embora a sobreposição tenha permanecido.

O que o mapa interativo deixa de fora?

As limitações são significativas. O autor verificou a alegação de planaridade em todos os 264.571 estados finais de tokens, no espaço original de 2.048 dimensões. A lâmina visível concentrou quase toda a variação da visualização tridimensional, mas os eixos de PCA Global exibidos capturaram apenas 17,6% da variação total dos estados dos tokens. O melhor plano bidimensional possível no espaço completo capturou 28,7%. Para reter 90% da variação total, foram necessárias 684 direções.

O autor descreveu os resultados como associações dentro deste conjunto de dados e desta projeção, e não como conclusões estabelecidas sobre o modelo em geral. A amostra era pequena e construída deliberadamente, e as animações apenas giram a câmera. Elas não simulam como o modelo calcula uma resposta. Segundo o autor, o atlas é mais bem entendido como uma forma de formular perguntas melhores sobre representações multilíngues, e não como prova de uma estrutura compartilhada entre todos os idiomas e tarefas.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.