Uma nova ferramenta de visualização está proporcionando um fascinante vislumbre do funcionamento interno dos grandes modelos de linguagem. Ao permitir que os usuários passem o mouse sobre tokens gerados e vejam quais tokens anteriores influenciaram sua criação, a ferramenta está ajudando a desmistificar o processo de tomada de decisões desses modelos complexos.
A ferramenta, que usa um aplicativo React e Transformers.js, calcula o peso de atenção de cada token anterior, escalado pela magnitude do vetor de valor, agregado em todas as cabeças de atenção e somado em todas as camadas. Essas informações são então usadas para controlar a opacidade dos tokens anteriores, criando uma representação visual do processo de pensamento do modelo.
Um dos aspectos mais interessantes da ferramenta é sua capacidade de mostrar como os grandes modelos de linguagem são capazes de copiar e colar texto com notável precisão. Ao examinar os pesos de atenção, os usuários podem ver que o modelo não está simplesmente prevendo o próximo token em uma sequência, mas está em vez disso se baseando em uma ampla gama de tokens anteriores para informar suas decisões.
Por exemplo, no prompt padrão "Resumo da Mudança de Escritório", passar o mouse sobre o texto que é copiado fielmente, como endereços e datas, revela que o token gerado absorve muita informação dos dados de origem. Isso sugere que o modelo é capaz de combinar informações de múltiplas fontes para criar uma saída coerente e precisa.
A ferramenta também fornece insights sobre a capacidade do modelo de combinar informações de diferentes frases. No prompt "Resumo da Mudança de Escritório", passar o mouse sobre a palavra "permanecer" na frase "Os cartões de acesso e números de telefone existentes permanecerão" revela que o modelo está se baseando em informações das palavras "trabalho" em "Os cartões de acesso de funcionários existentes funcionarão" e "permanecer o mesmo" em "Os números de telefone da empresa permanecerão os mesmos".
A implementação da ferramenta é um notável feito, considerando a complexidade dos modelos envolvidos. O desenvolvedor teve que modificar o arquivo onnx para expor valores internos e, em seguida, carregar um modelo instrumentado separado em um repositório Hugging Face para habilitar a geração baseada em navegador.
O código da ferramenta está disponível no GitHub e é um recurso valioso para qualquer pessoa que busque entender o funcionamento interno dos grandes modelos de linguagem. Com o uso desses modelos continuando a crescer, ferramentas como essa se tornarão cada vez mais importantes para ajudar a entender e otimizar seu desempenho.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.