O modelo qwen3-4b-deslop pode rodar em um notebook?

Um desenvolvedor lançou uma versão ajustada do modelo Qwen3-4B-Instruct que, segundo ele, foi treinada para abandonar os sinais reveladores de textos escritos por IA. O modelo, publicado como qwen3-4b-deslop, pode rodar em um notebook por meio do Ollama ou do llama.cpp, e a versão quantizada é um arquivo para download de 2,5 GB.

O autor, que publica como Erik Kannike, mede o que chama de “pontuação de lixo”. Trata-se de uma contagem ponderada, por 1.000 palavras, de hábitos extraídos de um guia de estilo que ele escreveu para textos de IA. Esses hábitos incluem travessões, construções do tipo “não é X, é Y”, listas de três itens, perguntas retóricas respondidas logo em seguida, marcadores discursivos como “aqui está o detalhe” e palavras como “mergulhar” e “impecável”. Um redator humano cuidadoso fica perto de zero. O modelo original tem média de 121.

Em 40 prompts que o modelo nunca viu durante o treinamento, a pontuação caiu para 12,5. Os travessões passaram de 20,5 por 1.000 palavras para zero, e 68% das respostas ficaram dentro da faixa de textos humanos. O autor também relata que o modelo respondeu corretamente às 30 perguntas factuais de um teste e que se ajusta ao gênero e à extensão solicitados com a mesma frequência que o original.

Como o modelo Qwen3-4B foi treinado para abandonar os hábitos de escrita de IA?

O método de treinamento é a destilação. Um modelo professor responde a 288 prompts de treinamento, o autor mantém apenas as respostas que passam em suas verificações, e um pequeno adaptador LoRA aprende a produzir essas respostas a partir do prompt puro, sem prompt de sistema nem código de execução. Ele diz que abordagens anteriores não funcionaram tão bem. Direcionar o modelo durante a geração fez a pontuação cair, mas exigiu código e prompts extras a cada execução, e alterou a forma como o modelo previa texto comum. Segundo ele, o novo método alterou essas previsões cerca de um terço menos.

As duas primeiras rodadas enfrentaram problemas. O modelo da segunda rodada obteve 9,9 no seu detector, mas seus textos eram ruins. Uma peça de opinião sobre o novo CRM de uma empresa nunca assumiu uma posição. Um post de blog sobre a mudança para uma nova cidade virou uma história em terceira pessoa sobre uma família com um apartamento com vazamento. Um texto sobre plantas de interior citou “um estudo da University of Technology Sydney”, que, segundo o autor, o modelo inventou. O modelo também conectava quase todas as frases com “, which” ou “, so,” em uma taxa 28 vezes maior que a do original. Ele atribuiu esse hábito ao seu próprio prompt do professor, que havia instruído o modelo a conectar frases com “because, so, but, which”. Duas rodadas de imitação haviam amplificado o padrão.

Para a terceira rodada, ele acrescentou verificações baseadas em regras sobre se a resposta faz o que o prompt pediu. Uma peça de opinião deve declarar uma posição logo no início, uma reflexão pessoal deve estar em primeira pessoa, um e-mail deve começar com uma saudação, e a extensão deve corresponder aproximadamente ao pedido. Apenas cerca de 30% das respostas do professor passaram em todas as verificações, o que deixou 161 dos 288 prompts com dados de treinamento aproveitáveis. A pontuação do modelo lançado subiu um pouco, de 9,9 para 12,5, mas sua adequação à tarefa voltou para 80%, e as conexões com “, which” caíram de 1,4 para 0,3 por 100 palavras. Estudos e porcentagens inventados quase desapareceram.

Quais são as limitações do modelo qwen3-4b-deslop?

O autor lista várias limitações. A voz é monótona, com sequências de frases curtas e declarativas, e os textos pessoais lembram páginas de diário. O modelo ainda inventa coisas, embora com menos frequência do que antes. Nomes e lugares inventados são comuns, como uma cafeteria na Maple Street administrada por uma mulher chamada Maria. As respostas também tendem a ser longas, e pedidos de cerca de 150 palavras frequentemente voltam com perto de 200. Ele testou apenas prosa curta em inglês, em quatro gêneros, então código, conversas longas, outros idiomas e uso de ferramentas podem ter desempenho igual ao do original ou pior.

A própria pontuação é uma ressalva. Ela é o guia de estilo do autor escrito como expressões regulares, e nenhum teste cego com leitores humanos a verificou até agora. Os números também variam entre execuções. O mesmo modelo obteve 10,2 pelo adaptador e 12,5 como pesos mesclados, apenas por diferenças de amostragem. O autor treinou cada rodada em um MacBook Air com chip M2, levando de uma a três horas.

Em seguida, ele planeja construir um professor melhor a partir de ensaios e cartas de domínio público, junto com peças modernas de escrita humana de qualidade. Ele argumenta que cada modelo aluno só pode ser tão bom quanto as melhores respostas que seu professor consegue produzir. Ele também planeja repetir o processo com modelos de 7 a 8 bilhões de parâmetros e com modelos de cerca de 30 bilhões de parâmetros, e realizar um teste cego no qual as pessoas escolham o texto melhor.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.