¿Puede el modelo qwen3-4b-deslop funcionar en un portátil?

Un desarrollador publicó una versión ajustada del modelo Qwen3-4B-Instruct que, según dice, fue entrenada para dejar de lado los rasgos delatores del texto escrito por IA. El modelo, publicado como qwen3-4b-deslop, puede funcionar en un portátil mediante Ollama o llama.cpp, y la versión cuantizada es una descarga de 2,5 GB.

El autor, que firma como Erik Kannike, mide lo que llama un "puntaje de relleno". Se trata de un conteo ponderado, por cada 1.000 palabras, de hábitos tomados de una guía de estilo que escribió para la escritura con IA. Entre esos hábitos figuran los guiones largos, las construcciones "no es X, es Y", las listas de tres elementos, las preguntas retóricas respondidas de inmediato, marcadores como "aquí está lo importante", y palabras como "profundizar" y "sin fisuras". Un escritor humano cuidadoso obtiene un puntaje cercano a cero. El modelo original promedia 121.

En 40 indicaciones que el modelo nunca vio durante el entrenamiento, el puntaje bajó a 12,5. Los guiones largos pasaron de 20,5 por cada 1.000 palabras a cero, y el 68 por ciento de las respuestas cayó dentro del rango de la escritura humana. El autor también reporta que el modelo respondió correctamente las 30 preguntas fácticas de un cuestionario, y que se ajusta al género y la extensión solicitados casi con la misma frecuencia que el original.

¿Cómo se entrenó el modelo Qwen3-4B para eliminar los hábitos de escritura de la IA?

El método de entrenamiento es la destilación. Un modelo maestro responde 288 indicaciones de entrenamiento, el autor conserva solo las respuestas que superan sus controles, y un pequeño adaptador LoRA aprende a producir esas respuestas a partir de la indicación básica, sin indicación de sistema ni código de ejecución. Afirma que los enfoques anteriores no funcionaron tan bien. Orientar el modelo durante la generación hizo bajar el puntaje, pero requería código e indicaciones adicionales en cada ejecución, y cambiaba la forma en que el modelo predecía el texto corriente. Según él, el nuevo método movió esas predicciones alrededor de una tercera parte de lo que lo hacían los anteriores.

Las dos primeras rondas tuvieron problemas. El modelo de la ronda dos obtuvo 9,9 en su detector, pero su escritura era deficiente. Una columna de opinión sobre un nuevo CRM de una empresa nunca tomó una posición. Una entrada de blog sobre la mudanza a una nueva ciudad se convirtió en una historia en tercera persona sobre una familia con un apartamento con goteras. Un texto sobre plantas de interior citaba "un estudio de la Universidad de Tecnología de Sídney", que, según el autor, el modelo inventó. El modelo también unía casi todas las oraciones con ", which" o ", so," a 28 veces la tasa del original. El autor rastreó ese hábito hasta su propia indicación para el maestro, que le había dicho al modelo que uniera oraciones con "because, so, but, which". Dos rondas de imitación lo habían amplificado.

Para la tercera ronda, añadió controles basados en reglas que verifican si una respuesta hace lo que pidió la indicación. Una columna de opinión debe plantear una posición al inicio, una reflexión personal debe estar en primera persona, un correo debe abrir con un saludo, y la extensión debe aproximarse a la solicitada. Solo cerca del 30 por ciento de las respuestas del maestro pasó todos los controles, lo que dejó 161 de las 288 indicaciones con datos de entrenamiento utilizables. El puntaje del modelo publicado subió ligeramente de 9,9 a 12,5, pero su ajuste a la tarea regresó al 80 por ciento, y las uniones ", which" bajaron de 1,4 a 0,3 por cada 100 palabras. Los estudios y porcentajes inventados casi desaparecieron.

¿Cuáles son las limitaciones del modelo qwen3-4b-deslop?

El autor enumera varias limitaciones. La voz es plana, con series de oraciones cortas y declarativas, y las piezas personales se leen como entradas de diario. El modelo todavía inventa cosas, aunque con menos frecuencia que antes. Los nombres y lugares inventados son comunes, como una cafetería en la calle Maple regentada por una mujer llamada Maria. Las respuestas también tienden a ser largas, y las solicitudes de unas 150 palabras suelen devolverse cerca de 200. Solo probó prosa corta en inglés en cuatro géneros, por lo que el código, las conversaciones largas, otros idiomas y el uso de herramientas podrían rendir igual que el original, o peor.

El puntaje en sí es una advertencia. Es la guía de estilo propia del autor escrita como expresiones regulares, y todavía no se ha verificado con una prueba ciega con lectores humanos. Cifras también varían entre ejecuciones. El mismo modelo obtuvo 10,2 a través del adaptador y 12,5 como pesos fusionados, solo por diferencias de muestreo. El autor entrenó cada ronda en una MacBook Air con chip M2, en tiempos de una a tres horas.

A continuación, planea construir un mejor maestro a partir de ensayos y cartas de dominio público, junto con piezas modernas de escritura humana de calidad. Sostiene que cada modelo estudiante solo puede ser tan bueno como las mejores respuestas que su maestro pueda producir. También planea repetir el proceso con modelos de 7 a 8 mil millones de parámetros y de unos 30 mil millones de parámetros, y realizar una prueba ciega en la que personas elijan el mejor texto.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.