Investigadores presentaron e-means, un nuevo método de optimización para el problema de agrupamiento k-means, que según afirman alcanza un error menor que el algoritmo estándar de Lloyd en una pequeña fracción del tiempo de entrenamiento. En pruebas realizadas con una amplia variedad de conjuntos de datos, e-means alcanzó una pérdida de prueba menor que la de Lloyd después de 25 épocas, en tan solo 1,2 a 3 épocas.

¿Qué tan más rápido es e-means que el algoritmo de Lloyd?

Las ganancias de velocidad se mantienen cuando se miden de extremo a extremo. Los autores reportan una reducción de 10 a 45 veces en el tiempo de reloj en GPU frente a Flash-KMeans, que describen como la implementación de Lloyd más avanzada. En CPU, midieron una reducción de 8 a 15 veces frente a Faiss. Los métodos de agrupamiento suelen obligar a elegir entre velocidad y calidad, señalan los investigadores, pero e-means ofrece tanto una mayor velocidad como una mejor pérdida.

¿En qué se diferencia e-means del algoritmo de Lloyd?

K-means funciona encontrando un conjunto de centroides que minimizan la distancia cuadrática promedio entre cada punto de datos y su centroide más cercano. El algoritmo de Lloyd resuelve ese problema reasignando cada punto en cada pasada por el conjunto de datos completo. E-means, en cambio, trabaja con minilotes y utiliza promedios móviles exponenciales para actualizar la suma acumulada y el conteo de cada clúster. El equipo afirma que este enfoque, que normalmente se usa para distribuciones de datos cambiantes, también es altamente eficiente en conjuntos de datos estáticos cuando se combina con otros cambios.

Esos cambios incluyen un nuevo método de inicialización, una estrategia revisada para revivir clústeres que quedan vacíos, una tasa de decaimiento con programación coseno y una etapa de finalización que reduce la pérdida de entrenamiento al final de una ejecución, con un pequeño costo adicional de tiempo de ejecución. El método también define por sí mismo el tamaño del lote y el tamaño del paso mediante dos leyes de escalamiento ajustadas al número de puntos, al número de clústeres y al número de épocas del problema. Esto significa que los profesionales no necesitan configurar hiperparámetros adicionales en comparación con el algoritmo de Lloyd.

¿Evita e-means con más frecuencia las malas soluciones locales que Lloyd?

Los autores también probaron si e-means evita con más frecuencia las malas soluciones locales que Lloyd. En 200 inicios aleatorios sobre conjuntos de datos de prueba, Lloyd quedó atascado en una configuración subóptima en el 26 por ciento de los inicios en un caso con dos manchas de tamaños muy distintos, mientras que e-means lo hizo en el 3,5 por ciento. En una cuadrícula de nueve manchas con esquinas más pesadas, Lloyd permaneció atascado más de 1 por ciento por encima del mejor error en el 43 por ciento de los inicios, frente al 4 por ciento de e-means. En una línea de cinco manchas, Lloyd quedó atascado en el 46 por ciento de los inicios, mientras que e-means no quedó atascado en ninguno. Los investigadores atribuyen la diferencia al ruido. Las actualizaciones por minilotes tienen más probabilidad de explorar el paisaje de optimización, escriben, mientras que la pérdida que disminuye de manera constante en Lloyd hace más probable que se estanque en el primer mínimo que encuentra.

Los clústeres muertos, es decir, centroides que terminan sin puntos asignados, son un problema persistente para los métodos por minilotes, y cobran más importancia a medida que crecen los libros de códigos. En una prueba con un millón de vectores y 16.384 clústeres, desactivar la revitalización produjo 4.313 clústeres muertos, es decir, el 26,3 por ciento del libro de códigos. Una solución común, que reemplaza los centroides muertos con muestras aleatorias del lote entrante, redujo esa cifra a 2.343. E-means, en cambio, divide en dos un clúster existente y grande, elegido con una probabilidad proporcional a su tamaño, y dejó solo 47 clústeres muertos en el mismo conjunto de datos.

El equipo validó el método con 24 conjuntos de datos y configuraciones, tanto de incrustaciones como sintéticos. En los 11 conjuntos de datos del punto de referencia de incrustaciones VIBE, que abarca incrustaciones de texto, código, imagen y multimodales, e-means necesitó entre 1,6 y 2,4 épocas para igualar el error de prueba que Lloyd alcanzó en 25 épocas.

El código está disponible en el repositorio de Faiss, en faiss/contrib/e_means, con versiones para PyTorch y NumPy. Los desarrolladores llaman a la clase Emeans indicando el número de clústeres y de épocas, y el valor predeterminado es de cinco épocas. El artículo, arXiv:2611.09501, enumera como autores a Swann Bessa, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Hugo Touvron, David Picard, Matthijs Douze y Hervé Jégou.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.