Pesquisadores apresentaram o e-means, um novo método de otimização para o problema de agrupamento k-means que, segundo eles, alcança um erro menor do que o algoritmo de Lloyd padrão em uma pequena fração do tempo de treinamento. Em testes com uma ampla variedade de conjuntos de dados, o e-means atingiu uma perda de teste menor do que a do algoritmo de Lloyd após 25 épocas, em apenas 1,2 a 3 épocas.

Quão mais rápido é o e-means do que o algoritmo de Lloyd?

Os ganhos de velocidade se mantêm quando medidos de ponta a ponta. Os autores relatam uma redução de 10 a 45 vezes no tempo de execução real em GPU, em comparação com o Flash-KMeans, que eles descrevem como a implementação de Lloyd mais avançada. Em CPU, eles mediram uma redução de 8 a 15 vezes em relação ao Faiss. Os métodos de agrupamento geralmente obrigam a escolher entre velocidade e qualidade, observam os pesquisadores, mas o e-means oferece simultaneamente maior velocidade e uma perda melhor.

Como o e-means difere do algoritmo de Lloyd?

O k-means funciona encontrando um conjunto de centroides que minimizam a distância quadrática média entre cada ponto de dados e seu centroide mais próximo. O algoritmo de Lloyd resolve esse problema reatribuindo todos os pontos a cada passagem pelo conjunto de dados completo. Já o e-means trabalha com mini-lotes e usa médias móveis exponenciais para atualizar a soma acumulada e a contagem de cada cluster. A equipe afirma que essa abordagem, normalmente usada para distribuições de dados que mudam ao longo do tempo, também é altamente eficiente em conjuntos de dados estáticos quando combinada com outras alterações.

Essas alterações incluem um novo método de inicialização, uma estratégia revisada para reativar clusters que ficam vazios, uma taxa de decaimento com agendamento cossenoidal e uma etapa de finalização que reduz a perda de treinamento ao final de uma execução, com um pequeno custo adicional de tempo de execução. O método também define seu próprio tamanho de lote e tamanho de passo, usando duas leis de escala ajustadas ao número de pontos, ao número de clusters e ao número de épocas de cada problema. Isso significa que os profissionais não precisam definir nenhum hiperparâmetro extra em comparação com o algoritmo de Lloyd.

O e-means evita soluções locais ruins com mais frequência do que o algoritmo de Lloyd?

Os autores também testaram se o e-means evita soluções locais ruins com mais frequência do que o algoritmo de Lloyd. Em 200 inicializações aleatórias em conjuntos de dados de teste, o algoritmo de Lloyd ficou preso em uma configuração subótima em 26 por cento das inicializações em um caso com dois grupos de tamanhos muito diferentes, enquanto o e-means ficou preso em 3,5 por cento. Em uma grade de nove grupos com cantos mais densos, o algoritmo de Lloyd permaneceu preso com erro mais de 1 por cento acima do melhor erro em 43 por cento das inicializações, contra 4 por cento do e-means. Em uma linha de cinco grupos, o algoritmo de Lloyd ficou preso em 46 por cento das inicializações, enquanto o e-means não ficou preso em nenhuma. Os pesquisadores atribuem a diferença ao ruído. As atualizações em mini-lotes têm mais chances de explorar o panorama da otimização, escrevem eles, enquanto a perda do algoritmo de Lloyd, que diminui de forma constante, torna mais provável que ele se estabilize no primeiro mínimo que encontra.

Clusters mortos, centroides que acabam sem nenhum ponto atribuído, são um problema persistente para métodos de mini-lotes, e se tornam mais relevantes à medida que os livros de códigos crescem. Em um teste com um milhão de vetores e 16.384 clusters, desativar a reativação resultou em 4.313 clusters mortos, ou 26,3 por cento do livro de códigos. Uma solução comum, que substitui centroides mortos por amostras aleatórias do lote recebido, reduziu esse número para 2.343. Já o e-means divide em dois um cluster grande e existente, escolhido com probabilidade proporcional ao seu tamanho, e deixou apenas 47 clusters mortos no mesmo conjunto de dados.

A equipe validou o método em 24 conjuntos de dados e configurações, tanto de embeddings quanto sintéticos. Nos 11 conjuntos de dados do benchmark de embeddings VIBE, que abrange embeddings de texto, código, imagem e multimodais, o e-means precisou de entre 1,6 e 2,4 épocas para igualar o erro de teste que o algoritmo de Lloyd alcançou em 25 épocas.

O código está disponível no repositório do Faiss, em faiss/contrib/e_means, com versões em PyTorch e NumPy. Os desenvolvedores chamam a classe Emeans informando o número de clusters e de épocas, sendo cinco épocas o valor padrão. O artigo, arXiv:2611.09501, lista Swann Bessa, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Hugo Touvron, David Picard, Matthijs Douze e Hervé Jégou como autores.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.