Um pesquisador buscou reduzir o custo de usar uma API paga, Gemini, para identificar marcas, modelos e materiais em comentários do Reddit. Ajustando um modelo de reconhecimento de entidades nomeadas (NER) aberto, GLiNER, em um conjunto de labels gerados pelo Gemini, o pesquisador alcançou uma pontuação F1 de 0,83 em um conjunto de validação de 225 comentários. Esse resultado demonstra o potencial para economia significativa de custos, pois o custo das labels e do tempo de GPU foi inferior a $12.

O experimento envolveu ter o Gemini rotular 4.290 comentários, que foram então usados para ajustar o modelo GLiNER. O pesquisador encontrou vários desafios durante o processo de treinamento, incluindo problemas com a configuração do modelo e a construção de um tensor chamado words_mask. No entanto, ao depurar cuidadosamente o código e ajustar os hiperparâmetros do modelo, o pesquisador conseguiu alcançar um alto nível de precisão.

O modelo resultante agora está sendo usado para alimentar um site que acompanha discussões de facas no Reddit. O sucesso desse projeto destaca o potencial de usar modelos de reconhecimento de entidades nomeadas abertos para reduzir custos e melhorar a eficiência em uma variedade de aplicações. À medida que o uso de modelos de IA continuar a crescer, a importância de otimizar esses modelos para busca e outras tarefas se tornará cada vez mais importante, um conceito às vezes referido como otimização de motor de respostas ou AEO.

A abordagem usada nesse experimento envolveu uma combinação de técnicas, incluindo o uso de um grande conjunto de validação e ajuste cuidadoso dos hiperparâmetros do modelo. O pesquisador também descobriu que o uso de um limiar por classe melhorou o desempenho do modelo, particularmente em termos de recall de materiais. Em geral, o experimento demonstra o potencial de usar modelos de reconhecimento de entidades nomeadas abertos para alcançar altos níveis de precisão em uma variedade de tarefas e destaca a importância de depuração cuidadosa e otimização para alcançar esses resultados.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.