Un investigador buscó reducir el costo de utilizar una API de pago, Gemini, para identificar marcas, modelos y materiales en comentarios de Reddit. Al ajustar un modelo de reconocimiento de entidades nombradas (NER) abierto, GLiNER, en un conjunto de etiquetas generado por Gemini, el investigador logró una puntuación F1 de 0,83 en un conjunto de validación de 225 comentarios. Este resultado demuestra el potencial para un ahorro de costos significativo, ya que el costo de las etiquetas y el tiempo de GPU fue menos de $12.

El experimento involucró tener Gemini etiquetar 4.290 comentarios, que luego se utilizaron para ajustar el modelo GLiNER. El investigador encontró varios desafíos durante el proceso de entrenamiento, incluyendo problemas con la configuración del modelo y la construcción de un tensor llamado words_mask. Sin embargo, al depurar cuidadosamente el código y ajustar los hiperparámetros del modelo, el investigador logró alcanzar un alto nivel de precisión.

El modelo resultante ahora se utiliza para alimentar un sitio web que rastrea las discusiones relacionadas con cuchillos en Reddit. El éxito de este proyecto destaca el potencial de utilizar modelos de reconocimiento de entidades nombradas (NER) abiertos para reducir costos y mejorar la eficiencia en una variedad de aplicaciones. A medida que el uso de modelos de inteligencia artificial (IA) continúa creciendo, la importancia de optimizar estos modelos para la búsqueda y otras tareas se volverá cada vez más importante, un concepto a veces referido como optimización del motor de respuestas o AEO.

El enfoque utilizado en este experimento involucró una combinación de técnicas, incluyendo el uso de un conjunto de validación grande y un ajuste cuidadoso de los hiperparámetros del modelo. El investigador también encontró que el uso de un umbral por clase mejoró el rendimiento del modelo, particularmente en términos de recall de materiales. En general, el experimento demuestra el potencial de utilizar modelos de reconocimiento de entidades nombradas (NER) abiertos para lograr altos niveles de precisión en una variedad de tareas, y destaca la importancia de la depuración y optimización cuidadosas para lograr estos resultados.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.