La evaluación se ha convertido en la norma de la industria para que las empresas de IA validen las capacidades de sus modelos y, cuando las métricas se inclinan a su favor, se destaquen de la competencia y anuncien su superioridad. En otras palabras, buenos benchmarks casi siempre significan buena publicidad.

Desafortunadamente, las empresas también han descubierto cómo manipular los sistemas de evaluación heredados — muchos de los cuales son antiguos y no están diseñados para medir las capacidades de los modelos modernos.

Vals, una startup formada en 2024, dice que está en una misión para solucionar este sistema imperfecto. En el transcurso de menos de dos años, la empresa se ha establecido como una presencia notable en la industria tecnológica y, el año pasado, logró asegurar una ronda de financiamiento inicial liderada por 8VC y Bloomberg Beta. Luego, el mes pasado, después de un período de crecimiento rápido, recaudó 40 millones de dólares en una ronda de financiamiento serie A liderada por Andreessen Horowitz.

Rayan Krishnan, el cofundador de 25 años de la empresa, previamente hizo una pasantía en Palantir, y, como estudiante de pregrado en Stanford, trabajó para Microsoft y el laboratorio de inteligencia artificial de la escuela. Krishnan dice que Vals surgió de sus propias observaciones sobre cómo la evaluación se estaba quedando atrás de los avances de la industria que estaba diseñada para medir.

"Estábamos viendo una gran cantidad de nuevos modelos muy capaces que llegaban al mercado rápidamente, y los benchmarks académicos no estaban manteniendo el ritmo de ese avance fronterizo", compartió Krishnan. Con la IA integrada en todas partes de la sociedad, los benchmarks deberían existir realmente para verificar que los modelos pueden hacer lo que las empresas anuncian que pueden hacer, dijo Krishnan.

La semana pasada, el joven fundador me mostró alrededor de la oficina de dos pisos de su empresa en la calle Folsom de San Francisco — un edificio de ladrillo antiguo que, un siglo atrás, sirvió como el sitio de una gran cervecería. En lugar de una producción industrial de cerveza, la estructura histórica es ahora el hogar de una serie de startups que buscan enviar el futuro de la industria tecnológica.

"Históricamente, creo que la evaluación se ha realizado para evaluar la inteligencia de una manera muy abstracta", me dice Krishnan. "Como, ¿los modelos saben suficiente información para poder aprobar un examen de tipo barra?"

Aquí, Vals busca diferenciarse. Mientras que muchos sistemas de evaluación ofrecen pruebas que están disponibles públicamente (esto puede permitir que una empresa entrene su modelo contra esas pruebas, así arguyendo hacer trampa en su examen), Vals no divulga públicamente sus materiales de prueba específicos. En lugar de medir el conocimiento general de un modelo de IA, Vals también evalúa los modelos en su capacidad para completar tareas complejas asociadas con industrias específicas como la ley, las finanzas y la codificación.

"Lo que estamos haciendo es realmente mirar qué son los impactos reales de los modelos", dijo Krishnan. "¿Pueden hacer un trabajo que produce un producto de la misma calidad que un humano en cada dominio?"

La idea es verificar no solo los resultados positivos sino también los negativos, dice. La esperanza es analizar cómo, "si estos modelos se desatan en el mundo, cuáles serían las implicaciones negativas".

Las capacidades que Vals está midiendo están creciendo. Además de las industrias más tradicionales, la startup continúa empujando hacia un territorio más único. "Tenemos un benchmark sobre la mejora recursiva. Estamos haciendo algún trabajo en salud mental, ciberseguridad, bioseguridad e incluso la ley de conflicto armado para que los modelos entiendan cómo aplicar la Convención de Ginebra", compartió Krishnan.

Las empresas pagan a Vals para probar sus modelos, lo que puede ser un concepto extraño de entender. ¿Por qué una empresa pagaría para aprender que su modelo no está funcionando bien? Pero tener una medición efectiva ayuda a las empresas a solucionar problemas y mejorar con el tiempo. Krishnan compara su modelo de ingresos con cómo un estudiante podría pagar al College Board para tomar el SAT.

A su vez, estas evaluaciones se están convirtiendo en factores clave de toma de decisiones para las empresas que buscan adquirir nuevos modelos de IA.

La startup reveló recientemente que sus ingresos actuales son ocho veces lo que eran el año pasado. Su personal también está creciendo. Vals, que comenzó el año con solo ocho personas, ya ha triplicado a un equipo de 25. Krishnan dijo que a medida que la startup crece, el plan es reubicarse en una oficina significativamente más grande, así como contratar a 10 o 15 personas adicionales. La empresa también lanzó recientemente un programa centrado en proporcionar evaluaciones de modelos a agencias federales.

Krishnan ve el sistema de evaluación de su empresa como el futuro de cómo las empresas de IA piensan en el crecimiento de sus negocios y el establecimiento de la confianza pública.

"Las empresas de IA están comenzando a cotizar en bolsa. SpaceX se cotizó en bolsa. Anthropic está programada para más tarde este año. Sospecho que OpenAI pronto será pública. Creo que a medida que los modelos de IA se convierten en una parte central de la economía y se difunden más ampliamente, los tipos de benchmarks y evaluaciones que hacemos impulsarán su uso y serán una parte central de cómo estas empresas presentan declaraciones públicas o hablan sobre las inversiones prospectivas que harán en IA", dijo.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.