O braço de pesquisa da Baseten, Base Labs, lançou um novo padrão de infraestrutura de segurança, parceirando com Hugging Face e Goodfire AI para construir infraestrutura de avaliação e monitoramento de segurança para modelos de peso aberto. Essa medida vem como as preocupações crescem sobre a segurança dos modelos de peso aberto, que podem ser tornados perigosos pela remoção de suas salvaguardas por meio de uma técnica conhecida como abliteração.

A escala do problema é significativa, com Hugging Face, um host de modelos de IA de código aberto, atualmente listando mais de 6.000 modelos abliterados. A Base Labs desenvolverá e publicará métodos para treinar e monitorar modelos abertos, enquadrando seu trabalho futuro como um "padrão" para modelos abertos que é transparente e construído no processo de treinamento e implantação, em vez de adicionado posteriormente.

De acordo com a Baseten, "a abertura fornece mais visibilidade sobre o comportamento dos modelos e, mais importante, maiores meios de transformar pesquisas de segurança em controles transparentes e eficazes do que os modelos de código fechado". As empresas não divulgaram como a parceria funcionará tecnicamente, mas a Goodfire afirmou que "a segurança deve ser construída nos modelos abertos e fornecida por aqueles que os servem". A Goodfire, que se especializa em abrir a "caixa preta" da IA para explicar como os modelos tomam decisões, provavelmente desempenhará um papel fundamental nesse aspecto da parceria.

A Baseten, um provedor de inferência de IA, levantou financiamento significativo, incluindo uma rodada de US$ 1,5 bilhão da Série F em junho, que catapultou sua valorização para US$ 13 bilhões. A Goodfire AI, parceira da Baseten, também levantou fundos substanciais, incluindo uma rodada de US$ 150 milhões da Série B liderada pela B Capital no início deste ano, para avançar sua plataforma de interpretabilidade de modelos.

Olhando para o futuro, a Baseten está fazendo um apelo aberto ao ecossistema de desenvolvedores mais amplo para contribuir com o framework. A empresa observa que "juntos, estamos construindo um ecossistema de modelos abertos que são seguros e acessíveis a todos". Essa parceria e o desenvolvimento de um padrão de segurança para modelos de peso aberto podem ter implicações significativas para o futuro da segurança e transparência da IA.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.