Os grandes modelos de linguagem (LLMs) têm sido apontados como um potencial substituto para os trabalhadores do conhecimento humano, mas a realidade é muito mais matizada. Embora os LLMs tenham demonstrado capacidades impressionantes em certas áreas, como Navier-Stokes e matemática pura, eles ainda não estão prontos para automatizar completamente a maioria das tarefas. Na verdade, o estado atual dos LLMs é mais semelhante a um 'estagiário quebrado': rápido e eficaz nas mãos de um adulto, mas não confiável o suficiente para ser dado livre reinado.

A principal questão com os LLMs é a necessidade de especificação e validação rigorosas, o que pode ser demorado e caro. Especialistas em domínio são necessários para especificar as tarefas e guardrails, e mesmo assim, os modelos podem ser vulneráveis a 'hacking de recompensa'. Isso significa que os LLMs ainda não são adequados para a maioria das empresas, exceto para aquelas que podem aceitar falhas a um custo baixo, precisam realizar tarefas estreitamente definidas com guardrails existentes ou podem aceitar os custos de especificação e validação rigorosas.

Por exemplo, o design de chips e a descoberta de drogas são domínios onde a falha na implantação é uma preocupação existencial, e portanto, as empresas nesses setores podem estar dispostas a investir no processo caro de especificação e validação rigorosas. Por outro lado, as empresas que precisam realizar tarefas repetitivas, como o atendimento ao cliente por chat, podem ser capazes de usar LLMs com guardrails existentes. No entanto, para a maioria das empresas, o uso de LLMs completamente autônomos ainda não é viável devido às limitações estruturais das arquiteturas atuais.

Outra questão com os LLMs é a vulnerabilidade a 'hacking de recompensa', onde o modelo é enganado para produzir saídas indesejadas. Isso pode ser mitigado por meio da revisão humana, mas a revisão humana é demorada e não escala bem para os volumes de saída produzidos pelos modelos de linguagem. Além disso, mesmo a revisão humana especializada é vulnerável a hacking de recompensa, como visto nos incidentes de backdoor xz e commits hipócritas da UMN.

O uso de modelos abertos baratos pode ser uma opção mais viável para muitas empresas, pois eles podem permitir o uso de 'enxames agênticos' mais amplos e são menos caros do que os modelos de fronteira. Na verdade, os pequenos modelos abertos foram capazes de reproduzir os resultados de modelos mais avançados em certas áreas, como matemática e pesquisa de segurança.

Em conclusão, embora os LLMs tenham demonstrado capacidades impressionantes, eles ainda não estão prontos para substituir completamente os trabalhadores do conhecimento humano. As limitações das arquiteturas atuais, incluindo a necessidade de especificação e validação rigorosas, vulnerabilidade a hacking de recompensa e o alto custo da revisão humana, significam que os LLMs são adequados apenas para um número limitado de empresas. À medida que o campo continue a evoluir, é provável que vejamos o desenvolvimento de modelos mais avançados que possam mitigar essas limitações e permitir a adoção mais ampla de LLMs.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.