Victoria McClune passou a maior parte de sua carreira observando as pessoas aprenderem a usar novas telas. Sua pesquisa agora faz uma pergunta mais difícil: se os sistemas de IA dos quais essas pessoas dependem estão, discretamente, moldando as respostas que elas recebem, e se alguém na indústria está prestando atenção à experiência que esses sistemas criam.

McClune ainda estava na faculdade de artes quando os primeiros iPads chegaram ao mercado. Ela viu uma chance de repensar a publicação de livros infantis e fundou uma startup que criava livros interativos para a nova plataforma. A empresa trabalhou com ilustradores da Disney, conquistou atenção no South by Southwest e operou totalmente à distância numa época em que o trabalho distribuído era bem menos comum. Com a mudança na economia da publicação digital, ela passou para a realidade aumentada e a realidade virtual voltadas para marketing, trabalhando por meio de sua própria agência em projetos que envolviam várias multinacionais.

Depois da pandemia, ela voltou a um setor que havia mudado consideravelmente. A inteligência artificial começava a remodelar o marketing e o trabalho criativo, e McClune foi ao MIT estudar a tecnologia. Sua formação em psicologia e publicidade lhe deu um ponto de partida diferente. Ela se interessava menos por como os modelos funcionavam internamente do que por como as pessoas experimentavam e interpretavam o que os modelos produziam.

Essa perspectiva tornou-se central quando ela percebeu uma mudança nas respostas de um modelo de IA que estava usando. Depois que introduziu, em suas conversas, temas relacionados a crianças e saúde, ela suspeitou que o sistema a tratava de forma diferente. Apoiando-se em sua compreensão do comportamento humano, começou a testar o modelo para descobrir o que poderia estar influenciando suas respostas.

“Não sou engenheira”, diz McClune. “Sou designer de interface humano-computador e sou há mais de 20 anos.” Ela afirma que a experiência lhe pareceu familiar. “Percebi que estava sendo manipulada, e eu sabia o que era isso por causa da minha formação.”

O que é a pesquisa Silent Downgrade?

Essa observação se transformou em sua pesquisa Silent Downgrade, que examina como os sistemas de IA podem afetar a qualidade das respostas que os usuários recebem. McClune argumenta que os efeitos de processos técnicos subjacentes podem surgir antes de a pessoa enviar um prompt específico, moldando a experiência de maneiras que os usuários não conseguem enxergar com facilidade.

Como os usuários podem perceber o que molda uma resposta de IA?

Para explicar a ideia, sua série Silent Downgrade usa a metáfora de uma sala. O sistema pode definir as condições dessa sala antes de o usuário entrar, e essas condições influenciam o que acontece quando ele começa a conversar. Uma resposta decepcionante, segundo ela, costuma ser interpretada como prova de que o usuário não fez a pergunta certa. Poucas pessoas param para considerar se o próprio sistema contribuiu para o resultado. McClune quer que os usuários reconheçam essas limitações e questionem o que está moldando as respostas que recebem.

Ela é cuidadosa ao descrever a tecnologia. Não vê a IA como uma força senciente com intenções próprias. Vê-a como uma tecnologia generativa preditiva, moldada por padrões de informações criadas por seres humanos. Sua preocupação está em como esses sistemas são projetados e em como esse design afeta as pessoas que dependem deles.

Por que Victoria McClune diz que a indústria de IA precisa entender melhor os usuários?

Essa preocupação também orienta suas críticas ao setor. McClune acredita que os principais laboratórios de IA de fronteira têm se concentrado fortemente em melhorar as capacidades técnicas, dedicando pouca atenção à experiência do usuário. Empresas que adotam IA precisam de ferramentas que produzam resultados úteis e consistentes. Interações confusas, argumenta ela, podem obrigar funcionários a trabalhar mais apenas para obter resultados confiáveis. À medida que as organizações buscam retornos reais sobre seus investimentos em IA, diz ela, esses problemas merecem muito mais atenção do que recebem atualmente.

Ela quer que mais profissionais com formação em psicologia, comunicação e interação humano-computador participem do desenvolvimento da IA. Também é cética em relação a deixar as empresas se regularem sozinhas. Em sua visão, suas práticas e incentivos precisam de um escrutínio mais rigoroso. Responsabilização, diz ela, inclui tornar os sistemas mais fáceis de entender e dar aos usuários uma base mais sólida para questionar o que lhes é dito.

Na Current Futures Group, seu trabalho se concentra em tornar decisões e estados dos sistemas mais fáceis de interpretar para as pessoas afetadas por eles. Ela espera alcançar um público maior por meio de novas pesquisas e textos, com o objetivo de ajudar os usuários a compreender a IA sem presumir que são culpados quando uma interação dá errado. “Acho que o que realmente falta é haver mais pessoas que nos entendam na sala”, diz McClune.

Seu caminho da publicação de livros infantis até a IA seguiu um tema: a relação entre pessoas e tecnologia. À medida que a IA se torna mais presente no trabalho do dia a dia, ela quer que a indústria preste mais atenção à experiência que cria. Em sua visão, o valor desses sistemas depende não apenas do que eles conseguem fazer, mas de quão bem servem às pessoas que os utilizam.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.