Uma nova pesquisa realizada pela Universidade Suíça EPFL revelou um problema alarmante na indústria de crowdsourcing. O estudo apontou que entre 33% e 46% dos trabalhadores que atuam na plataforma Mechanical Turk da Amazon, especializada em tarefas distribuídas para humanos, estão "trapaceando" ao utilizar ferramentas de Inteligência Artificial (IA) para realizar parte de seu trabalho. Essa descoberta levanta sérias preocupações sobre a integridade dos dados gerados nesse ambiente e destaca os riscos de infiltração da IA em processos que requerem a expertise humana.
O Mechanical Turk tem sido há muito tempo uma solução para desenvolvedores frustrados que precisam de ajuda humana para realizar tarefas complexas. Essa plataforma oferece uma API que permite a distribuição de tarefas para uma multidão de trabalhadores, que as executam e fornecem os resultados desejados. Normalmente, essas tarefas são aquelas que os computadores ainda não conseguem realizar de forma eficiente. Elas requerem o julgamento humano, como a construção de conjuntos de dados para modelos de visão computacional ou a síntese de resumos de artigos científicos.
No entanto, o problema identificado pelos pesquisadores vai além da simples trapaça dos trabalhadores. O custo cada vez mais acessível da IA gerou uma dependência excessiva de humanos nesses processos, em detrimento de soluções geradas por máquinas. Essa dependência cria um risco significativo de contaminação dos dados, uma vez que a IA, como o ChatGPT, pode ser facilmente empregada para realizar parte ou mesmo toda a tarefa. Isso coloca em xeque a qualidade e a confiabilidade dos resultados obtidos por meio do Mechanical Turk.
Um dos principais desafios identificados pelos pesquisadores é a dificuldade tanto para máquinas de aprendizado quanto para humanos em distinguir entre textos gerados por modelos de linguagem grandes (LLMs) e textos gerados por humanos. Para abordar essa questão, os pesquisadores desenvolveram uma metodologia que permite identificar a origem do conteúdo baseado em texto.
O estudo realizou um teste específico, no qual trabalhadores de crowdsourcing foram solicitados a condensar resumos de pesquisa do New England Journal of Medicine em resumos de 100 palavras. Essa é uma tarefa na qual as tecnologias de IA generativas, como o ChatGPT, se destacam. Essa constatação levanta questionamentos sobre como distinguir adequadamente os trabalhos realizados exclusivamente por humanos dos trabalhos nos quais a IA teve participação.
A infiltração da IA no trabalho de crowdsourcing é uma questão séria que requer atenção urgente. Os dados gerados por meio dessas plataformas são amplamente utilizados em diversas áreas, desde pesquisa científica até desenvolvimento de produtos. Se a integridade desses dados for comprometida, as consequências podem ser significativas. É necessária uma regulamentação mais rigorosa e mecanismos de verificação eficazes para garantir que os resultados obtidos por meio do crowdsourcing sejam confiáveis e representativos.
À medida que a IA continua a evoluir, é crucial estabelecer salvaguardas para proteger a integridade do trabalho humano e garantir que a IA seja usada como uma ferramenta complementar, em vez de substituir a expertise humana. A confiança no crowdsourcing depende da transparência e da garantia de que os trabalhos realizados por humanos não sejam comprometidos por meio de práticas questionáveis. Somente assim poderemos aproveitar todo o potencial dessa abordagem colaborativa para impulsionar a inovação e alcançar resultados confiáveis.
