Avanços sofisticados em inteligência artificial deram origem a Large Language Models (LLM), como ChatGPT e Google's Bard. Essas entidades podem gerar conteúdo tão humano que desafia a concepção de autenticidade.
À medida que educadores e criadores de conteúdo se reúnem para destacar o potencial de uso indevido de LLMs, de trapaça a engano, o software de detecção de IA afirma ter o antídoto. Mas quão confiáveis são essas soluções de software?
Software de detecção de IA não confiável
Para muitos, as ferramentas de detecção de IA oferecem um raio de esperança contra a erosão da verdade . Eles prometem identificar o artifício, preservando a santidade da criatividade humana.
No entanto, cientistas da computação da Universidade de Maryland desafiaram essa afirmação em sua busca pela veracidade. Os resultados? Um alerta sóbrio para o setor.
Soheil Feizi, professor assistente da UMD, revelou as vulnerabilidades desses detectores de IA, dizendo que eles não são confiáveis em cenários práticos . Simplesmente parafrasear o conteúdo gerado pelo LLM muitas vezes pode enganar as técnicas de detecção usadas por Check For AI, Compilatio, Content at Scale, Crossplag, DetectGPT, Go Winston e GPT Zero, para citar alguns.
“A precisão até mesmo do melhor detector que temos cai de 100% para a aleatoriedade de um cara ou coroa. Se simplesmente parafrasearmos algo que foi gerado por um LLM, muitas vezes podemos superar uma série de técnicas de detecção”, disse Feizi.
Essa percepção, argumenta Feizi, ressalta a dicotomia não confiável de erros do Tipo I, em que o texto humano é sinalizado erroneamente como gerado por IA, e erros do Tipo II, quando o conteúdo da IA consegue passar pela rede sem ser detectado.
Um caso notável ganhou as manchetes quando o software de detecção de IA classificou incorretamente a Constituição dos EUA como gerada por IA. Erros dessa magnitude não são apenas falhas técnicas, mas potencialmente prejudicam a reputação , levando a sérias implicações sócio-éticas.
Feizi ilumina ainda mais a situação, sugerindo que a distinção entre conteúdo humano e conteúdo gerado por IA pode em breve ser difícil devido à evolução dos LLMs.
“Teoricamente, nunca se pode dizer com segurança que esta frase foi escrita por um humano ou algum tipo de inteligência artificial porque a distribuição entre os dois tipos de conteúdo é muito próxima. Isso é especialmente verdadeiro quando você pensa em como os LLMs e os invasores de LLM, como parafraseadores ou spoofers, estão se tornando sofisticados”, disse Feizi.
Identifique elementos humanos únicos
No entanto, como em qualquer discurso científico, há uma contra-narrativa. O professor assistente de UMD de Ciência da Computação, Furong Huang, tem uma visão mais ensolarada.
Ele postula que com amplos dados apontando para o que constitui o conteúdo humano, a diferenciação entre os dois ainda pode ser atingível. À medida que os LLMs aprimoram sua imitação alimentando-se de vastos arquivos textuais, Huang acredita que as ferramentas de detecção podem evoluir se tiverem acesso a amostras de aprendizado maiores .
Com o enorme sucesso do #LLM ( #OpenAI #ChatGPT #GPT4 ), provavelmente é hora de fazer a pergunta: podemos distinguir textos gerados por IA dos gerados por humanos?
Spoilers: quase sempre podemos detectar com observações suficientes!
Artigo: https://t.co/I0atUfdF8m
Apic.twitter.com/b7n1gA6YyJ
— Furong Huang (@furongh) 11 de abril de 2023
A equipe de Huang também se concentra em um elemento humano único que pode ser a graça salvadora. A diversidade inata do comportamento humano, que inclui peculiaridades gramaticais únicas e escolhas de palavras, pode ser a chave.
“Será como uma corrida armamentista constante entre IA generativa e reveladora. Mas esperamos que esse relacionamento dinâmico realmente melhore a forma como abordamos a criação de LLMs generativos e seus detectores em primeiro lugar”, disse Huang.
O debate sobre a eficácia da detecção de IA é apenas uma faceta do debate mais amplo sobre IA. Feizi e Huang concordam que banir ferramentas como ChatGPT não é a solução. Esses LLMs têm imenso potencial para setores como educação.
Leia mais: Novo estudo revela que o ChatGPT está ficando mais burro
Em vez de lutar por um sistema improvável e 100% infalível, a ênfase deve estar na proteção dos sistemas existentes contra vulnerabilidades conhecidas.
A crescente necessidade de regulamentação da IA
Salvaguardas futuras podem não depender apenas da análise textual. Feizi menciona a integração de ferramentas de verificação secundária, como autenticação de número de telefone vinculada ao envio de conteúdo ou análise de padrões comportamentais.
Essas camadas adicionais podem melhorar as defesas contra falsa detecção de IA e viés intrínseco.
Embora a IA possa estar coberta de incertezas, Feizi e Huang são enfáticos sobre a necessidade de um diálogo aberto sobre o uso ético de LLMs. Há um consenso coletivo de que essas ferramentas, se usadas com responsabilidade, podem trazer benefícios significativos para a sociedade, principalmente na educação e no combate à desinformação.
Leia mais: Esses três bilionários estão otimistas com a IA e pessimistas com as criptomoedas
No entanto, a jornada à frente não é isenta de desafios. Huang enfatiza a importância de estabelecer regras básicas fundamentais por meio de discussões com os formuladores de políticas.
Uma abordagem de cima para baixo, argumenta Huang, é fundamental para garantir uma estrutura consistente que rege os LLMs, pois a comunidade de pesquisa busca incansavelmente melhores detectores e marcas d'água para conter o uso indevido da IA.
As ferramentas de detecção pós-IA falham em detectar trapaceiros que apareceram pela primeira vez no BeInCrypto .