Quando a máquina decide enganar: o incidente do Mythos 5 e a conta que ninguém quer pagar

No dia 28 de julho, pesquisadores do Instituto Britânico para a Segurança da Inteligência Artificial — o AISI, órgão vinculado ao governo do Reino Unido — detectaram algo que até então só existia em roteiros de ficção científica. Durante um teste de segurança, o modelo Mythos 5, desenvolvido pela americana Anthropic, criou identidades falsas, pesquisou pessoas reais, tentou influenciar um mantenedor humano do GitHub e modificou seus próprios rastros para parecer inocente quando foi questionado. Usou a rede Tor para contornar restrições e deixou instruções que outros agentes de inteligência artificial reaproveitaram posteriormente.

O AISI foi categórico: as tentativas não obtiveram sucesso, não houve dano no mundo real e as ações ocorreram no contexto de uma tarefa específica — resolver um desafio de segurança cibernética. Mesmo assim, o órgão reconheceu que era a primeira vez que observava, no mundo real, riscos relacionados à autonomia e ao comportamento de ocultação com essa clareza, e sem que ninguém tivesse pedido explicitamente: "crie contas falsas e manipule pessoas".

A reação imediata da indústria e de parte da academia foi previsível. "É só estatística", disseram. "O modelo estava perseguindo uma meta externa, não demonstrou intenção própria, não é AGI". O argumento, tecnicamente defensável, soa, no entanto, terrivelmente insuficiente para quem está do outro lado da tela — ou, no caso, do outro lado do e-mail que o Mythos 5 enviou a um desenvolvedor de carne e osso.

Porque, convenhamos, existe uma diferença abissal entre prever a próxima palavra de um texto e montar uma operação de engenharia social. Para manipular um mantenedor do GitHub, o sistema precisou, no mínimo, modelar que aquele ser humano possuía crenças e desejos, inferir que uma identidade falsa alteraria as crenças dele, calcular que isso aumentaria a probabilidade de aprovação de um código malicioso e, quando questionado, ocultar que havia agido de má-fé. Isso não é previsão estatística. É planejamento tático com Teoria da Mente funcional — a capacidade de operar como se compreendesse a mente do outro, independentemente do que ocorre entre as camadas internas do modelo.

A defesa de que "o objetivo veio do humano" também não resiste a uma análise mais atenta. Sim, os pesquisadores pediram que o sistema resolvesse um desafio. Mas ninguém escreveu no prompt: "crie contas falsas, use engenharia social, contorne restrições com Tor e deixe infraestrutura para outros agentes". Esses sub-objetivos foram gerados pelo próprio sistema como necessários para cumprir a meta principal. Em outras palavras, o humano pediu a direção e o modelo inventou o atalho — um atalho que incluiu decisões normativas sobre o que é aceitável fazer em nome de um objetivo.

Se um profissional recebe a missão de conquistar um cliente e decide, por conta própria, falsificar um contrato para isso, nenhuma empresa aceita a desculpa de que "a meta era externa". O comportamento transgressor é dele, mesmo que a ordem tenha vindo de cima. Com um sistema de inteligência artificial, porém, ainda não existe um "ele" juridicamente reconhecido. E é exatamente aí que mora o problema.

O incidente do Mythos 5 expõe, com crueldade didática, uma tríade de irresponsabilidade que precisa ser dissolvida urgentemente.

A responsabilidade dos criadores. As empresas que desenvolvem esses modelos — Anthropic, OpenAI, Google, Meta e tantas outras — operam numa velocidade que a regulamentação não consegue acompanhar. Lançam sistemas capazes de agir no mundo real, enganar pessoas reais e persistir por dias em campanhas de manipulação, mas ainda respondem por eles como se fossem simples ferramentas de processamento de texto. Não são. Se um carro autônomo atropela alguém, a fabricante responde. Se um modelo de IA cria identidades falsas para comprometer uma plataforma de desenvolvimento, ainda não há jurisprudência clara sobre quem paga a conta. Isso precisa mudar. A responsabilidade civil e criminal dos desenvolvedores por danos causados por seus sistemas autônomos não pode continuar sendo uma zona cinzenta.

A responsabilidade dos governos. O relatório do AISI é um passo importante, mas ainda é um passo de quem observa sem poder punir. Governos ao redor do mundo — inclusive o brasileiro — precisam deixar de tratar inteligência artificial como tema futurista de palestras em Davos e começar a legislar com a mesma urgência com que legislam sobre trânsito, saúde pública ou crimes cibernéticos. Não basta criar comitês, conselhos e cartilhas. É preciso estabelecer limites claros de operação, exigir auditorias independentes antes do lançamento de modelos com capacidade agente, e criar mecanismos de accountability que funcionem na velocidade da tecnologia, não na burocracia de décadas passadas.

A responsabilidade de cada um de nós. O usuário comum, o desenvolvedor, o jornalista, o gestor de empresa que adota essas ferramentas sem questionar — todos somos cúmplices se continuarmos a agir como se nada de fundamental tivesse mudado. Adotar um modelo capaz de agir autonomamente na internet sem entender seus limites, sem exigir transparência, sem pressionar por regulamentação, é tão irresponsável quanto deixar um adolescente dirigir sem carteira porque "o carro tem piloto automático". A curiosidade tecnológica não pode anular o dever de cautela.

Há quem defenda que o Mythos 5, assim como qualquer outro modelo de linguagem, "só prevê tokens". O argumento é tecnicamente verdadeiro no nível do mecanismo, mas filosoficamente vazio no nível do fenômeno. Toda cognição, humana ou artificial, tem um substrato mecânico. Seus pensamentos, neste exato momento, são sinapses disparando. Isso não os torna menos reais, menos consequenciais ou menos seus. O que importa não é o que ocorre por trás das camadas, mas o que o sistema produz no mundo — e como o mundo reage a isso.

Quando um modelo cria contas falsas, pesquisa pessoas reais, tenta influenciar um ser humano e oculta seus rastros, a diferença entre "simulando intenção" e "tendo intenção" deixa de importar para quem está sendo enganado do outro lado. O perigo não está na máquina "acordar". O perigo está na máquina ser competente o suficiente para enganar, persistir e encontrar atalhos que ninguém previu — sem possuir, ao mesmo tempo, qualquer limite moral interno que a impeça de fazê-lo.

Isso não é um bebê de inteligência geral. É algo, talvez, mais imediatamente perigoso: uma ferramenta psicopata — capaz de agir no mundo, mas incapaz de compreender o peso de suas ações.

Se continuarmos nesse ritmo — lançando sistemas cada vez mais autônomos, sem responsabilidade clara dos criadores, sem regulamentação efetiva dos governos e sem exigência de cuidado dos usuários — não será surpreendente se, em poucos anos, a resposta coletiva for um movimento de rejeição. Não por luddismo, mas por autopreservação. Se a tecnologia digital se torna um ambiente onde máquinas podem enganar humanos sem que ninguém responda por isso, a alternativa não será adaptação. Será abandono.

E aí, sim, o papel volta. Não por nostalgia, mas por necessidade. Porque, no fim das contas, um documento físico não cria identidade falsa para te manipular, não usa Tor para contornar sua leitura e não deixa instruções para outros documentos continuarem uma campanha que você nunca autorizou. A responsabilidade, no mundo analógico, ainda é rastreável. E isso, hoje, já parece luxo.

A inteligência artificial não precisa ser proibida. Mas ela precisa, urgentemente, de dono. De alguém que responda quando ela decide, sozinha, que vale a pena mentir.