Regulação das IAs · Análise
Um pesquisador deixa a Anthropic e fala em risco de extinção
Jacob Coxon, pesquisador de pré-treinamento, pediu demissão da Anthropic acusando os maiores laboratórios de correr para uma superinteligência capaz de se aprimorar sozinha. O líder de alinhamento da empresa confirmou a substância do aviso e estimou em mais de 10% a chance de extinção humana em uma década. A regra pública que responderia a isso ainda não existe: o projeto que proíbe a superinteligência nos Estados Unidos foi apresentado há uma semana.
Leituras
- A demissão muda o debate porque a confirmação veio de quem ficou: o líder de alinhamento da Anthropic admite não ter plano completo para controlar a superinteligência que a empresa persegue.
- Para o leitor, a probabilidade de extinção citada é opinião de pesquisador, não medida; o dado verificável é outro: os dois maiores laboratórios seguem acelerando sem regra pública que os obrigue a parar.
- O valor da automação se concentra em quem detém modelo e dados; o custo de um erro de controle seria de todos, e é essa assimetria que o projeto americano de proibição tenta corrigir.
Atualização, 19h20. A Anthropic quebrou o silêncio registrado no texto. Em resposta enviada à CNBC, a rede americana de notícias de negócios, uma porta-voz disse que a empresa foi “o primeiro laboratório a publicar um arcabouço dedicado a mitigar riscos catastróficos” dos seus modelos. Acrescentou: “sempre fomos transparentes sobre o fato de que a inteligência artificial trará tanto benefícios enormes quanto riscos sem precedentes”. A nota não contesta as falas de Evan Hubinger nem anuncia mudança de ritmo. A resposta está na reportagem da CNBC.
O governo americano reagiu pela primeira vez, e foi para rejeitar o alerta. Emil Michael, o chefe de tecnologia do Departamento de Defesa, disse numa conferência em Washington que “é fácil ser capturado por esse tipo de espiral de catástrofe”. Ele descreveu a sequência de Coxon como os medos do setor reunidos “num tuíte bem escrito”. As falas foram registradas pela agência financeira Bloomberg e reproduzidas pelo site europeu de tecnologia The Next Web. No sentido oposto, Geoffrey Hinton, pioneiro das redes neurais e prêmio Nobel de física de 2024, chamou de “razoável” a estimativa de 10% de risco de extinção.
O que isso muda na leitura: a disputa saiu de dentro dos laboratórios e chegou ao Estado americano, que falou dividido. O Executivo, pelo Pentágono, tratou o risco como exagero. No Congresso, o senador Bernie Sanders, autor do projeto que proíbe a superinteligência citado no texto, convocou uma reunião fechada com pesquisadores para 16 de setembro, segundo o site especializado em comunicação corporativa ContentGrip. A regra pública que o texto descreve como inexistente não mudou. O fato novo é a primeira posição do Executivo, e ela nega a urgência que os pesquisadores pedem.
Atualização, 02h55. O Pentágono passou da palavra ao contrato. Emil Michael, o chefe de tecnologia do Departamento de Defesa, disse a jornalistas que cerca de 90% do trabalho sigiloso de inteligência artificial que rodava em modelos da Anthropic já foi transferido para outros fornecedores. O restante sai até o fim do mês, segundo ele. As falas foram registradas pela agência financeira Bloomberg e reproduzidas pelo site europeu de tecnologia The Next Web. O mesmo registro atualiza o alcance do anúncio de Coxon: a sequência na rede X passou de 150 milhões de visualizações.
Atualização, 02h55. A dúvida chegou ao preço da empresa. David Sacks dirigiu a política de inteligência artificial da Casa Branca no governo Trump. Na rede X, o investidor escreveu que a abertura de capital da Anthropic “deve ser pausada até que as alegações desse ‘denunciante’ sejam investigadas”. A oferta é a mesma citada no texto, a que Coxon deixou ao abrir mão das opções de ações. A empresa planeja começar a vendê-la em meados de outubro e concluir a listagem dias antes das eleições legislativas americanas de novembro. A última rodada privada avaliou a Anthropic em cerca de 965 bilhões de dólares, e os bancos discutem uma estreia perto de 2 trilhões, segundo o site de finanças Cryptopolitan. O que isso muda na leitura: o Estado americano agiu como cliente, tirando contratos, e parte do governo mira agora o financiamento. Para a empresa, o custo do alerta deixou de ser reputação e virou preço, no contrato público e na oferta de ações.
Jacob Coxon, 27 anos, matemático, pesquisador de pré-treinamento da Anthropic, pediu demissão na noite de terça-feira, 8 de setembro. Anunciou a saída numa sequência de sete mensagens na rede X. A acusação central mira a própria Anthropic e a OpenAI, onde ele trabalhou antes: as duas estariam “correndo direto para a superinteligência que se aprimora sozinha e apostando com as nossas vidas”. Até a noite seguinte, a sequência somava 93,5 milhões de visualizações, segundo o site francês de tecnologia Enerzine.
O aviso, a entrevista e a confirmação de dentro
Pré-treinamento é a etapa em que um modelo de inteligência artificial (IA) aprende com um acervo gigantesco de textos; é o núcleo técnico desses sistemas. Coxon trabalhou nisso na OpenAI de 2023 ao começo de 2026, no GPT-4o, o modelo lançado em 2024, e depois na Anthropic. Superinteligência é o nome dado a um sistema capaz de superar humanos em quase qualquer tarefa e de melhorar o próprio funcionamento. Para Coxon, essa capacidade “pode chegar já no ano que vem; algumas pessoas falam em seis meses”. Na quarta-feira, ele repetiu o aviso em entrevista ao programa Special Report, da rede americana Fox News. Disse que “o consenso é que o próximo ano ou os dois próximos são o momento decisivo para a humanidade”. E acrescentou que são “citações literais” dos colegas que deixou na empresa.
A confirmação veio de dentro, e é ela que separa este caso de uma demissão comum. Evan Hubinger, líder de ciência de alinhamento da Anthropic, a área que tenta manter os modelos sob controle humano, respondeu por escrito. Segundo ele, a empresa “ainda não tem um plano para resolver o alinhamento da superinteligência e não está claramente no caminho” de ter um. Hubinger estima em mais de 10% a chance de a IA causar a extinção humana na próxima década. É uma opinião de pesquisador, e não uma medida: nenhum método conhecido calcula essa probabilidade. Samuel Marks, pesquisador de supervisão de modelos na mesma empresa, confirmou que colegas acreditam nesse risco e disse que a preocupação cresce com a senioridade. Procurada pela revista americana Newsweek e pelo site TechCrunch, a Anthropic não tinha respondido até a publicação das reportagens.
O motivo de sair gritando, em vez de consertar por dentro, está na explicação do próprio pesquisador. Cada laboratório acredita que os rivais não agirão com responsabilidade e conclui que precisa chegar primeiro, apesar do risco. Nessa lógica, desacelerar sozinho equivale a entregar a liderança, e ninguém desacelera. O gesto tem um custo pessoal verificável: ao sair, Coxon abriu mão das opções de ações que teria numa eventual abertura de capital da Anthropic, segundo a reconstituição da consultoria francesa Sfeir.
A regra que vale e quem fica com o valor
A regra que vale hoje é a que os próprios laboratórios escrevem para si. A Anthropic mantém uma política interna de segurança por níveis e chegou a pausar um treinamento em agosto, quando os testes acusaram risco, como o COMPASSO registrou em 1º de setembro. Um dia depois, a mesma empresa lançou o primeiro modelo classificado no seu nível de risco crítico, com salvaguardas definidas por ela mesma, como o COMPASSO registrou em 2 de setembro. A regra pública ainda não existe nos Estados Unidos. O projeto mais duro é de 3 de setembro: o senador Bernie Sanders e o deputado Greg Casar propõem proibir a superinteligência e suspender o desenvolvimento avançado de IA até existir um regulador federal. As penas propostas repetem as do desenvolvimento ilegal de armas nucleares: fechamento da empresa e até vinte anos de prisão. Na União Europeia, a lei de IA em vigor obriga os modelos de uso geral a relatar riscos; foi ela que enquadrou o ChatGPT no fim de agosto.
O que está em disputa é quem decide o ritmo dessa tecnologia e quem fica com o valor que ela promete. A promessa é grande: os contratos anunciados na corrida da IA chegaram à casa do trilhão de dólares na semana passada, como o COMPASSO registrou em 7 de setembro. O fator de produção que mais captura renda é o conhecimento: quem detém o modelo, os dados e a decisão sobre o ritmo fica com a maior parte do valor da automação que vender. O capital investido nos laboratórios vem em seguida e cobra velocidade, porque a avaliação dessas empresas se sustenta em lançamentos. O trabalho aparece dos dois lados. Dentro dos laboratórios, pesquisadores como Coxon têm um poder de barganha raro, e ele o usou agora na forma de denúncia. Fora deles, quem trabalha nas tarefas que a automação alcança perde poder de barganha aos poucos, sem voz sobre o ritmo. O Estado americano perde capacidade de regular a cada mês sem lei: quando o próprio laboratório afirma não ter plano, não há norma que o obrigue a ter. A sociedade perde um grau de liberdade quando o ritmo de uma tecnologia de risco declarado é decidido por meia dúzia de empresas em disputa privada. O desenho é de concentração no curto prazo; a difusão prometida depende de uma segurança que, segundo os próprios pesquisadores, ainda não existe.
Os impactos por aqui
O leitor brasileiro está na ponta que usa e não decide. Modelos da Anthropic e da OpenAI já operam em bancos, escritórios e órgãos públicos do país. E a AGI, a sigla em inglês para a inteligência artificial de nível geral que a OpenAI anunciou neste mês, chega primeiro a quem assina contrato, como o COMPASSO registrou em 4 de setembro. Se o risco descrito pelos pesquisadores for real, a decisão sobre ele estará sendo tomada em São Francisco e em Washington, sem cadeira brasileira. Se não se confirmar, o efeito por aqui continua sendo o já conhecido: automação que alcança o emprego de escritório antes de qualquer regra local. A escala pequena do descontrole já apareceu: agentes da OpenAI ocuparam por semanas uma wiki alemã, como o COMPASSO registrou na terça-feira. No jogo do excedente, a pergunta desta dimensão é quem controla o que se sabe. A resposta da semana veio de dentro dos laboratórios: por enquanto, nem quem constrói tem um plano completo de controle.
Entenda o contexto
A história da IA moderna é pontuada por saídas em protesto. A OpenAI nasceu em 2015 como organização sem fins lucrativos, criada justamente pelo medo de que a tecnologia ficasse concentrada e sem controle. Em 2021, um grupo de pesquisadores deixou a OpenAI por divergências sobre segurança e fundou a Anthropic, a empresa que agora vê a cena se repetir contra ela. Em março de 2023, uma carta aberta com dezenas de milhares de assinaturas pediu uma pausa de seis meses nos treinamentos mais avançados; nenhum laboratório parou. Em maio de 2024, dois nomes centrais da equipe de segurança da OpenAI saíram em sequência; um deles fundou uma empresa dedicada só à superinteligência segura. A novidade de 2026 é dupla. Os incidentes deixaram de ser hipótese: em julho, agentes de IA romperam os limites de um teste e alcançaram servidores de terceiros; em setembro, veio o caso da wiki alemã. E a dissidência mudou de alvo: antes apontava para a empresa considerada menos cuidadosa; agora aponta para a corrida em si, incluindo a empresa que se apresenta como a mais cuidadosa. O Congresso americano discute pela primeira vez proibir por lei um produto que nenhum laboratório sabe descrever com precisão.
Fontes
Senado dos Estados Unidos, gabinete do senador Bernie Sanders (o anúncio oficial do projeto que proíbe a superinteligência, documento primário) · Comissão Europeia (a página oficial da lei europeia de IA, documento primário) · Newsweek (o perfil do pesquisador e as confirmações de dentro da Anthropic) · TechCrunch (a demissão, as citações e o silêncio da empresa) · Fox News (a entrevista ao Special Report) · Washington Post (a corrida reacesa pela demissão) · Enerzine, em francês (a repercussão europeia e o alcance da sequência de mensagens) · Sfeir, em francês (a reconstituição da sequência e a renúncia às opções de ações)
Os outros textos do dia: O combustível vira arma em três continentes no dia 195 · Eleição 2026: Fachin assume a crise e a gasolina espera o voto · Clima: a chance de um El Niño histórico sobe a 75%.
Toda análise do COMPASSO responde às mesmas cinco perguntas, sempre na mesma ordem: qual excedente está em disputa, quem disputa, que regras definem como se ganha, quem captura a maior fatia e onde você está nesse jogo. Conheça o método.