Anthropic Admite Que Quebrou Claude

Uma onda de reclamações de desenvolvedores inundou recentemente plataformas de mídia social como X e Reddit, detalhando um declínio acentuado nas capacidades de codificação de Claude. Programadores que dependem do assistente de IA relataram uma queda notável na qualidade de sua saída, provocando frustração generalizada. Muitos descreveram Claude como subitamente "mais burro", lutando com tarefas que antes lidava com facilidade.

Este fenômeno não é novo; os usuários frequentemente percebem uma degradação, ou 'nerfing' de IA, no desempenho do modelo muito antes dos reconhecimentos oficiais. Desenvolvedores, intimamente familiarizados com as complexidades de Claude, imediatamente sentiram uma mudança. Suas evidências anedóticas pintaram um quadro consistente de uma ferramenta antes confiável tornando-se esquecida e repetitiva, especialmente durante sessões de codificação complexas.

Esse desconforto coletivo transformou-se em validação quando a Anthropic finalmente publicou uma análise post-mortem, confirmando as suspeitas generalizadas. A frustração da comunidade de desenvolvedores deu lugar a um sentimento de "nós avisamos", à medida que a empresa admitiu mudanças específicas que impactaram o desempenho de Claude. Essa transparência, embora atrasada, forneceu insights cruciais sobre os problemas subjacentes.

A explicação da Anthropic detalhou três razões principais para a degradação em Claude Code: - Uma redução no esforço de raciocínio padrão de "alto" para "médio" visava diminuir a latência, sacrificando inadvertidamente a capacidade em tarefas de codificação mais difíceis. - Um bug crítico fez com que Claude perdesse seu raciocínio anterior após cada sessão ociosa, fazendo-o parecer esquecido e repetitivo. - Um prompt de sistema modificado, destinado a reduzir a verbosidade, impactou significativamente a qualidade do código, forçando a Anthropic a reverter a mudança.

Crucialmente, os problemas de desempenho decorreram do "harness" – a implementação específica conhecida como Claude Code – em vez do próprio modelo central Claude. Essa distinção destaca a fragilidade de todo o pipeline de IA, onde ajustes aparentemente menores podem ter efeitos profundos. Críticos rapidamente questionaram os protocolos de teste da Anthropic, considerando "insano" implantar mudanças tão impactantes sem uma validação pré-lançamento completa.

A Anthropic então publicou 'An update on recent Claude Code quality reports', oferecendo um nível de franqueza sem precedentes. Esta postagem de blog abordou diretamente o crescente coro de reclamações de desenvolvedores, detalhando os erros técnicos precisos que realmente degradaram o desempenho de Claude Code. A admissão pública da empresa destacou-se como um notável estudo de caso em transparência corporativa dentro da frequentemente opaca indústria de IA, estabelecendo um novo padrão para a responsabilização.

A análise post-mortem detalhou meticulosamente três razões principais por trás do declínio observado na capacidade de codificação: - A Anthropic confessou ter alterado o esforço de raciocínio padrão para Claude Code de "alto" para "médio". Essa mudança, implementada para reduzir a latência e tornar o modelo mais rápido, comprometeu inadvertidamente sua eficácia em tarefas de programação mais complexas que exigem um pensamento analítico mais profundo. - Um bug crítico surgiu, fazendo com que Claude perdesse seu raciocínio antigo após cada sessão ociosa. Essa falha fundamental fez com que o modelo parecesse esquecido e repetitivo, impactando severamente os diálogos de codificação multi-turn onde a retenção de contexto é primordial. - Uma modificação no prompt do sistema, inicialmente destinada a reduzir a verbosidade e otimizar as saídas, degradou inesperadamente a qualidade do código tão severamente que a Anthropic teve que reverter rapidamente a mudança, reconhecendo seu impacto prejudicial.

Membros da comunidade de IA e da mídia de tecnologia reagiram com uma potente mistura de surpresa, crítica e respeito relutante. Enquanto alguns, como o criador do Better Stack, expressaram choque por tais mudanças não terem sido adequadamente testadas antes da implantação, muitos elogiaram a transparência radical da Anthropic. Essa franqueza ofereceu um forte contraste com a forma como outras gigantes da tecnologia geralmente gerenciam problemas semelhantes de degradação de desempenho com seus produtos carro-chefe.

A maioria das empresas, particularmente no competitivo espaço da IA, frequentemente recorre a declarações vagas, atribui problemas a "padrões de uso em evolução" ou permanece completamente em silêncio, deixando os usuários a especular e a frustração a crescer. A decisão da Anthropic de expor seus erros internos, no entanto, construiu uma confiança significativa. Validou as frustrações dos desenvolvedores em vez de as descartar, reconhecendo o impacto tangível em seus fluxos de trabalho. Esse nível de abertura estabelece um novo e mais alto padrão para honestidade e responsabilidade no cenário em rápida evolução do desenvolvimento e implantação de modelos de IA.

O primeiro erro reconhecido da Anthropic envolveu um ajuste crítico de backend dentro do Claude Code. Engenheiros alteraram o esforço de raciocínio padrão do modelo, rebaixando-o de 'alto' para 'médio'. Essa mudança ditou diretamente os recursos computacionais e os ciclos de processamento internos que o Claude dedicava a cada consulta do usuário, reduzindo efetivamente sua profundidade analítica.

A transição para o raciocínio 'médio' significou que o Claude realizou menos iterações internas e uma decomposição de problemas menos complexa. Embora o objetivo explícito fosse diminuir a latência e acelerar os tempos de resposta, essa busca por velocidade sacrificou inadvertidamente a meticulosidade do modelo. Os desenvolvedores observaram um declínio acentuado na qualidade e precisão do código gerado, particularmente em cenários que exigiam um pensamento lógico intrincado.

Essa mudança operacional exemplifica um clássico trade-off de engenharia entre velocidade e desempenho, um dilema desafiador de forma única para grandes modelos de linguagem. Ao contrário

A análise post-mortem da Anthropic revelou um segundo erro crítico: o "Amnesia Bug," uma falha grave que afetava o Claude Code. Esse defeito insidioso fazia com que a IA descartasse completamente seu raciocínio anterior e contexto conversacional após qualquer período de inatividade do usuário. Toda vez que um desenvolvedor pausava sua interação – mesmo que brevemente – o Claude Code redefiniria sua memória de curto prazo, efetivamente "esquecendo" tudo o que foi discutido e forçando um novo começo.

Essa falha de memória provou ser devastadora para a produtividade do desenvolvedor e a continuidade do fluxo de trabalho. Imagine um programador trabalhando com o Claude Code para depurar um problema intrincado e multificheiro, fornecendo contexto extenso e detalhes arquitetônicos.

Após uma breve interrupção – talvez para executar um conjunto de testes ou consultar documentação – a IA retornaria desprovida de qualquer lembrança. Frequentemente exigia a reexplicação do problema, reiterava soluções já rejeitadas e gerava código ignorando horas de instruções anteriores, levando a imensa frustração e esforço desperdiçado.

A utilidade central de qualquer assistente de IA avançado depende criticamente de sua capacidade de manter o contexto de conversação e uma memória persistente. Sem esse fio contínuo de compreensão, uma IA não pode construir incrementalmente sobre interações anteriores ou oferecer soluções coerentes e em evolução para problemas complexos. A incapacidade do Claude Code de reter seu "raciocínio antigo" após um período de inatividade minou fundamentalmente seu potencial colaborativo, transformando-o em um chatbot frustrante e sem estado.

O terceiro erro da Anthropic envolveu uma mudança aparentemente inócua no system prompt do Claude Code. Os desenvolvedores modificaram o prompt com o objetivo explícito de reduzir a verbosidade do modelo, esperando obter saídas de código mais concisas e diretas. Este ajuste visava otimizar as interações e fornecer respostas sem rodeios conversacionais desnecessários.

No entanto, esta pequena alteração criou um efeito cascata massivo e não intencional, um exemplo clássico do efeito borboleta na engenharia de prompts. Uma ligeira alteração nas instruções iniciais modificou drasticamente a estrutura interpretativa do modelo, levando a uma degradação significativa na qualidade e correção do código gerado. O modelo, agora limitado pelo novo prompt, teve dificuldades com estruturas lógicas complexas e tarefas de codificação matizadas que antes lidava com facilidade.

O impacto na qualidade do código tornou-se tão severo que a Anthropic não teve escolha senão reverter o system prompt ao seu estado original. Este rápido retrocesso sublinha a extrema fragilidade de sistemas de IA avançados e fine-tuned. Mesmo pequenos ajustes nas instruções fundamentais podem desestabilizar o desempenho, revelando as intrincadas dependências dentro dessas complexas redes neurais.

A experiência da Anthropic destaca o delicado equilíbrio exigido na engenharia de prompts. Os desenvolvedores não podem simplesmente assumir que pequenas mudanças produzirão resultados previsíveis; em vez disso, testes e validações meticulosos são cruciais para prevenir regressões imprevistas. Este incidente serve como um lembrete claro de quão facilmente o desempenho cuidadosamente calibrado de um modelo de IA pode desmoronar.

A análise post-mortem da Anthropic revelou uma nuance crítica: o problema não se originou no modelo fundamental Claude em si. Os desenvolvedores experimentaram degradação no Claude Code, uma aplicação distinta construída sobre a IA subjacente. Esta distinção é primordial para compreender a verdadeira origem dos recentes problemas de desempenho.

Um "harness" no domínio dos grandes modelos de linguagem representa a camada sofisticada que otimiza um modelo fundamental para uma tarefa específica. Ele engloba uma combinação cuidadosamente selecionada de componentes projetados para guiar o comportamento e a saída do modelo. Esses elementos são cruciais para adaptar as capacidades gerais de um LLM a domínios especializados.

Os componentes-chave de um harness incluem system prompts refinados, que direcionam a persona e as instruções do modelo, e mecanismos de recuperação para acessar informações externas. Configurações, como o nível padrão de 'esforço de raciocínio', também estão sob a alçada do harness. Os três erros que a Anthropic admitiu — a mudança no esforço de raciocínio, o bug de amnésia e o system prompt alterado — foram todas modificações neste harness do Claude Code, e não no modelo base.

Considere a relação como um carro de corrida de alto desempenho. O motor potente representa o modelo fundamental Claude, inerentemente capaz e robusto. O harness, então, é a transmissão específica, o ajuste da suspensão e a configuração aerodinâmica meticulosamente configurados para uma pista de corrida e estilo de condução específicos. Uma transmissão mal ajustada ou configurações de suspensão incorretas irão prejudicar severamente o desempenho do carro, mesmo que o motor permaneça impecável.

Os erros da Anthropic foram semelhantes a ajustar a afinação do carro sem testes adequados, levando diretamente ao declínio observado na qualidade da codificação. O motor Claude subjacente permaneceu inalterado, mas seus parâmetros operacionais dentro do harness do Claude Code foram comprometidos. Para mais detalhes sobre como essas configurações impactam o desempenho de LLMs, leia como Mistério resolvido: Anthropic revela que mudanças nos **harnesses** e instruções de operação do Claude provavelmente causaram degradação | VentureBeat.

Este incidente ressalta a complexidade da implantação de IA avançada. Mesmo pequenos ajustes no harness operacional de um LLM podem alterar drasticamente sua inteligência e utilidade percebidas, destacando a necessidade crítica de testes rigorosos antes da implantação em larga escala. As capacidades do modelo central nunca estiveram em questão; sua aplicação específica sim.

A indignação da comunidade tecnológica rapidamente se seguiu à confissão da Anthropic. O vídeo da Better Stack, "Claude ACTUALLY got dumber...", destacou o sentimento, com o criador expressando descrença de que a Anthropic implantou mudanças tão impactantes sem testes rigorosos. "É meio insano para mim que eles não testam essas coisas antes de lançar essas mudanças", afirmou o vídeo, capturando a frustração generalizada dos desenvolvedores.

Essa crítica pontual ressalta uma expectativa fundamental entre os profissionais: as ferramentas das quais dependem para seu sustento exigem estabilidade. Para desenvolvedores que integram IA em sistemas complexos, a degradação inesperada de desempenho de uma API crítica como Claude Code é inaceitável. O impacto imediato na produtividade e nos cronogramas dos projetos torna-se significativo.

O antigo ethos do Silicon Valley de "mover rápido e quebrar coisas" enfrenta um escrutínio crescente quando aplicado a ferramentas de IA fundamentais. Embora a iteração rápida alimente a inovação, o envio de mudanças não testadas que comprometem a funcionalidade central para usuários profissionais corre o risco de corroer a confiança. Um modelo como Claude Code, projetado para tarefas de programação sofisticadas, exige um padrão diferente de implantação.

Os erros admitidos da Anthropic — mudar o esforço de raciocínio padrão de 'alto' para 'médio', introduzir um bug que apaga a memória após sessões ociosas e alterar o prompt do sistema para reduzir a verbosidade — representam modificações significativas. Cada mudança, se adequadamente testada, deveria ter sinalizado a degradação de desempenho resultante antes do lançamento público. Os problemas estavam com o "harness", Claude Code, não com o modelo central, mas a experiência do usuário permaneceu comprometida.

Desenvolver testes de regressão eficazes para IA generativa, no entanto, apresenta desafios únicos. Ao contrário do software tradicional, onde as saídas são em grande parte determinísticas, os modelos de IA produzem respostas variadas e não exatas. Métricas de avaliação automatizadas frequentemente têm dificuldade em capturar mudanças sutis de qualidade na geração de código, tornando as avaliações com intervenção humana essenciais, mas intensivas em recursos.

Apesar dessas complexidades, a comunidade espera uma validação robusta para IA de nível profissional. Este incidente destaca a necessidade de metodologias de teste avançadas que possam identificar regressões sutis, mas críticas, em sistemas não determinísticos. Reconstruir a confiança dos desenvolvedores exige mais do que desculpas; exige um compromisso demonstrável com uma rigorosa garantia de qualidade.

A admissão da Anthropic vai além de um único erro de produto; ela reflete um desafio sistêmico que assola toda a indústria de IA. Empresas que operam na vanguarda do desenvolvimento de modelos de linguagem grandes enfrentam uma imensa pressão para inovar, entregando atualizações constantes e novos recursos para manter uma vantagem competitiva em um mercado em rápida evolução. Esta implacável corrida armamentista da IA frequentemente prioriza a velocidade em detrimento da validação exaustiva.

Tais ciclos de desenvolvimento rápido frequentemente levam à implantação de mudanças sem os testes abrangentes e em ambiente real típicos para softwares tradicionais. Consequentemente, regressões imprevistas podem passar despercebidas, impactando diretamente a experiência e a confiança do usuário. O incidente com Claude Code serve como um lembrete claro desses altos riscos.

Avaliar o verdadeiro impacto dessas atualizações contínuas apresenta um desafio formidável. Avaliar o desempenho complexo de LLMs, especialmente para tarefas criativas e matizadas como codificação, desafia métricas simples e quantificáveis. Embora benchmarks acadêmicos como MMLU ou HumanEval ofereçam insights fundamentais, eles raramente capturam os cenários intrincados, de várias etapas e dependentes do contexto que os desenvolvedores encontram na prática.

O teste de software tradicional frequentemente depende de critérios claros de aprovação/reprovação ou métricas de desempenho específicas. Para LLMs, no entanto, um modelo 'melhor' pode exibir melhorias sutis em criatividade ou coerência, enquanto um 'pior' pode sofrer de consistência lógica reduzida ou alucinação aumentada, sendo todos difíceis de quantificar objetivamente em escala. Isso torna o benchmarking do desempenho de LLMs para aplicações práticas incrivelmente difícil.

Os ajustes da Anthropic ao Claude Code, como a mudança do esforço de raciocínio padrão de 'alto' para 'médio' e a modificação do prompt do sistema para verbosidade, ilustram essa complexidade. Essas pequenas alterações de configuração, destinadas a otimizar a latência ou a experiência do usuário, resultaram em degradações significativas na qualidade da codificação. Detectar tais regressões sutis antes da implantação generalizada requer sistemas de avaliação sofisticados e sensíveis ao contexto que a indústria ainda está lutando para aperfeiçoar.

A reação "insana" da comunidade em relação aos procedimentos de teste da Anthropic destaca uma vulnerabilidade mais ampla da indústria. Desenvolver estruturas de avaliação robustas e dinâmicas capazes de refletir verdadeiramente a utilidade de um LLM em seu vasto e frequentemente subjetivo espaço de aplicação permanece um problema crítico e não resolvido para todo grande desenvolvedor de IA.

O recente tropeço da Anthropic com Claude Code oferece uma masterclass inestimável para toda a indústria de IA. As equipes de desenvolvimento devem internalizar que ajustes de configuração aparentemente menores ou mudanças de prompt podem resultar em degradação significativa de desempenho e frustração do usuário. A mudança no esforço de raciocínio padrão de 'alto' para 'médio', implementada para velocidade, comprometeu dramaticamente a capacidade para tarefas de codificação complexas.

Além disso, o insidioso 'Amnesia Bug' interrompeu a continuidade da sessão, fazendo com que Claude abandonasse seu raciocínio anterior após cada sessão ociosa, tornando as interações esquecidas e repetitivas. Mesmo uma mudança aparentemente benigna no prompt do sistema, destinada a reduzir a verbosidade, impactou significativamente a qualidade do código, levando a um revertimento imediato. Esses três fatores ilustram coletivamente a profunda fragilidade das implantações de LLM quando mudanças aparentemente pequenas são feitas.

Crucialmente, o incidente ressalta a distinção entre o modelo de base fundamental e o seu arnês de aplicação específico. Enquanto o modelo Claude subjacente permaneceu robusto, o arnês 'Claude Code' sofreu devido a estas modificações externas. Isso destaca a necessidade de testes rigorosos e multifacetados para cada camada de um produto de IA, estendendo-se para além dos benchmarks internos para incluir feedback qualitativo extensivo dos utilizadores.

Como o criador do vídeo da Better Stack notou corretamente, parece "insano" implementar mudanças tão impactantes sem uma validação abrangente. As empresas não podem depender apenas de métricas quantitativas; os fluxos de trabalho e as expectativas dos desenvolvedores no mundo real exigem testes pré-produção completos em diversos cenários. Isso inclui a avaliação de padrões de interação de longo prazo, gestão de sessões e as formas sutis como o comportamento de uma IA pode mudar durante uma sessão ociosa, garantindo robustez antes do lançamento público.

Em última análise, a escolha da Anthropic de publicar 'An update on recent Claude Code quality reports' serve como um poderoso testemunho do valor a longo prazo da transparência corporativa. Admitir falhas e explicar claramente os erros técnicos, mesmo sob intenso escrutínio público, cultiva maior confiança do que a ofuscação. Outros desenvolvedores de IA devem seguir este exemplo, compreendendo que a abertura, embora difícil, constrói resiliência e credibilidade junto à sua base de utilizadores. Para mais informações sobre a reação da indústria, leia Anthropic admits it dumbed down Claude when trying to make it smarter - The Register.

A Anthropic agiu rapidamente para retificar os problemas que afetavam o Claude Code. Eles reverteram completamente a mudança no prompt do sistema, que havia impactado significativamente a qualidade do código, e implementaram uma correção crítica para o "bug da amnésia" que fazia com que Claude perdesse seu raciocínio após sessões ociosas, tornando-o esquecido e repetitivo. A empresa também se comprometeu a restaurar o 'esforço de raciocínio' padrão de 'médio' para 'alto' para o Claude Code, priorizando a capacidade sobre a velocidade bruta, e prometeu melhorias contínuas no desempenho e na estabilidade.

Reconquistar a confiança de uma comunidade de desenvolvedores que depende de precisão exige mais do que apenas corrigir bugs. A Anthropic deve implementar protocolos de testes pré-implantação mais robustos, abordando a falta "insana" de testes destacada pelo vídeo da Better Stack. Isso provavelmente envolve testes A/B internos rigorosos, implantações canary para mudanças críticas e um ciclo de feedback interno dedicado, voltado para desenvolvedores, para identificar regressões antes do lançamento público.

Além dos processos internos, a Anthropic precisa reconstruir sua reputação externa de confiabilidade. Isso exige maior transparência por meio de changelogs detalhados e roteiros públicos para o Claude Code. O envolvimento direto com a comunidade de desenvolvedores por meio de fóruns dedicados, briefings técnicos ou programas beta abertos será crucial para fomentar a confiança renovada e demonstrar uma abordagem proativa à garantia de qualidade.

Em última análise, o incidente de Claude ressalta uma mudança crucial no cenário da IA. Os desenvolvedores não veem mais os assistentes de codificação de IA como novidades experimentais; essas ferramentas são agora componentes indispensáveis de seu fluxo de trabalho diário, exigindo confiabilidade e consistência inabaláveis. O sucesso futuro dos provedores de LLM depende de sua capacidade de entregar desempenho previsível e de alta qualidade, cultivando um profundo senso de confiança com sua base de usuários.

Por que o desempenho de codificação de Claude piorou?

A Anthropic confirmou três razões: eles diminuíram o 'reasoning effort' padrão para reduzir a latency, um bug fez com que ele 'esquecesse' conversas após períodos de inatividade, e uma mudança no 'system prompt' projetada para ser menos prolixa impactou negativamente a 'code quality'.

O modelo 'core Claude' ficou realmente mais burro?

Não. De acordo com a Anthropic, o modelo 'core Claude' em si não foi degradado. Os problemas eram específicos do 'Claude Code' harness, que é o sistema e os prompts que envolvem o modelo para tarefas de programação.

Que mudanças a Anthropic fez para corrigir o 'Claude Code'?

A Anthropic reverteu a mudança no 'system prompt' que prejudicou a 'code quality' e corrigiu o bug que causava perda de memória. Eles também estão trabalhando para equilibrar a latency e o desempenho para a configuração de 'reasoning effort'.

O que é um AI 'harness'?

Um AI 'harness' refere-se ao conjunto específico de configurações, 'system prompts' e instruções que são usados para adaptar um 'base model' geral para uma tarefa específica, como codificação. É a 'application layer' sobre o modelo 'core'.