Anthropic, Claude 망가뜨렸다고 인정

최근 X와 Reddit 같은 소셜 미디어 플랫폼에는 Claude의 코딩 기능이 현저히 저하되었다는 개발자들의 불만이 쇄도했습니다. AI 비서에 의존하던 프로그래머들은 출력 품질이 눈에 띄게 떨어졌다고 보고하며 광범위한 불만을 불러일으켰습니다. 많은 이들이 Claude가 갑자기 "더 멍청해졌다"고 묘사하며, 이전에는 쉽게 처리했던 작업에서 어려움을 겪고 있다고 말했습니다.

이러한 현상은 새로운 것이 아닙니다. 사용자들은 공식적인 인정이 있기 훨씬 전부터 모델 성능의 저하, 즉 AI 'nerfing,'을 종종 인지합니다. Claude의 복잡한 부분을 잘 아는 개발자들은 즉시 변화를 감지했습니다. 그들의 일화적인 증거는 한때 신뢰할 수 있었던 도구가 특히 복잡한 코딩 세션 중에 건망증이 심해지고 반복적으로 변했다는 일관된 그림을 그렸습니다.

Anthropic이 마침내 사후 분석 보고서를 발표하여 광범위한 의혹을 확인했을 때, 그 집단적인 불안감은 사실로 입증되었습니다. 회사가 Claude의 성능에 영향을 미치는 특정 변경 사항을 인정하면서 개발자 커뮤니티의 불만은 "우리가 말했잖아"라는 안도감으로 바뀌었습니다. 이러한 투명성은 비록 지연되었지만, 근본적인 문제에 대한 중요한 통찰력을 제공했습니다.

Anthropic의 설명은 Claude Code 성능 저하의 세 가지 핵심 이유를 상세히 설명했습니다: - 기본 추론 노력을 "높음(high)"에서 "중간(medium)"으로 줄인 것은 지연 시간을 줄이기 위한 것이었으나, 의도치 않게 더 어려운 코딩 작업에서 능력을 희생시켰습니다. - 치명적인 버그로 인해 Claude는 유휴 세션 후 이전 추론을 잊어버려 건망증이 심하고 반복적으로 보이게 했습니다. - 장황함을 줄이기 위해 수정된 시스템 프롬프트는 코드 품질에 심각한 영향을 미쳐, Anthropic이 변경 사항을 되돌리도록 강요했습니다.

결정적으로, 성능 문제는 핵심 Claude 모델 자체가 아닌 "하네스" – 즉, Claude Code로 알려진 특정 구현 – 에서 비롯되었습니다. 이러한 구분은 사소해 보이는 조정이 엄청난 영향을 미 미칠 수 있는 전체 AI 파이프라인의 취약성을 강조합니다. 비평가들은 Anthropic의 테스트 프로토콜에 대해 즉시 의문을 제기하며, 철저한 사전 출시 검증 없이 이러한 영향력 있는 변경 사항을 배포하는 것은 "미친 짓"이라고 평가했습니다.

Anthropic은 이어서 'An update on recent Claude Code quality reports'를 발표하며 전례 없는 수준의 솔직함을 보였습니다. 이 블로그 게시물은 개발자들의 불만 증가에 직접적으로 대응하며, 실제로 Claude Code의 성능을 저하시킨 정확한 기술적 실책들을 상세히 설명했습니다. 회사의 공개적인 인정은 종종 불투명한 AI 산업 내에서 기업 투명성의 놀라운 사례 연구로 돋보였으며, 책임감에 대한 새로운 기준을 제시했습니다.

사후 분석 보고서는 관찰된 코딩 능력 저하의 세 가지 핵심 이유를 면밀하게 설명했습니다: - Anthropic은 Claude Code의 기본 추론 노력을 "높음(high)"에서 "중간(medium)"으로 변경했음을 고백했습니다. 지연 시간을 줄이고 모델을 더 빠르게 만들기 위해 구현된 이 변경은 더 깊은 분석적 사고를 요구하는 복잡한 프로그래밍 작업에서 모델의 효율성을 의도치 않게 저해했습니다. - 치명적인 버그가 발생하여 Claude가 유휴 세션 후 이전 추론을 잊어버리게 했습니다. 이 근본적인 결함은 모델이 건망증이 심하고 반복적으로 보이게 하여, 문맥 유지가 가장 중요한 다중 턴 코딩 대화에 심각한 영향을 미쳤습니다. - 처음에는 장황함을 줄이고 출력을 간소화하기 위한 시스템 프롬프트 수정이 예상치 못하게 코드 품질을 너무 심하게 저하시켜, Anthropic은 그 해로운 영향을 인정하고 변경 사항을 신속하게 되돌려야 했습니다.

AI 커뮤니티 회원들과 기술 미디어는 놀라움, 비판, 마지못한 존경이 뒤섞인 강력한 반응을 보였습니다. Better Stack 개발자와 같은 일부는 이러한 변경 사항이 배포 전에 충분히 테스트되지 않았다는 사실에 충격을 표했지만, 많은 이들이 Anthropic의 급진적인 투명성을 칭찬했습니다. 이러한 솔직함은 다른 거대 기술 기업들이 주력 제품의 유사한 성능 저하 문제를 일반적으로 관리하는 방식과 극명한 대조를 이루었습니다.

대부분의 기업, 특히 경쟁이 치열한 AI 분야에서는 종종 모호한 진술을 하거나, 문제를 '변화하는 사용 패턴' 탓으로 돌리거나, 완전히 침묵하여 사용자들이 추측하고 좌절감을 키우도록 내버려 둡니다. 그러나 Anthropic이 내부 실수를 공개하기로 한 결정은 상당한 신뢰를 구축했습니다. 이는 개발자들의 불만을 일축하기보다는 인정하고, 그들의 워크플로우에 미치는 실질적인 영향을 인지했습니다. 이러한 수준의 개방성은 빠르게 진화하는 AI 모델 개발 및 배포 환경에서 정직성과 책임감에 대한 새롭고 더 높은 기준을 제시합니다.

Anthropic이 인정한 첫 번째 실수는 Claude Code 내의 중요한 백엔드 조정과 관련이 있었습니다. 엔지니어들은 모델의 기본 추론 노력(reasoning effort)을 '높음'에서 '중간'으로 하향 조정했습니다. 이 변경은 Claude가 각 사용자 쿼리에 할당하는 컴퓨팅 리소스와 내부 처리 주기를 직접적으로 결정하여 분석 깊이를 효과적으로 감소시켰습니다.

'중간' 추론으로 전환한다는 것은 Claude가 내부 반복을 덜 수행하고 덜 복잡한 문제 분해를 수행했음을 의미했습니다. 명시적인 목표는 지연 시간(latency)을 줄이고 응답 시간을 가속화하는 것이었지만, 이러한 속도 추구는 의도치 않게 모델의 세심함을 희생시켰습니다. 개발자들은 특히 복잡한 논리적 사고를 요구하는 시나리오에서 생성된 코드의 품질과 정확도(accuracy)가 현저히 감소하는 것을 관찰했습니다.

이러한 운영상의 변화는 속도와 성능 사이의 고전적인 엔지니어링 트레이드오프를 보여주며, 이는 대규모 언어 모델에 특히 어려운 딜레마입니다. ~와 달리

Anthropic의 사후 분석은 두 번째 치명적인 실수를 밝혀냈습니다: Claude Code를 괴롭히는 심각한 결함인 "Amnesia Bug"입니다. 이 교활한 결함은 사용자가 활동하지 않는 기간이 지나면 AI가 이전 추론과 대화 맥락(conversational context)을 완전히 버리게 만들었습니다. 개발자가 상호 작용을 잠시라도 중단할 때마다 Claude Code는 단기 기억을 재설정하여 논의된 모든 것을 효과적으로 '잊어버리고' 처음부터 다시 시작하도록 강요했습니다.

이러한 기억 상실은 개발자 생산성과 워크플로우 연속성에 치명적인 영향을 미쳤습니다. Claude Code와 함께 복잡한 다중 파일 문제를 디버깅하며 광범위한 맥락과 아키텍처 세부 정보를 제공하는 프로그래머를 상상해 보십시오.

잠시 중단된 후(아마도 테스트 스위트를 실행하거나 문서를 참조하기 위해) AI는 아무런 기억도 없이 돌아왔습니다. AI는 문제에 대한 재설명을 자주 요구했고, 이미 거부된 해결책을 반복했으며, 몇 시간 동안의 이전 지시를 무시한 코드를 생성하여 엄청난 좌절감과 노력 낭비로 이어졌습니다.

모든 고급 AI 비서의 핵심 유용성은 대화 맥락(conversation context)과 지속적인 기억을 유지하는 능력에 결정적으로 달려 있습니다. 이러한 지속적인 이해의 흐름이 없으면 AI는 이전 상호 작용을 기반으로 점진적으로 구축하거나 복잡한 문제에 대한 일관되고 진화하는 솔루션을 제공할 수 없습니다. Claude Code가 유휴 기간 후에 '이전 추론'을 유지할 수 없었던 것은 협업 잠재력을 근본적으로 훼손하여, 좌절감을 주는 상태 비저장 챗봇으로 변모시켰습니다.

Anthropic의 세 번째 실수는 Claude Code의 system prompt에 대한 겉보기에는 무해한 변경을 포함했습니다. 개발자들은 모델의 장황함을 줄여 더 간결하고 직접적인 코드 출력을 유도하기 위해 프롬프트를 수정했습니다. 이 조정은 불필요한 대화적 군더더기 없이 상호 작용을 간소화하고 답변을 제공하는 것을 목표로 했습니다.

그러나 이 작은 조정은 프롬프트 엔지니어링에서 나비 효과의 전형적인 예시인 거대하고 의도치 않은 파급 효과를 일으켰습니다. 초기 지침의 미미한 변경은 모델의 해석 프레임워크를 급격히 변화시켰고, 이는 생성된 코드의 품질과 정확성에서 상당한 저하로 이어졌습니다. 이제 새로운 프롬프트에 의해 제약을 받는 모델은 이전에 쉽게 처리했던 복잡한 논리 구조와 미묘한 코딩 작업에 어려움을 겪었습니다.

코드 품질에 미치는 영향이 너무 심각해져 Anthropic은 system prompt를 원래 상태로 되돌릴 수밖에 없었습니다. 이러한 빠른 롤백은 고급 미세 조정된 AI 시스템의 극심한 취약성을 강조합니다. 기본적인 지침에 대한 사소한 조정조차도 성능을 불안정하게 만들 수 있으며, 이러한 복잡한 신경망 내의 복잡한 의존성을 드러냅니다.

Anthropic의 경험은 프롬프트 엔지니어링에 필요한 섬세한 균형을 강조합니다. 개발자들은 작은 변화가 예측 가능한 결과를 낳을 것이라고 단순히 가정할 수 없습니다. 대신, 예상치 못한 퇴행을 방지하기 위해 세심한 테스트와 검증이 중요합니다. 이 사건은 AI 모델의 신중하게 조정된 성능이 얼마나 쉽게 무너질 수 있는지를 극명하게 상기시켜 줍니다.

Anthropic의 사후 분석은 중요한 뉘앙스를 드러냈습니다. 문제는 핵심 Claude foundation model 자체에서 비롯된 것이 아니었습니다. 개발자들은 기본 AI 위에 구축된 별개의 애플리케이션인 Claude Code에서 성능 저하를 경험했습니다. 이 구분은 최근 성능 문제의 실제 원인을 이해하는 데 가장 중요합니다.

대규모 언어 모델 영역에서 "harness"는 특정 작업을 위해 기반 모델을 최적화하는 정교한 계층을 나타냅니다. 이는 모델의 동작과 출력을 안내하도록 설계된 신중하게 선별된 구성 요소의 조합을 포함합니다. 이러한 요소는 LLM의 일반적인 기능을 전문 분야에 맞게 조정하는 데 중요합니다.

harness의 주요 구성 요소에는 모델의 페르소나와 지침을 조종하는 정교한 system prompt와 외부 정보에 접근하기 위한 검색 메커니즘이 포함됩니다. 기본 'reasoning effort' 수준과 같은 구성도 harness의 범위에 속합니다. Anthropic이 인정한 세 가지 실수(reasoning effort 변경, amnesia bug, 변경된 system prompt)는 모두 이 Claude Code harness에 대한 수정이었지, 기본 모델에 대한 수정이 아니었습니다.

이 관계를 고성능 경주용 자동차에 비유해 봅시다. 강력한 엔진은 본질적으로 유능하고 견고한 핵심 Claude foundation model을 나타냅니다. 그렇다면 harness는 특정 경주 트랙과 운전 스타일에 맞춰 세심하게 구성된 특정 변속기, 서스펜션 튜닝 및 공기역학적 설정입니다. 변속기가 제대로 튜닝되지 않았거나 서스펜션 설정이 잘못되면 엔진이 완벽하더라도 자동차의 성능을 심각하게 저해할 것입니다.

Anthropic의 실수는 적절한 테스트 없이 자동차 튜닝을 조정한 것과 같았으며, 이는 코딩 품질 저하로 직접 이어졌습니다. 기본 Claude 엔진은 변경되지 않았지만, Claude Code harness 내의 작동 매개변수가 손상되었습니다. 이러한 구성이 LLM 성능에 어떻게 영향을 미치는지에 대한 자세한 내용은 Mystery solved: Anthropic reveals changes to Claude's harnesses and operating instructions likely caused degradation | VentureBeat에서 확인하세요.

이 사건은 고급 AI 배포의 복잡성을 강조합니다. LLM의 작동 harness에 대한 사소한 조정조차도 인지된 지능과 유용성을 극적으로 변화시킬 수 있으며, 광범위한 배포 전에 엄격한 테스트의 중요성을 부각합니다. 핵심 모델의 기능은 의심의 여지가 없었지만, 특정 적용 방식이 문제였습니다.

Anthropic의 고백 이후 기술 커뮤니티의 분노가 빠르게 뒤따랐습니다. Better Stack의 비디오, "Claude ACTUALLY got dumber..."는 이러한 정서를 강조했으며, 제작자는 Anthropic이 엄격한 테스트 없이 이렇게 영향력 있는 변경 사항을 배포했다는 것에 대한 불신을 표명했습니다. 비디오는 "이러한 변경 사항을 배포하기 전에 테스트하지 않는다는 것이 저에게는 좀 미친 짓 같아요"라고 말하며, 광범위한 개발자들의 좌절감을 담아냈습니다.

이러한 날카로운 비판은 전문가들 사이의 근본적인 기대를 강조합니다: 생계를 위해 의존하는 도구는 안정성을 요구합니다. 복잡한 시스템에 AI를 통합하는 개발자들에게 Claude Code와 같은 중요한 API에서 예상치 못한 성능 저하는 용납할 수 없습니다. 생산성과 프로젝트 일정에 미치는 즉각적인 영향은 상당합니다.

실리콘밸리의 오랜 "빠르게 움직이고 부숴라(move fast and break things)" 정신은 기반 AI 도구에 적용될 때 점점 더 많은 조사를 받고 있습니다. 빠른 반복이 혁신을 촉진하지만, 전문 사용자에게 핵심 기능을 손상시키는 테스트되지 않은 변경 사항을 출시하는 것은 신뢰를 훼손할 위험이 있습니다. 정교한 프로그래밍 작업을 위해 설계된 Claude Code와 같은 모델은 다른 배포 표준을 요구합니다.

Anthropic이 인정한 실수들 — 기본 reasoning effort를 'high'에서 'medium'으로 변경하고, 유휴 세션 후 메모리 삭제 버그를 도입하며, 장황함을 줄이기 위해 시스템 프롬프트를 변경한 것 — 은 중대한 수정 사항입니다. 각 변경 사항은 적절하게 테스트되었다면 공개 출시 전에 발생할 수 있는 성능 저하를 경고했어야 합니다. 문제는 핵심 모델이 아니라 "harness"인 Claude Code에 있었지만, 사용자 경험은 여전히 손상된 상태였습니다.

그러나 생성형 AI를 위한 효과적인 regression tests를 개발하는 것은 독특한 과제를 제시합니다. 출력이 대체로 결정론적인 전통적인 소프트웨어와 달리, AI 모델은 다양하고 비정확한 응답을 생성합니다. 자동화된 평가 지표는 코드 생성에서 미묘한 품질 변화를 포착하는 데 종종 어려움을 겪으며, 이로 인해 human-in-the-loop 평가가 필수적이지만 자원 집약적입니다.

이러한 복잡성에도 불구하고 커뮤니티는 전문가 수준 AI에 대한 강력한 검증을 기대합니다. 이 사건은 비결정론적 시스템에서 미묘하지만 중요한 regression을 식별할 수 있는 고급 테스트 방법론의 필요성을 강조합니다. 개발자 신뢰를 재구축하는 것은 사과 이상을 요구합니다. 엄격한 품질 보증에 대한 입증 가능한 약속이 필요합니다.

Anthropic의 인정은 단일 제품의 실수를 넘어섭니다. 이는 전체 AI 산업을 휩쓸고 있는 시스템적인 도전을 반영합니다. 대규모 언어 모델 개발의 선두에 있는 기업들은 빠르게 진화하는 시장에서 경쟁 우위를 유지하기 위해 끊임없는 업데이트와 새로운 기능을 제공하며 혁신해야 한다는 엄청난 압력에 직면해 있습니다. 이러한 끊임없는 AI arms race는 종종 철저한 검증보다 속도를 우선시합니다.

이러한 빠른 개발 주기는 종종 전통적인 소프트웨어에서 흔히 볼 수 있는 포괄적인 실제 테스트 없이 변경 사항을 배포하게 만듭니다. 결과적으로 예상치 못한 회귀가 발생하여 사용자 경험과 신뢰에 직접적인 영향을 미칠 수 있습니다. Claude Code 사건은 이러한 높은 위험을 극명하게 상기시켜 줍니다.

이러한 지속적인 업데이트의 진정한 영향을 평가하는 것은 엄청난 도전입니다. 특히 코딩과 같은 창의적이고 미묘한 작업에 대한 복잡한 LLM 성능을 평가하는 것은 단순하고 정량화 가능한 측정 기준으로는 어렵습니다. MMLU 또는 HumanEval과 같은 학술 벤치마크는 기본적인 통찰력을 제공하지만, 개발자들이 실제로 직면하는 복잡하고 다단계적이며 맥락에 의존하는 시나리오를 포착하는 경우는 거의 없습니다.

전통적인 소프트웨어 테스트는 종종 명확한 합격/불합격 기준 또는 특정 성능 지표에 의존합니다. 그러나 LLM의 경우, '더 나은' 모델은 창의성이나 일관성에서 미묘한 개선을 보일 수 있는 반면, '더 나쁜' 모델은 논리적 일관성 감소 또는 환각 증가로 어려움을 겪을 수 있으며, 이 모든 것은 대규모로 객관적으로 정량화하기 어렵습니다. 이는 실제 애플리케이션을 위한 LLM 성능 벤치마킹을 엄청나게 어렵게 만듭니다.

Anthropic이 Claude Code에 적용한 조정, 예를 들어 기본 reasoning effort를 '높음'에서 '중간'으로 변경하고 장황함을 줄이기 위해 system prompt를 수정한 것은 이러한 복잡성을 보여줍니다. 대기 시간 또는 사용자 경험을 최적화하기 위한 이러한 사소해 보이는 구성 변경은 코딩 품질의 상당한 저하로 이어졌습니다. 광범위한 배포 전에 이러한 미묘한 회귀를 감지하려면 업계가 아직 완성하기 위해 고군분투하고 있는 정교하고 맥락을 인식하는 평가 시스템이 필요합니다.

Anthropic의 테스트 절차에 대한 커뮤니티의 '미친' 반응은 더 넓은 산업 취약성을 강조합니다. LLM의 광범위하고 종종 주관적인 애플리케이션 공간 전반에 걸쳐 유용성을 진정으로 반영할 수 있는 강력하고 동적인 평가 프레임워크를 개발하는 것은 모든 주요 AI 개발자에게 중요한 미해결 과제로 남아 있습니다.

Anthropic의 최근 Claude Code 관련 실수는 전체 AI 산업에 귀중한 마스터클래스를 제공합니다. 개발팀은 사소해 보이는 구성 변경이나 프롬프트 변경이 상당한 성능 저하와 사용자 불만으로 이어질 수 있음을 내면화해야 합니다. 속도를 위해 구현된 기본 reasoning effort를 '높음'에서 '중간'으로 변경한 것은 복잡한 코딩 작업에 대한 기능을 극적으로 손상시켰습니다.

더 나아가, 교활한 'Amnesia Bug'는 Claude가 유휴 세션마다 이전 추론을 버리게 하여 세션 연속성을 방해했고, 상호 작용을 잊어버리고 반복적으로 느끼게 만들었습니다. 장황함을 줄이기 위한 의도였던 system prompt에 대한 겉보기에는 무해한 변경조차도 코드 품질에 상당한 영향을 미쳐 즉시 되돌려야 했습니다. 이 세 가지 요인은 겉보기에는 작은 변경이 이루어졌을 때 LLM 배포의 심오한 취약성을 집합적으로 보여줍니다.

이 사건은 핵심 기반 모델과 특정 애플리케이션 하네스 간의 차이를 극명하게 보여줍니다. 기본 Claude 모델은 견고했지만, 'Claude Code' 하네스는 외부 수정으로 인해 문제가 발생했습니다. 이는 AI 제품의 모든 계층에 대한 엄격하고 다각적인 테스트의 필요성을 강조하며, 내부 벤치마크를 넘어 광범위한 정성적 사용자 피드백을 포함해야 합니다.

Better Stack 비디오 제작자가 정확히 지적했듯이, 포괄적인 검증 없이 이러한 영향력 있는 변경 사항을 적용하는 것은 "미친 짓"처럼 보입니다. 기업은 양적 지표에만 의존할 수 없습니다. 실제 개발자 워크플로우와 기대치는 다양한 시나리오에 걸쳐 철저한 사전 프로덕션 테스트를 요구합니다. 여기에는 장기적인 상호 작용 패턴, 세션 관리, 그리고 AI의 동작이 유휴 세션 동안 미묘하게 변화할 수 있는 방식 등을 평가하여 공개 출시 전에 견고성을 보장하는 것이 포함됩니다.

궁극적으로 Anthropic이 'An update on recent Claude Code quality reports'를 발표하기로 한 결정은 기업 투명성의 장기적인 가치에 대한 강력한 증거입니다. 격렬한 대중의 감시 속에서도 잘못을 인정하고 기술적 실수를 명확하게 설명하는 것은 은폐하는 것보다 더 큰 신뢰를 얻습니다. 다른 AI 개발자들은 이 사례를 주의 깊게 살펴야 하며, 개방성이 어렵더라도 사용자 기반과의 회복력과 신뢰를 구축한다는 점을 이해해야 합니다. 업계 반응에 대한 추가 통찰력을 얻으려면 Anthropic admits it dumbed down Claude when trying to make it smarter - The Register를 읽어보십시오.

Anthropic은 Claude Code를 괴롭히던 문제들을 신속하게 해결했습니다. 그들은 코드 품질에 상당한 영향을 미쳤던 시스템 프롬프트 변경을 완전히 되돌렸고, 유휴 세션 후 Claude가 추론을 중단하여 건망증이 있고 반복적으로 느껴지게 만들었던 "기억 상실 버그"에 대한 중요한 수정 사항을 배포했습니다. 또한 회사는 Claude Code의 기본 '추론 노력'을 '중간'에서 '높음'으로 복원하여 순수한 속도보다 기능을 우선시하고, 성능 및 안정성 개선을 지속적으로 약속했습니다.

정밀성에 의존하는 개발자 커뮤니티로부터 신뢰를 되찾는 것은 단순히 버그를 패치하는 것 이상을 요구합니다. Anthropic은 Better Stack 비디오에서 강조된 "미친" 테스트 부족 문제를 해결하기 위해 더욱 강력한 배포 전 테스트 프로토콜을 구현해야 합니다. 여기에는 엄격한 내부 A/B 테스트, 중요한 변경 사항에 대한 카나리 배포, 그리고 공개 출시 전에 회귀를 포착하기 위한 전담 내부 개발자 피드백 루프가 포함될 가능성이 높습니다.

내부 프로세스 외에도 Anthropic은 신뢰성에 대한 외부 명성을 재건해야 합니다. 이를 위해서는 Claude Code에 대한 상세한 변경 로그와 공개 로드맵을 통한 투명성 강화가 필요합니다. 전용 포럼, 기술 브리핑 또는 공개 베타 프로그램을 통해 개발자 커뮤니티와 직접 소통하는 것은 새로운 신뢰를 조성하고 품질 보증에 대한 적극적인 접근 방식을 보여주는 데 중요할 것입니다.

궁극적으로 Claude 사건은 AI 환경의 중대한 변화를 강조합니다. 개발자들은 더 이상 AI 코딩 도우미를 실험적인 신기한 것으로 보지 않습니다. 이 도구들은 이제 일상적인 워크플로우의 필수적인 구성 요소이며, 흔들림 없는 신뢰성과 일관성을 요구합니다. LLM 제공업체의 미래 성공은 예측 가능하고 고품질의 성능을 제공하여 사용자 기반과의 깊은 신뢰를 구축하는 능력에 달려 있습니다.

Claude의 코딩 성능이 왜 나빠졌나요?

Anthropic은 세 가지 이유를 확인했습니다. 지연 시간을 줄이기 위해 기본 'reasoning effort'를 낮췄고, 버그로 인해 유휴 기간 후 대화를 '잊어버렸으며', 간결하게 설계된 system prompt 변경이 code quality에 부정적인 영향을 미쳤습니다.

핵심 Claude model이 실제로 더 멍청해졌나요?

아닙니다. Anthropic에 따르면, 핵심 Claude model 자체는 저하되지 않았습니다. 문제는 프로그래밍 작업을 위해 model을 감싸는 system 및 prompts인 'Claude Code' harness에 특정한 것이었습니다.

Anthropic은 Claude Code를 수정하기 위해 어떤 변경 사항을 적용했나요?

Anthropic은 code quality를 손상시켰던 system prompt 변경을 되돌리고 memory loss를 유발했던 bug를 수정했습니다. 또한 reasoning effort 설정에 대한 latency와 performance의 균형을 맞추기 위해 노력하고 있습니다.

AI 'harness'란 무엇인가요?

AI harness는 coding과 같은 특정 작업을 위해 일반 base model을 조정하는 데 사용되는 특정 configurations, system prompts 및 instructions 세트를 의미합니다. 이는 core model 위에 있는 application layer입니다.