AI 레이어를 삭제하라고요? 잠시만요.

Claude Code의 비전 있는 제작자인 Boris Cherny는 최근 "6개월마다 전체 AI 레이어를 삭제하라"는 도발적인 지침으로 AI 개발 커뮤니티에 폭탄을 던졌습니다. 이는 단순한 제안이 아니었습니다. 실존적 명령처럼 다가온 이 발언은 즉시 전 세계 개발자 포럼과 소셜 미디어 채널 전반에 걸쳐 격렬한 논쟁과 우려의 불길을 일으켰습니다.

이 대담한 선언은 생태계에 지각변동을 일으켰으며, 어렵게 얻은 프롬프트 엔지니어링 전문 지식에 대한 보편적인 무시로 크게 오해받았습니다. Opus 5와 같은 최첨단 모델이 너무나 극적으로 발전하여 이전에 공들여 만든 모든 프롬프트 체인, 커스텀 로직, 복잡한 가드레일을 완전히 쓸모없게 만들었다는 결론이 즉각적이고 광범위하게 퍼졌습니다. 커뮤니티는 능력이 부족한 LLM을 안내하기 위해 기울였던 고통스러운 노력이 이제는 불필요할 뿐만 아니라 오히려 해로울 수도 있다는 생각에 사로잡혔습니다.

그 함의는 개발자 정체성의 핵심을 찌르며 깊은 상처를 남겼습니다. 이는 수개월, 심지어 수년간 공들여 만든 복잡한 글로벌 규칙, 전문 기술, 정교한 훅 등 개발자들의 전체 맞춤형 AI 레이어가 갑자기 일회용의 가치 없는 짐으로 낙인찍혔음을 시사했습니다. 끊임없는 LLM 혁신의 속도에 밀려 무의미해진 것처럼 보이는 이 집단적 노력은 커뮤니티 전반에 우려를 낳았습니다. 많은 개발자는 강력한 AI 시스템 구축에 투자한 상당한 시간과 비용의 즉각적인 가치에 의문을 제기하며, 어렵게 얻은 지적 재산이 이제 구식이 된 것은 아닌지 두려워했습니다.

Claude Code 제작자가 내린 도발적인 "전체 AI 레이어 삭제" 명령은 처음에는 디지털 허무주의를 부추기는 것처럼 들립니다. 하지만 자세히 들여다보면 그는 어렵게 얻은 성과를 맹목적으로 제거하라고 주장한 것이 아닙니다. 대신 Cherny는 체계적이고 연구에 기반한 평가 과정인 절제(ablation)를 옹호합니다.

AI 연구에서 직접 차용한 용어인 절제는 완전히 백지상태에서 시작하는 것을 의미합니다. 당신이 공들여 구축한 모든 프롬프트, 모든 글로벌 규칙, 모든 커스텀 기술을 제거한다고 상상해 보세요. 그런 다음 이러한 요소를 한 줄씩 다시 도입하여 각 추가 사항이 미치는 영향을 체계적으로 평가합니다. 이러한 꼼꼼한 재평가는 무엇이 실제로 AI의 성능에 기여하고 무엇이 중복되거나 심지어 제한적으로 변했는지를 밝혀냅니다.

이는 단순한 학문적 연습이 아닙니다. 현대 LLM의 행동을 이해하는 데 중요한 통찰력입니다. Opus와 같은 최신 모델은 지나치게 구체적인 단계별 지침이 아니라 더 높은 수준의 목표와 강력한 가드레일에서 더 잘 작동합니다. 능력이 부족한 모델에게는 필수적이었던 지나치게 규범적인 프롬프팅은 이제 종종 모델의 창발적 능력을 질식시킵니다. 절제는 이러한 지침의 병목 현상을 정확히 찾아내어 최소한의 영향력 있는 안내만으로 "모델이 제 역량을 발휘하도록(let the model cook)" 하고 그 잠재력을 최대한 끌어낼 수 있도록 도와줍니다.

Cherny의 체계적인 절제는 이론적으로는 타당하지만, 대부분의 운영 환경에서는 엄청난 실무적 장애물을 제시합니다. 이 과정은 전체 시스템 프롬프트를 삭제한 다음, 각 기술, 훅, 글로벌 규칙을 한 줄씩 꼼꼼하게 다시 도입하여 개별적인 영향을 측정해야 합니다. 이러한 철저한 평가는 토큰, 개발자 시간, 엔지니어링 자원 측면에서 극심한 비용을 초래하여 실행하기 어려운 작업이 됩니다.

그러나 이러한 조언은 자원이 거의 제한적이지 않다는 관점에서 비롯된 것입니다. Anthropic 직원인 Cherny는 대부분의 기업이 꿈만 꿀 수 있는 토큰 예산을 가지고 업무를 수행합니다. 그는 단일 작업에 대해 "14일, 15일"이라고 구체적으로 명시하며 "2주" 동안 에이전트 세션을 실행한다고 무심코 언급합니다. 이는 토큰당 비용을 지불하거나 Opus 5와 같은 강력한 모델에서 매 상호작용마다 실제 비용이 발생하는 상황에서 끊임없이 속도 제한과 싸워야 하는 팀에게는 불가능한 사치입니다.

대다수의 기업에게 6개월마다 전체 시스템을 제거(ablation)하는 것은 실행 가능한 전략이 아니라 비용이 많이 들고 업무를 방해하는 환상에 불과합니다. 불필요한 프롬프트를 제거하여 최적화하려는 의도는 칭찬할 만하지만, 이러한 수준의 체계적이고 토큰 소모가 많은 반복 작업은 일반적인 기업 환경에서는 실현 불가능합니다. 이는 Claude by Anthropic이나 다른 LLM을 활용하는 대부분의 개발 팀이 처한 재정적 현실과는 동떨어진, 연구 수준의 사치입니다.

전면적인 삭제 대신, 프롬프트 관리를 위한 더 현명한 전략은 컨텍스트의 스펙트럼에서 나옵니다. 우리는 AI의 페르소나와 핵심 지침을 정의하는 상시 작동하는 '글로벌 규칙(global rules)'과 특정 모듈식 작업을 실행하는 온디맨드 '기술(skills)' 또는 '서브 에이전트(subagents)'를 구분해야 합니다. 이러한 구분은 실용적인 최적화를 위해 매우 중요합니다.

공격적인 제거(ablation) 노력은 이러한 글로벌 규칙을 우선적으로 대상으로 해야 합니다. 이 규칙들은 모든 추론 시 자원을 소비하며 가장 높은 토큰 비용을 발생시키고, 최신 LLM을 과도하게 제한할 위험이 가장 큽니다. Boris Cherny의 통찰은 초기에는 오해를 샀지만, 여기서는 유효합니다. 이전 모델에는 필수적이었던 많은 기본 지침들이 이제는 Opus 5와 같은 강력한 최신 모델의 성능을 오히려 저해하고 있습니다.

따라서 글로벌 규칙은 수술하듯 간결하게 유지하고, 불필요한 지침을 제거하기 위해 자주 검토하십시오. 반대로 기술과 서브 에이전트는 더 지속 가능한 자산으로 취급하십시오. 이러한 특수 구성 요소는 필요할 때만 활성화되므로 지속적인 비용이 아닌 필요에 따라 비용이 발생합니다. 이를 6개월마다 검토하는 대신 연 단위로 검토하면 상당한 엔지니어링 시간을 절약하고 전체적인 제거 작업에서 발생하는 '10억 토큰의 사각지대'를 완화할 수 있습니다. 이러한 균형 잡힌 접근 방식은 효율성과 영향력을 우선시하여, 끊임없이 비용이 많이 드는 대대적인 개편 없이도 AI 레이어를 날카롭게 유지할 수 있게 합니다.

AI '제거(ablation)' 방법이란 무엇인가요?

제거(Ablation)는 AI 시스템의 프롬프트와 규칙을 체계적으로 평가하는 과정입니다. 전체 시스템 프롬프트를 삭제한 다음, 각 줄이나 구성 요소를 개별적으로 다시 추가하여 새로운 모델에서의 성능에 미치는 영향을 테스트하는 것을 포함합니다.

Claude의 제작자가 AI 레이어 전체를 삭제하라고 제안한 이유는 무엇인가요?

Boris Cherny의 요점은 현대의 LLM이 매우 뛰어나서 이전 모델에서 요구되던 지나치게 구체적이고 단계별로 나열된 지침이 종종 필요하지 않다는 것이었습니다. 그는 불필요한 제약을 제거하고 모델이 더 효과적으로 작동하도록 하기 위해 제거(ablation)를 옹호합니다.

AI 시스템에 전체 제거(ablation)를 수행하는 것이 실용적인가요?

대부분의 개발자와 기업에게 6개월마다 전체 제거를 수행하는 것은 비실용적입니다. 이 과정은 시간이 매우 많이 걸리고 토큰 소모가 심하여 비용이 매우 많이 들며, 진행 중인 개발에 방해가 될 수 있습니다.

프롬프트를 효율적으로 유지하기 위한 더 실용적인 접근 방식은 무엇인가요?

더 현명한 전략은 글로벌 규칙이나 시스템 프롬프트와 같이 AI 레이어에서 가장 자주 사용되고 토큰 소모가 많은 부분에 제거 노력을 집중하는 것입니다. 기술이나 서브 에이전트와 같은 온디맨드 컨텍스트는 더 적은 빈도로 검토할 수 있습니다.