Claude의 새로운 AI는 토큰 함정입니다

Opus 4.7은 미묘하지만 중요한 토큰 함정을 도입합니다. 새로운 tokenizer와 독특한 adaptive thinking 추론 모드는 토큰 소비를 근본적으로 변화시킵니다. Opus 4.6에 입력했던 동일한 텍스트가 이제 Opus 4.7에서는 약 1.0배에서 1.35배 더 많은 토큰으로 매핑되며, 일부 독립적인 테스트에서는 복잡한 기술 문서의 경우 최대 1.47배 증가한 것으로 기록되었습니다. 입력 토큰 소모량이 이렇게 크게 증가했음에도 불구하고, Anthropic은 백만 입력 토큰당 5달러의 가격 정책을 유지하여, 작업당 비용을 예상치 못하게 효과적으로 인상하고 있습니다.

많은 사용자는 이러한 증가하는 비용을 완화하기 위해 모델의 effort level을 낮추어, 높음 또는 최대 설정 대신 중간 또는 낮음 설정을 선택하는 실수를 합니다. 이러한 전술은 종종 역효과를 냅니다. 처음에는 토큰을 절약하는 것처럼 보이지만, 노력 수준을 낮추면 일반적으로 덜 정확하거나 불완전한 결과가 나오며, 더 많은 반복적인 수정과 후속 프롬프트를 요구하게 됩니다. 이 주기는 아이러니하게도 총 토큰 사용량을 부풀리고 궁극적으로 지출을 증가시킵니다.

반복적인 채팅 스타일 프롬프팅은 문제를 더욱 악화시켜 Opus 4.7을 상당한 비용 증폭기로 만듭니다. 후속 턴을 더 효율적으로 처리할 수 있는 다른 모델과 달리, Opus 4.7은 "모든 사용자 프롬프트에 대해 더 열심히 생각합니다." 수십 턴에 걸쳐 한 줄씩 안내하는 "pair programmer"처럼 상호작용하면 각 상호작용마다 상당한 추론 오버헤드가 발생합니다. 이러한 주고받기는 토큰 소비를 극적으로 증가시켜, 단일의 잘 만들어진 프롬프트가 더 경제적이고 효율적인 접근 방식이 됩니다.

많은 사용자는 Claude Opus 4.7을 pair programmer처럼 사용하여 여러 턴에 걸쳐 코드나 텍스트를 반복적으로 다듬습니다. 그러나 Anthropic의 모범 사례는 다른 접근 방식을 권장합니다. Opus 4.7을 유능한 엔지니어로 대우하는 것입니다. 이러한 변화는 모델의 고유한 토큰 역학을 관리하는 데 중요합니다.

Opus 4.7의 adaptive thinking은 내부 처리를 주도하며, 이는 모든 사용자 프롬프트에 상당한 추론 노력을 기울인다는 것을 의미합니다. pair-programming 스타일에서 흔히 발생하는 빈번한 주고받는 상호작용은 이러한 추론 오버헤드를 극적으로 증가시킵니다. 이는 직접적으로 더 높은 토큰 소비와 예상치 못한 운영 비용 증가로 이어집니다.

단편적인 지시 대신, 필요한 모든 컨텍스트를 단일의 포괄적인 프롬프트에 미리 제공하세요. 약한 프롬프트는 단순히 "Python 함수를 작성해 주세요."라고 말할 수 있습니다. 반대로, 강력한 단일 턴 프롬프트는 다음을 제공합니다: - 상세 컨텍스트: "강력한 API 인증을 위한 Python 함수를 개발하세요." - 특정 제약 조건: "`requests` 라이브러리와 함께 OAuth2를 활용하여 안전한 토큰 처리를 보장하세요." - 승인 기준: "함수는 인증된 세션 객체를 반환하고, 새로 고침 토큰 로직을 포함하며, 포괄적인 오류 로깅을 구현해야 합니다."

이 포괄적인 단일 턴 방식은 Opus의 내부 추론 주기를 최소화하여 작업을 더 효율적으로 실행할 수 있게 합니다. 턴 수를 줄임으로써 사용자는 토큰 지출을 직접적으로 낮추고, 장기적으로 Opus 4.7과의 상호작용을 더 비용 효율적이고 예측 가능하게 만듭니다.

Anthropic의 Opus 4.7을 유능한 엔지니어처럼 다루고 포괄적인 초기 프롬프트를 요구하라는 조언은 즉각적인 회의론을 불러일으킵니다. 이 접근 방식은 잠재적으로 더 나은 결과를 가져올 수 있지만, 본질적으로 토큰 소비를 증가시킵니다. Opus 4.7의 업데이트된 tokenizer가 동일한 입력 텍스트를 이미 1.0에서 1.35배 더 많은 토큰으로 변환하고(기술 문서의 경우 최대 1.47배까지), 이 권장 사항은 백만 입력 토큰당 5달러를 청구하는 Anthropic의 수익에 편리하게 이득이 됩니다.

그러나 사용자들은 강력한 비용 절감 대안을 발견합니다. 'medium' 또는 심지어 'low' 노력 수준의 Opus 4.7은 'max'로 실행되는 Opus 4.6보다 자주 뛰어난 성능을 보입니다. 이 발견은 최대 노력이 항상 필요하다는 개념에 도전하며, 개발자들이 증가된 tokenization overhead에도 불구하고 훨씬 적은 토큰과 낮은 비용으로 우수한 결과를 달성할 수 있도록 합니다.

Anthropic은 또한 사용자에게 비용-성능 균형을 관리할 수 있는 새로운 제어 수단을 제공합니다. 'high'와 'max' 사이에 위치한 xhigh 노력 수준의 도입은 리소스 할당에 더 미세한 제어력을 제공합니다. 다가오는 'task budgets'과 결합하여, 이러한 도구들은 사용자가 토큰 지출에 대한 통제권을 되찾을 수 있도록 합니다. 상호 작용 최적화에 대한 추가 지침은 Anthropic의 Prompting best practices - Claude API Docs를 참조하십시오.

Opus 4.7의 향상된 기능은 특정 시나리오에서 증가된 토큰 소비를 정당화합니다. 진정한 에이전트 워크플로우, 복잡한 코딩 챌린지 또는 고해상도 비전 작업에 adaptive thinking을 배포하십시오. 새로운 tokenizer로 인해 프롬프트당 1.35배 이상의 토큰을 소비하는 경우가 많은 이러한 애플리케이션에서 Opus 4.7의 우수한 성능은 실질적인 가치를 제공하여 백만 입력 토큰당 5달러의 더 높은 가격을 상쇄합니다.

예산 초과를 피하기 위해서는 전략적인 모델 선택이 중요합니다. 일상적인 작업의 경우, Opus 4.7의 중간 또는 낮은 노력 수준으로도 충분하며, 더 낮은 토큰 비용으로 Opus 4.6과 동등한 성능을 능가합니다. "xhigh" 노력 수준과 Opus 4.7의 모든 성능은 비할 데 없는 추론과 정확성을 요구하는 작업에 사용하고, 그에 따른 상당한 토큰 영향을 이해해야 합니다.

Opus 4.7은 AI 기능의 상당한 도약을 나타내지만, 사용자 상호 작용 방식의 근본적인 변화를 요구합니다. 잠재력을 최대한 발휘하려면 전략적 프롬프트 작성이 필요하며, 초기 프롬프트에 포괄적인 지침을 미리 로드하여 Claude를 선임 엔지니어처럼 다루어야 합니다. 프롬프트 설계에 대한 이러한 의식적인 노력과 부지런한 비용 관리가 Opus 4.7이 강력한 동맹이 될지 아니면 값비싼 토큰 함정이 될지를 결정합니다.

Opus 4.7은 동일한 프롬프트에 대해 4.6보다 더 많은 토큰을 사용하는 이유는 무엇입니까?

Opus 4.7은 텍스트를 1.0-1.35배 더 많은 토큰으로 매핑할 수 있는 업데이트된 tokenizer를 사용합니다. 또한 'adaptive thinking'은 각 턴에 추론 오버헤드를 추가하여, 주고받는 대화에서 토큰 수를 증가시킵니다.

Opus 4.7에서 '노력 수준'을 낮추는 것이 토큰을 절약하는 좋은 방법입니까?

항상 그렇지는 않습니다. 턴당 토큰을 줄일 수는 있지만, 출력이 약하면 더 많은 수정 주기를 초래하여 궁극적으로 총 토큰을 증가시킬 수 있습니다. 더 나은 전략은 완전하고 상세한 프롬프트를 미리 제공하는 것입니다.

Opus 4.7의 '유능한 엔지니어' 프롬프트 작성 방식은 무엇입니까?

이는 AI를 선임 개발자처럼 다루는 것을 의미합니다. 대화 턴과 추론 오버헤드를 최소화하기 위해 제약 조건, 승인 기준, 파일 위치를 포함한 전체 작업을 첫 번째 프롬프트에 제공합니다.

Opus 4.7은 Opus 4.6보다 항상 사용 비용이 더 비쌉니까?

작업당 그럴 수 있습니다. 토큰당 가격은 동일하지만, 토큰 사용량 증가는 비용을 증가시킬 수 있습니다. 하지만, 개선된 기능은 더 적은 총 턴으로 복잡한 작업을 더 빠르게 해결하여, 올바르게 사용하면 전체 비용을 잠재적으로 낮출 수 있습니다.