진짜 비용은 같은 실수를 두 번 하는 데서 발생합니다
TokenEconomizer는 더 저렴한 모델로 바꾸거나 프롬프트를 변경하는 대신, 에이전트가 작업하는 방식을 개선하여 에이전트 비용을 줄입니다. 외부 블랙박스 컨트롤러로서 에이전트의 상호작용을 관찰하고 학습 내용을 로컬에 저장합니다. 이 방식은 모델 품질을 떨어뜨리거나 지속적인 프롬프트 엔지니어링이 필요한 경우가 많은 일반적인 토큰 절감 도구의 문제점을 피합니다.
흔히 겪는 상황입니다. Claude Claude Opus에게 무언가를 고쳐 달라고 요청하면 테스트 명령을 시도하고, 오류가 발생합니다. 검색하며 토큰을 소모한 끝에 결국 해결책을 찾습니다. 그런데 이후 세션에서 똑같은 실수를 하고, 같은 검색을 반복하며 다시 토큰을 소모합니다. TokenEconomizer는 과거 세션에서 학습하여 이를 방지합니다.
Microsoft와 UC Berkeley는 6개 저장소와 5가지 에이전트-모델 조합에 걸친 277개 SWE-bench 작업으로 TokenEconomizer를 테스트했습니다. 보고된 절감률은 18.4%에서 30.9% 사이였으며, 5가지 조합 중 4가지에서 작업 성공률이 향상되었습니다. 이 절감률에는 플러그인 자체의 모델 호출 비용이 반영되었습니다.
구체적인 비용 절감 내역은 다음과 같습니다.
- Claude Claude Opus: -30.9%
- Codex + GPT-5: -24.7% ~ -26.1%
- Claude Code + Sonnet: -23.6%
- GitHub Copilot CLI + Sonnet: -18.4%
이는 에이전트의 행동에서 학습하는 TokenEconomizer의 방식이 효율성에 직접적인 영향을 준다는 것을 보여줍니다. 더 저렴한 모델을 쓰는 것이 아니라, 더 똑똑하게 실행하는 것입니다.
토큰 낭비를 조용히 막는 세 가지 방법
TokenEconomizer는 에이전트의 상호작용을 조용히 최적화하여 세 가지 핵심 영역에서 토큰 낭비를 막습니다. 첫째, micro-skills는 반복되는 저장소 관련 사실을 정리합니다. 에이전트가 올바른 테스트 명령이나 환경 변수를 찾지 못해 반복해서 헤맬 수 있습니다. 플러그인은 성공한 실행을 관찰하여 npm test나 PORT=3000 같은 세부 정보를 학습하고 이를 이후 세션에 주입합니다. 이를 통해 불필요한 시행착오를 미리 방지하여 탐색에 쓰이는 토큰 소모를 크게 줄입니다.
둘째, tool pruning은 컨텍스트 비대화를 최소화합니다. 에이전트는 수십 개의 도구 정의를 불러오는 경우가 많고, 실제로 사용하는 것이 몇 개뿐이어도 토큰이 소모됩니다. TokenEconomizer는 저장소별로 실제 도구 사용 현황을 추적합니다. 여러 세션에 걸쳐 사용되지 않는 도구가 있으면 플러그인이 해당 정의의 로드를 중단하여 시스템 프롬프트를 크게 줄일 수 있습니다. 사용하지 않던 도구는 필요할 때 다시 활성화할 수 있습니다.
마지막으로 failure-loop intervention은 에이전트가 막힌 상태에 빠지는 것을 방지합니다. 에이전트가 실패하는 명령의 변형을 계속 시도하면서 반복적인 순환 속에서 토큰을 소모할 수 있습니다. TokenEconomizer는 이처럼 거의 동일한 시도의 반복을 감지합니다. 최소한의 오버헤드로 실행되는 작은 전용 판단 모델이 개입하여 에이전트에게 접근 방식을 바꾸도록 유도하고, 그래도 안 되면 중단을 제안합니다. 이를 통해 비생산적인 루프에서 토큰이 통제 없이 소모되는 것을 막으며, Microsoft는 테스트된 실패 사례에서 이러한 루프가 전체 토큰 지출의 최대 32%를 차지한다는 사실을 확인했습니다.
31%라는 수치에는 콜드 스타트가 따릅니다
Microsoft의 새 플러그인이 AI 코딩 비용을 줄였다는 31% 비용 절감 수치는 벤치마크 결과이지 보장이 아닙니다. 절감 효과는 에이전트, 모델, 저장소, 작업에 따라 달라집니다. 한 테스트 구성에서는 작업 성공률이 소폭 하락하기도 했지만, 대부분은 향상되었습니다.
즉각적인 절감을 기대하지 마세요. TokenEconomizer에는 콜드 스타트 문제가 있습니다. 새로운 저장소에는 유용한 이력이 없습니다. 초기 실행에서는 평소처럼 토큰이 소모될 가능성이 높습니다. 플러그인이 micro-skills를 학습하고 적용할 수 있는 한두 개의 핵심 저장소에서 작업을 반복할 때 진정한 가치가 나타납니다.
설정에는 주의가 필요합니다. Better Stack 영상은 중요한 점을 강조합니다. 공개 플러그인에서는 micro-skills가 기본적으로 꺼져 있습니다. 설정을 통해 명시적으로 활성화해야 합니다. 모든 기능이 활성화되어 있다고 가정하지 말고 TokenEconomizer status로 상태를 확인하세요.
동작 원리와 소스를 자세히 알아보려면 microsoft/TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents GitHub 저장소를 확인하세요. 이 플러그인의 강점은 반복된 세션에서 학습하여 다음을 파악하는 능력에 있습니다.
- 작동하는 테스트 명령
- 필요한 환경 변수
- 파일 위치
이렇게 학습된 컨텍스트는 이후 에이전트 프롬프트에 주입되어 불필요한 탐색을 피하게 합니다. 서로 관련 없는 프로젝트를 계속 오가는 경우에는 TokenEconomizer로 큰 절감을 얻기 어렵습니다. 그러나 집중적이고 반복적인 개발에서는 판도를 바꿀 수 있습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
절감 효과를 믿기 전에 일주일간 테스트해 보세요
가장 자주 사용하는 프로젝트에 Microsoft의 GitHub 저장소에서 TokenEconomizer 플러그인을 설치하세요. 설정 안내를 따르되 status 명령과 tool prune 정보를 유의해서 확인하세요. micro-skills가 기본적으로 꺼져 있다면 활성화하세요.
일주일 동안 플러그인을 사용했을 때와 사용하지 않았을 때 유사한 작업을 비교하세요. 비용, 작업 완료, 품질을 추적하세요. 첫 세션만으로 판단하지 마세요. 플러그인은 시간이 지나면서 학습합니다. TokenEconomizer status와 tool prune refresh catalog를 사용하여 진행 상황을 모니터링하세요.
학습 내용은 에이전트별로 유지됩니다. 예를 들어 Claude Code의 경험은 Codex로 이전되지 않습니다. 플러그인 자체의 모델 호출도 보고된 절감률에 반영되어 있으므로 오버헤드가 고려되어 있습니다.
결과를 해치지 않으면서 비용을 확실히 줄이는 경우에만 플러그인을 유지하세요. 에이전트가 반복적인 오류나 사용하지 않는 도구 때문에 토큰을 소모하고 있다면 TokenEconomizer가 비용을 줄일 수 있습니다. 그렇지 않다면 제거하세요. 일주일 안에 알 수 있습니다.
자주 묻는 질문
TokenEconomizer란 무엇인가요?
TokenEconomizer는 코딩 에이전트 세션에서 학습하여 저장소별 작업에서 낭비되는 토큰 사용을 줄이는 오픈소스 플러그인입니다.
TokenEconomizer는 코딩 비용을 얼마나 줄일 수 있나요?
277개 SWE-bench 작업에서 보고된 테스트에 따르면 에이전트와 모델에 따라 평균 비용이 약 18.4%에서 30.9%까지 감소했습니다.
TokenEconomizer는 어떤 코딩 에이전트를 지원하나요?
Claude Code, OpenAI Codex, GitHub Copilot CLI를 비롯한 여러 코딩 에이전트 환경을 지원합니다.
TokenEconomizer는 바로 비용을 절감해 주나요?
반드시 그렇지는 않습니다. 처음에는 프로젝트에 대한 지식이 거의 없으므로, 같은 저장소에서 세션을 반복한 후에 절감 효과가 나타날 가능성이 더 높습니다.
TokenEconomizer가 학습한 데이터는 로컬에 저장되나요?
프로젝트에 따르면 저장소 학습 내용과 추적 상태는 원격 제3자에게 전송되지 않고 로컬에 저장됩니다.