요약 / 핵심 포인트
모든 단일 작업에 가장 강력한 모델을 사용하여 AI에 과도하게 지불하는 것을 멈추세요. '모델 라우팅'이라는 간단한 워크플로 변경으로 품질 저하 없이 비용을 최대 70%까지 절감할 수 있습니다.
AI 워크플로의 수십억 달러짜리 실수
AI 워크플로에는 종종 숨겨진 비용이 있습니다. 모든 단일 작업에 하나의 강력하고 값비싼 '프론티어' 모델에 의존하는 것입니다. 이 흔한 실수는 청구서를 부풀리는데, 특히 출력 토큰이 입력 토큰보다 훨씬 비쌀 수 있기 때문입니다. 예를 들어, Fable과 같은 모델은 백만 출력 토큰당 50달러를 청구하지만, 백만 입력 토큰당 10달러만 청구하여, 출력량이 많은 코드 생성은 주요 비용이 됩니다.
최적화하려면 워크플로 내에서 계획 vs. 실행을 구분하세요. 계획은 복잡한 추론, 아키텍처 설계, 그리고 문제를 어떻게 접근할지 파악하는 것을 포함합니다. 예를 들어, 기능 연구 및 상세 사양 초안 작성이 있습니다. 반면에 실행은 그 정확한 계획을 가져와 실제 코드나 텍스트를 생성하는 더 간단한 작업으로, 훨씬 더 많은 출력 토큰을 소비하는 단계입니다.
해결책은 모델 라우팅입니다. 이는 올바른 모델을 올바른 작업에 맞추는 전략적 접근 방식입니다. Fable과 같은 프리미엄 모델은 입력 토큰이 지배적인 계획 단계에서 고급 추론 능력이 정말 필요할 때만 사용하세요. 그런 다음, 출력 집약적인 실행 단계에서는 백만 출력 토큰당 6달러를 청구하는 훨씬 저렴한 모델로 전환하여 품질 저하 없이 운영 비용을 획기적으로 절감하세요.
70% 절감을 위한 청사진
그렇다면 실제로 AI 비용을 절반 이상 줄이는 방법은 무엇일까요? 비결은 '생각하는 것'과 '실행하는 것'을 분리하는 것입니다. 가장 유능하지만 비싼 프론티어 모델이 훌륭한 건축가처럼 솔루션을 설계하되, 모든 벽돌을 직접 놓을 필요는 없도록 하는 것입니다. 이 접근 방식은 모델 라우팅을 사용하여 비용을 최적화합니다.
다음은 상당한 절감을 위한 4단계 청사진입니다: - 첫째, 초기 계획 및 연구를 위해 프론티어 모델을 사용하세요. 여기서 요구 사항을 식별하고 솔루션을 구상합니다. - 다음으로, 동일한 강력한 모델이 상세한 사양 문서를 생성하도록 하세요. 이 사양은 아키텍처 및 모범 사례를 포함하여 기능이 정확히 어떻게 구축되어야 하는지 설명하는 포괄적인 청사진입니다. - 셋째, 실제 코드 실행은 더 저렴하지만 유능한 모델에 위임하세요. 이 모델은 상세한 사양을 가져와 작동하는 코드로 변환합니다. - 선택적으로, 생성된 코드의 최종 검토를 위해 프론티어 모델을 사용하여 품질과 초기 계획 준수 여부를 확인하세요.
상세 사양으로 가능해진 이 전략적 인계는 프론티어 모델의 값비싼 출력 토큰을 획기적으로 줄여줍니다. 기능 구축을 생각해 보세요. 단일 프론티어 모델을 사용하면 9.50달러가 들 수 있습니다. 이 라우팅 전략을 사용하면 동일한 기능을 단 3.02달러에 구축할 수 있으며, 이는 상당한 68%의 절감 효과를 나타냅니다. 이러한 정확한 업무 분할은 일상적인 실행에 최고 수준의 비용을 지불하지 않고도 최고 수준의 계획을 얻을 수 있도록 보장합니다.
수동 복사-붙여넣기에서 완전 자동화로
모델 라우팅 여정을 시작하는 것은 두 개의 채팅 창을 여는 것만큼 간단할 수 있습니다. 상세한 계획 및 사양 생성을 위해 Claude 내에서 Fable과 같은 강력한 모델을 사용하는 것을 상상해 보세요. 사양이 준비되면, 이를 더 비용 효율적인 모델, 예를 들어 ChatGPT의 GPT와의 별도 채팅에 복사-붙여넣기하여 실제 코드 실행을 처리합니다. 이 수동 인계는 절감 효과를 빠르게 보여줍니다.
익숙해지면 더 통합된 솔루션을 찾게 될 것입니다. Claude와 같은 플랫폼은 이 프로세스를 간소화하는 기능을 제공합니다. 예를 들어, Claude는 Codex command-line interface를 직접 호출하여 여러 애플리케이션 간에 수동으로 복사-붙여넣기할 필요 없이 계획에서 실행으로 원활하게 전환할 수 있도록 합니다. 이는 워크플로우를 통합하고 효율적으로 유지합니다.
다음 단계는 바로 이러한 목적을 위해 설계된 전문 코딩 환경을 포함합니다. 이러한 도구에는 내장된 model routers가 있어 하위 작업을 가장 비용 효율적인 모델에 자동으로 위임하여 항상 작업에 적합한 도구를 사용하도록 보장합니다. 이들은 복잡성을 추상화하여 비용 최적화를 손쉽게 만듭니다. 예시는 다음과 같습니다: - Cursor - Factory - Devin 이러한 라우터가 작동하는 방식에 대해 자세히 알아보려면 What Is an AI Model Router? Optimize Cost Across LLM Providers - MindStudio와 같은 자료를 살펴보세요.
코드 그 이상: 모든 AI 사용을 위한 새로운 사고방식
'계획 대 실행' 프레임워크는 코드에만 국한되지 않습니다. 이는 모든 지식 작업 전반에 걸쳐 효율성을 높입니다. 마케팅 브리프를 작성한다고 상상해 보세요. Fable은 전략을 브레인스토밍하고 핵심 메시지를 개괄하는 데 탁월합니다. 그런 다음, 더 저렴한 모델인 Sonnet은 Fable의 상세 사양을 기반으로 전체 초안을 효율적으로 생성하여 상당한 output token 비용을 절감할 수 있습니다. 이 전략은 프레젠테이션 제작부터 데이터 분석에 이르기까지 거의 모든 복잡한 작업에 적용됩니다.
Enjoying this? Get one like it in your inbox each morning.
one email a day · unsubscribe in two clicks · no third-party tracking
코딩을 넘어, 이러한 사고방식은 거의 모든 AI 상호작용에 적용됩니다. 즐겨 사용하는 도구의 기본 모델에 안주하지 마세요. 대신, 사용 가능한 모델의 고유한 강점, 약점 및 가격 구조를 적극적으로 학습하세요. 예를 들어, 빠르고 비용 효율적인 요약에는 Haiku를, 깊이 있고 미묘한 전략 계획에는 Fable을 언제 사용해야 하는지 이해하세요.
궁극적으로 이것은 AI의 수동적인 소비자에서 워크플로우의 의도적인 설계자로 전환하는 것입니다. 모든 AI 프롬프트는 의식적인 선택을 할 기회입니다. 올바른 작업에 올바른 모델을 일관되게 선택함으로써 출력 품질을 극대화하고 운영 비용을 크게 절감할 수 있습니다. 이러한 의도적인 접근 방식은 AI와 상호작용하는 방식을 변화시켜 더 효과적이고 효율적으로 만듭니다.
자주 묻는 질문
AI 모델 라우팅이란 무엇인가요?
AI 모델 라우팅은 작업의 복잡성과 비용에 따라 다양한 AI 모델을 전략적으로 사용하는 방식입니다. 여기에는 복잡한 계획에는 강력하고 비싼 모델을 사용하고, 실행에는 더 저렴하고 효율적인 모델을 사용하는 것이 포함됩니다.
모델 라우팅이 비용 절감에 효과적인 이유는 무엇인가요?
코드 작성과 같이 많은 텍스트를 생성하는 작업은 frontier models에서 높은 'output token' 비용이 발생하기 때문에 비용 효율적입니다. 이 실행을 더 저렴한 모델로 오프로드함으로써 초기 계획 단계의 높은 품질을 유지하면서 비용을 크게 절감할 수 있습니다.
계획과 실행에 가장 적합한 모델은 무엇인가요?
계획에는 Anthropic의 Fable 또는 OpenAI의 최신 GPT와 같은 'frontier' 모델을 사용하세요. 실행에는 GPT-4o, Claude 3.5 Sonnet과 같은 유능하지만 더 저렴한 모델 또는 Composer와 같은 전문 코딩 모델을 사용하세요.
모델 라우팅을 위해 특별한 도구가 필요한가요?
아니요. 다른 AI 인터페이스 간에 복사-붙여넣기를 통해 수동으로 시작할 수 있습니다. 그러나 Cursor, Factory와 같은 전용 도구 또는 사용자 정의 에이전트 워크플로우는 프로세스를 자동화하여 원활하게 만들 수 있습니다.