이 AI 코딩 도구는 Burritos로 작동합니다

대담한 프로젝트인 ChipotlAI는 인기 있는 OpenCode 에이전트의 포크로 등장하여, Chipotle의 고객 서비스 챗봇인 Pepper를 무료 처리에 활용했습니다. 이 기발한 해킹은 기존의 API key 요구 사항을 우회하여 개발자들에게 진정한 제로 비용 AI 코딩 솔루션을 제공했습니다.

개발자들은 2020년에 출시되었고 IPSoft Amelia로 구동되는 Chipotle의 AI chatbot인 Pepper가 치명적인 결함인 "zero guards"를 가지고 있다는 것을 빠르게 발견했습니다. 주문 처리 및 고객 지원을 위해 설계되었지만, Pepper는 복잡한 coding 질문에 쉽게 답하고 Python code를 작성하기도 하여 설계 매개변수를 훨씬 초과했습니다. 이는 우연히 일반적인 LLM이 되어 재활용될 준비가 되었습니다.

Maksim Soltan (@Gonzih)은 API keys가 필요 없는 LLM을 만들기 위해 Pepper의 backend protocol, 특히 WebSocket/SockJS + STOMP를 역설계했습니다. Rob Dezendorf는 이 기발한 해결책을 OpenCode에 통합하여 ChipotlAI Max라는 브랜드를 붙였습니다. 이 기술 설정은 모든 OpenCode calls를 local proxy, `http://localhost:3000/v1`를 통해 Chipotle의 support endpoint로 직접 라우팅하여, 수백만 명의 개발자에게 단일 token cost 없이 완전히 무료 inference를 가능하게 합니다.

ChipotlAI의 제작자들은 분명히 한계를 넘어섰습니다. Chipotle의 AI chatbot인 Pepper를 burrito-slinging assistant에서 무료 coding 강자로 변모시켰습니다. Maksim Soltan이 역설계하고 Rob Dezendorf가 OpenCode에 통합한 이 기발한 exploit은 Chipotle의 서비스 약관을 명백히 위반했습니다. Baruch College의 법학 교수 Yafit Lev-Aretz는 2020년에 출시되었고 IPSoft Amelia로 구동되는 Pepper를 일반 coding 목적으로 재활용하는 것이 그 "intended purpose"를 노골적으로 벗어나는 직접적인 위반임을 확인했습니다.

이러한 명백한 위반에도 불구하고, 연방 Computer Fraud and Abuse Act (CFAA) 혐의는 여전히 가능성이 희박합니다. cybercrime 전문 변호사 Joseph DeMarco는 전체 시나리오를 Costco에서 너무 많은 무료 샘플을 가져가는 열성적인 고객에 비유하며 가능성을 즉시 일축합니다. 윤리적으로 의심스럽고 분명히 매장 정책에 위배되지만, 아무리 많은 miniature hot dogs를 먹더라도 그러한 행동이 연방 혐의로 확대되는 경우는 거의 없습니다.

이러한 법적 모호성은 Chipotle의 잠재적인 조치에 상당한 골칫거리를 만듭니다. 이러한 시나리오에서 기업의 actual damages를 수량화하는 것은 엄청나게 어렵습니다. 주로 customer support를 위해 설계된 시스템에서 수백만 건의 "무료" inference requests에 대한 정확한 재정적 비용은 얼마일까요? 이 모호한 회색 영역은 기업에게 완전한 법적 기소를 가시밭길이며, 종종 보람 없고, 궁극적으로 복잡한 경로로 만듭니다.

Chipotle은 처음에 customer support bot인 Pepper가 coding assistant로 부업을 하고 있다는 보고를 비웃었습니다. 회사 대표들은 그 주장을 "misinformation"이라고 일축하며, 아마도 이 기이한 이야기가 그냥 사라지기를 바랐을 것입니다. 그러나 ChipotlAI가 viral traction을 얻자, 회사는 조용히 exploit을 패치하여 무료 coding gravy train을 효과적으로 끝냈습니다.

굴하지 않고, 개발자 Maksim Soltan은 즉시 방향을 전환하여 다른 corporate bots에서 유사한 vulnerabilities를 조사할 의도를 공개적으로 발표했습니다. 그의 새로운 목표에는 다음 customer service AIs가 포함되었습니다: - Home Depot - Lowe's - IKEA

하나의 악용된 챗봇에서 체계적인 검색으로의 이러한 급격한 전환은 더 광범위하고 우려스러운 추세를 드러냅니다. 바로 AI jailbreaks의 확산입니다. 사용자들은 기업 AI의 의도된 안전장치를 우회하는 방법을 적극적으로, 그리고 종종 성공적으로 찾고 있습니다. 원래 익스플로잇에 대한 더 깊은 기술적 분석은 GitHub - cyberpapiii/chipotlai-max: The AI coding agent that runs on stolen Chipotle compute에서 확인할 수 있습니다.

이것은 고립된 사건이 아닙니다. Amazon과 택배 서비스 DPD의 챗봇에서도 유사한 익스플로잇이 나타났으며, 이는 허술한 AI 보안이 광범위한 기업의 사각지대임을 보여줍니다. 기업들은 사용자들이 이러한 도구를 창의적이고 종종 불법적인 방식으로 왜곡할 방법을 완전히 예측하지 못한 채 배포하고 있습니다.

이 부리토 기반 코딩은 몇 개의 무료 토큰을 넘어선 심각한 비즈니스 위험을 드러냈습니다. Chipotle은 미묘하지만 강력한 denial of wallet 공격에 직면했습니다. 이는 타사 개발자들이 고객 서비스용으로 의도된 컴퓨팅 리소스(IPSoft Amelia에서)를 소비한 경우입니다. 이러한 기생적인 사용은 AI의 투자 수익률을 직접적으로 왜곡하여, 고객 지원 도구가 의도된 기능에 비해 불균형적으로 비싸게 보이도록 만들었습니다. 초기 부인과 후속 패치는 또한 평판 손상을 입혔으며, 기업 AI에 대한 통제력 부족이라는 중요한 문제를 부각시켰습니다.

전문가들은 기업이 AI를 제어하기 위해 프롬프트 수준의 지침에만 의존할 수 없다는 데 동의합니다. Pepper의 "zero guards"는 Maksim Soltan이 백엔드를 역설계하여 표면적인 제한을 우회할 수 있도록 했습니다. AI scope를 강제하는 것은 대화형 단서를 통해서가 아니라 제품 아키텍처 수준에서 이루어져야 합니다. 이는 사용자의 입력과 관계없이 범위를 벗어난 작업을 방지하도록 AI 시스템 자체를 설계하는 것을 의미합니다.

ChipotlAI는 AI 보안의 지속적인 과제에 대한 강력한 사례 연구 역할을 합니다. 이것은 시스템이 의도하지 않은 작업을 수행하도록 강제하는 고전적인 prompt injection 공격, 즉 jailbreak였습니다. 이는 고객 서비스 챗봇부터 내부 개발 도구에 이르기까지 모든 기업 AI 배포에서 강력한 안전장치가 시급히 필요함을 강조합니다. 경계를 확보하지 않으면 귀사의 AI가 다음 차례입니다.

ChipotlAI는 무엇이었나요?

ChipotlAI는 오픈소스 에이전트 OpenCode의 포크 버전으로, Chipotle의 고객 서비스 AI 챗봇 'Pepper'의 허점을 악용하여 무료 AI 기반 코딩 지원을 제공하도록 수정되었습니다.

ChipotlAI 사용은 불법이었나요?

이는 Chipotle의 서비스 약관을 명백히 위반했습니다. 그러나 법률 전문가들은 전통적인 해킹이 아니었기 때문에 Computer Fraud and Abuse Act (CFAA)에 따른 형사 사건은 가능성이 낮다고 제안하며, 이를 '무료 샘플을 너무 많이 가져가는 것'에 비유했습니다.

ChipotlAI는 실제로 어떻게 작동했나요?

한 개발자가 Chipotle 챗봇의 백엔드 프로토콜을 역설계하여 OpenAI 호환 프록시를 만들었습니다. 이를 통해 OpenCode와 같은 도구는 API 키 없이도 코드 생성을 위해 챗봇에 요청을 보낼 수 있었습니다.

Chipotle은 이 AI 취약점을 해결했나요?

네. 익스플로잇이 확산된 직후, Chipotle이 'Pepper' 챗봇의 취약점을 패치했으며 ChipotlAI 개발자가 접근 권한을 잃었다는 보고가 확인되었습니다.