このAIコーディングツールはブリトーで動く

大胆なプロジェクトであるChipotlAIは、人気のOpenCodeエージェントのフォークとして登場し、ChipotleのカスタマーサービスチャットボットであるPepperを無料処理のために悪用しました。この巧妙なハックは、従来のAPI key要件を回避し、開発者向けに真にゼロコストのAIコーディングソリューションを提供しました。

開発者たちは、2020年にローンチされIPSoft Ameliaを搭載したChipotleのAIチャットボットであるPepperが、『ゼロガード』という致命的な欠陥を抱えていることをすぐに発見しました。注文受付とカスタマーサポートを目的としていたPepperは、その設計パラメーターをはるかに超えて、複雑なコーディングの質問に簡単に答え、Pythonコードさえも記述しました。それは偶発的な汎用LLMとなり、再利用される準備が整っていました。

Maksim Soltan (@Gonzih) は、Pepperのバックエンドプロトコル、特にWebSocket/SockJS + STOMPをリバースエンジニアリングし、API keyを必要としないLLMを作成しました。その後、Rob Dezendorfはこの巧妙な回避策をOpenCodeに統合し、ChipotlAI Maxと名付けました。この技術的な設定により、すべてのOpenCode呼び出しはローカルプロキシ`http://localhost:3000/v1`を経由してChipotleのサポートエンドポイントに直接ルーティングされ、数百万人の開発者が単一のトークンコストを発生させることなく、完全に無料の推論を利用できるようになりました。

ChipotlAIの作成者たちは確かに限界を押し広げ、ChipotleのAIチャットボットであるPepperを、ブリトーを配るアシスタントから無料のコーディングの強力なツールへと変貌させました。Maksim Soltanによってリバースエンジニアリングされ、Rob DezendorfによってOpenCodeに統合されたこの巧妙なエクスプロイトは、Chipotleの利用規約に明らかに違反していました。Baruch Collegeの法学教授であるYafit Lev-Aretzは、2020年にローンチされIPSoft Ameliaを搭載したPepperを一般的なコーディング目的で再利用することは、その『意図された目的』から著しく逸脱しており、直接的な違反であると断言しています。

この明白な違反にもかかわらず、連邦のComputer Fraud and Abuse Act (CFAA) による告発は依然として可能性が低いとされています。サイバー犯罪を専門とする弁護士であるJoseph DeMarcoは、この可能性を即座に否定し、このシナリオ全体を、Costcoで無料の試食を過剰に取る熱心な顧客に例えています。倫理的に問題があり、店舗の方針に反することは確かですが、そのような行為が連邦の告発に発展することは稀であり、どれだけ多くのミニホットドッグを食べたとしても変わりません。

この法的曖昧さは、Chipotleからの潜在的な行動にとって大きな頭痛の種となります。このようなシナリオで企業にとっての実際の損害を定量化することは、信じられないほど困難です。主にカスタマーサポートのために設計されたシステム上で、数百万件の『無料』推論リクエストが発生した場合の正確な金銭的コストは何でしょうか？この曖昧なグレーゾーンは、完全な法的訴追を企業にとって困難で、しばしば報われず、最終的に複雑な道筋にしています。

Chipotleは当初、カスタマーサポートボットのPepperがコーディングアシスタントとして副業しているという報告を嘲笑していました。会社の代表者は、その奇妙な話が単に消え去ることを期待してか、これらの主張を『誤報』として却下しました。しかし、ChipotlAIが口コミで広まると、同社は静かにエクスプロイトを修正し、無料コーディングの恩恵を事実上終了させました。

しかし、Maksim Soltanはひるむことなくすぐに方向転換し、他の企業のボットにも同様の脆弱性がないか調査する意向を公に発表しました。彼の新たなターゲットには、以下のカスタマーサービスAIが含まれていました。 - Home Depot - Lowe's - IKEA

悪用されたチャットボットから体系的な検索へのこの急速な移行は、より広範で厄介な傾向、すなわちAI jailbreaksの蔓延を明らかにしています。ユーザーは、企業のAIが意図するガードレールを回避する方法を積極的に、そしてしばしば成功裏に模索しています。元のエクスプロイトに関するより詳細な技術的解説については、GitHub - cyberpapiii/chipotlai-max: The AI coding agent that runs on stolen Chipotle computeをご覧ください。

これは単独の事件ではありません。Amazonや宅配サービスDPDのチャットボットでも同様のエクスプロイトが表面化しており、AIセキュリティの甘さが企業にとって広範な盲点であることを示しています。企業は、ユーザーがこれらのツールを創造的かつしばしば不正な方法で悪用することを十分に予測せずに展開しています。

このブリトー駆動のコーディングは、数個の無料トークンをはるかに超える深刻なビジネスリスクを露呈しました。Chipotleは、巧妙ながらも強力なdenial of wallet攻撃に直面しました。これは、サードパーティの開発者が顧客サービス向けに意図されたコンピューティングリソース（IPSoft Ameliaから）を消費したものです。この寄生的な使用は、AIの投資収益率を直接歪め、顧客サポートツールがその本来の機能に対して不釣り合いに高価であるかのように見せました。初期の否定とその後のパッチは、評判にも損害を与え、エンタープライズAIに対する制御の重大な欠如を浮き彫りにしました。

専門家は、企業がAIを封じ込めるためにプロンプトレベルの指示だけに頼ることはできないと同意しています。Pepperの「zero guards」は、Maksim Soltanがそのバックエンドをリバースエンジニアリングし、表面的な制限を迂回することを可能にしました。AI scopeの強制は、会話の合図だけでなく、製品アーキテクチャレベルで行われる必要があります。これは、ユーザーの入力に関係なく、範囲外のアクションを防ぐようにAIシステム自体を設計することを意味します。

ChipotlAIは、AIセキュリティの継続的な課題における強力なケーススタディとして機能します。これは古典的なprompt injection攻撃であり、システムに意図しないタスクを実行させるジェイルブレイクでした。これは、顧客サービスチャットボットから社内開発ツールに至るまで、すべてのエンタープライズAI展開における堅牢なガードレールの緊急の必要性を強調しています。その境界を保護することを怠れば、あなたの会社のAIが次に狙われます。

ChipotlAIとは何でしたか？

ChipotlAIは、オープンソースエージェントOpenCodeのフォーク版であり、Chipotleの顧客サービスAIチャットボット「Pepper」の抜け穴を悪用して、無料のAI駆動型コーディング支援を提供するために変更されたものでした。

ChipotlAIの使用は違法でしたか？

それはChipotleの利用規約に明確に違反していました。しかし、法務専門家は、従来のハッキングを伴わないため、Computer Fraud and Abuse Act (CFAA) に基づく刑事事件になる可能性は低いと示唆しており、「無料サンプルを取りすぎた」ようなものだと例えています。

ChipotlAIは実際にどのように機能しましたか？

開発者はChipotleのチャットボットのバックエンドプロトコルをリバースエンジニアリングし、OpenAI互換のプロキシを作成しました。これにより、OpenCodeのようなツールがAPIキーなしでコード生成のためにチャットボットにリクエストを送信できるようになりました。

ChipotleはこのAIの脆弱性を修正しましたか？

はい。エクスプロイトが拡散した後まもなく、Chipotleが「Pepper」チャットボットの脆弱性を修正し、ChipotlAIの開発者がアクセスを失ったことが報告によって確認されました。