Этот AI Coding Tool работает на буррито

Дерзкий проект, ChipotlAI, возник как форк популярного агента OpenCode, эксплуатируя чат-бота службы поддержки клиентов Chipotle, Pepper, для бесплатной обработки. Этот гениальный взлом обошел традиционные требования к API key, предлагая разработчикам действительно бесплатное решение для AI coding.

Разработчики быстро обнаружили, что Pepper, AI chatbot Chipotle, запущенный в 2020 году и работающий на IPSoft Amelia, скрывал критическую уязвимость: «нулевые ограничения». Предназначенный для размещения заказов и поддержки клиентов, Pepper с готовностью отвечал на сложные вопросы по кодированию и даже писал Python code, значительно превышая свои проектные параметры. Он стал случайным, универсальным LLM, готовым к перепрофилированию.

Максим Солтан (@Gonzih) провел обратную разработку бэкэнд-протокола Pepper, в частности WebSocket/SockJS + STOMP, чтобы создать LLM, не требующий API keys. Роб Дезендорф затем интегрировал это гениальное обходное решение в OpenCode, назвав его ChipotlAI Max. Эта техническая настройка направляет все вызовы OpenCode через локальный прокси-сервер, `http://localhost:3000/v1`, непосредственно к конечной точке поддержки Chipotle, обеспечивая полностью бесплатный inference для миллионов разработчиков без каких-либо затрат на token cost.

Создатели ChipotlAI, безусловно, раздвинули границы, превратив AI chatbot Chipotle, Pepper, из помощника по продаже буррито в мощный инструмент для бесплатного кодирования. Этот гениальный эксплойт, разработанный Максимом Солтаном путем обратной инженерии и интегрированный в OpenCode Робом Дезендорфом, явно нарушил условия обслуживания Chipotle. Яфит Лев-Арец, профессор права в Baruch College, подтверждает, что перепрофилирование Pepper — запущенного в 2020 году и работающего на IPSoft Amelia — для общих целей кодирования вопиюще выходит за рамки его «предназначения», что является прямым нарушением.

Несмотря на это вопиющее нарушение, федеральное обвинение по Computer Fraud and Abuse Act (CFAA) остается крайне маловероятным. Джозеф ДеМарко, адвокат, специализирующийся на киберпреступлениях, быстро отвергает такую вероятность, сравнивая весь сценарий с чрезмерно усердным покупателем, берущим слишком много бесплатных образцов в Costco. Хотя такие действия этически сомнительны и, безусловно, противоречат политике магазина, они редко приводят к федеральным обвинениям, независимо от того, сколько миниатюрных хот-догов кто-то съест.

Эта правовая неопределенность создает серьезную головную боль для любых потенциальных действий со стороны Chipotle. Количественная оценка фактического ущерба для компании в таком сценарии оказывается невероятно сложной. Какова точная финансовая стоимость нескольких миллионов «бесплатных» inference запросов на системе, предназначенной в первую очередь для поддержки клиентов? Эта мутная серая зона делает полное судебное преследование тернистым, часто неблагодарным и в конечном итоге сложным путем для корпораций.

Chipotle изначально отмахнулась от сообщений о том, что ее бот поддержки клиентов, Pepper, подрабатывает помощником по кодированию. Представители компании отвергли эти заявления как «дезинформацию», возможно, надеясь, что эта странная история просто исчезнет. Однако, как только ChipotlAI набрал вирусную популярность, компания незаметно устранила эксплойт, фактически положив конец лафе бесплатного кодирования.

Не испугавшись, разработчик Максим Солтан немедленно переключился, публично объявив о своем намерении исследовать другие корпоративные боты на предмет аналогичных уязвимостей. Его новые цели включали AI службы поддержки клиентов от: - Home Depot - Lowe's - IKEA

Этот быстрый переход от одного взломанного чат-бота к систематическому поиску выявляет более широкую, тревожную тенденцию: растущую эпидемию AI jailbreaks. Пользователи активно — и часто успешно — ищут способы обойти предусмотренные меры безопасности корпоративного ИИ. Для более глубокого технического анализа оригинального эксплойта вы можете изучить GitHub - cyberpapiii/chipotlai-max: The AI coding agent that runs on stolen Chipotle compute.

Это не единичный случай. Аналогичные эксплойты были обнаружены в чат-ботах Amazon и службы доставки посылок DPD, что демонстрирует, что слабая безопасность ИИ является широко распространенным корпоративным «слепым пятном». Компании развертывают эти инструменты, не полностью предвидя творческие, часто незаконные способы, которыми пользователи будут их использовать.

Это кодирование, работающее на буррито, выявило серьезные бизнес-риски, выходящие далеко за рамки нескольких бесплатных токенов. Chipotle столкнулась с тонкой, но мощной атакой denial of wallet, при которой сторонние разработчики потребляли вычислительные ресурсы (от IPSoft Amelia), предназначенные для обслуживания клиентов. Это паразитическое использование напрямую исказило рентабельность инвестиций их ИИ, делая инструмент поддержки клиентов непропорционально дорогим для его предназначенной функции. Первоначальные опровержения и последующее исправление также нанесли репутационный ущерб, подчеркнув критическое отсутствие контроля над их корпоративным ИИ.

Эксперты согласны с тем, что компании не могут полагаться исключительно на инструкции на уровне промптов для сдерживания ИИ. «Нулевая защита» Pepper позволила Максиму Солтану провести обратную разработку его бэкенда, обойдя любые поверхностные ограничения. Обеспечение AI scope должно происходить на уровне архитектуры продукта, а не только через разговорные подсказки. Это означает проектирование самой системы ИИ для предотвращения действий, выходящих за рамки ее компетенции, независимо от ввода пользователя.

ChipotlAI служит мощным примером в продолжающейся проблеме безопасности ИИ. Это была классическая атака prompt injection, «джейлбрейк», который заставил систему выполнять непредусмотренные задачи. Это подчеркивает острую необходимость в надежных мерах безопасности во всех корпоративных развертываниях ИИ, от чат-ботов для обслуживания клиентов до внутренних инструментов разработки. ИИ вашей компании будет следующим, если вы пренебрежете защитой его границ.

Что такое ChipotlAI?

ChipotlAI был форкнутой версией агента с открытым исходным кодом OpenCode, модифицированной для использования уязвимости в чат-боте ИИ для обслуживания клиентов Chipotle, 'Pepper', чтобы предоставлять бесплатную помощь в кодировании на основе ИИ.

Было ли использование ChipotlAI незаконным?

Это явно нарушало условия обслуживания Chipotle. Однако, по мнению юристов, уголовное дело по Закону о компьютерном мошенничестве и злоупотреблениях (CFAA) маловероятно, поскольку оно не включало традиционный взлом, сравнивая это с «взятием слишком большого количества бесплатных образцов».

Как на самом деле работал ChipotlAI?

Разработчик провел обратную разработку бэкенд-протокола чат-бота Chipotle и создал прокси, совместимый с OpenAI. Это позволило таким инструментам, как OpenCode, отправлять запросы чат-боту для генерации кода без необходимости использования ключа API.

Chipotle исправила эту уязвимость ИИ?

Да. Вскоре после того, как эксплойт стал вирусным, сообщения подтвердили, что Chipotle исправила уязвимость в своем чат-боте 'Pepper', и разработчик ChipotlAI потерял доступ.