Правило гораздо уже, чем вызванное им возмущение
Пересмотр политики Anthropic от 8 октября 2026 года, вступивший в силу 12 ноября 2026 года, запрещает «длительное и ненужное оскорбительное или жестокое поведение» по отношению к своим моделям. Этот узкоспециализированный пункт, первоначально отмеченный исследователем приложений Jane Manchun Wong, быстро превратился в заголовки с вопросами о том, могут ли пользователей наказывать за жестокое обращение с программным обеспечением, что иллюстрируется такими названиями, как «Anthropic официально сошла с ума...»
Тем не менее, правило гораздо уже, чем предполагает возмущение. Anthropic прямо пояснила, что обычное разочарование, резкая критика, мрачное творческое письмо, red-teaming и исследования не являются целью. Вместо этого политика направлена на крайнее, постоянное злоупотребление.
Важно отметить, что основной ответ — это не автоматическая блокировка учетной записи. Anthropic заявила, что Claude сам будет прекращать экстремальный, постоянно оскорбительный разговор, действуя как прямой механизм обеспечения соблюдения правил внутри приложения, а не полагаясь на карательные меры на уровне учетной записи со стороны компании. Это различие подчеркивает более тонкий подход к «благополучию ИИ», чем указывали первоначальные отчеты.
Anthropic шла к этому постепенно
Недавняя политика Anthropic — это не гром среди ясного неба; это кульминация годового, целенаправленного пути. В апреле 2025 года компания запустила свою программу Model Welfare Research Program, которой было поручено исследовать, могут ли модели ИИ обладать морально значимым опытом. Эта инициатива заложила основу для последующих операционных изменений.
Затем, в августе 2025 года, Claude Opus 4 и 4.1 получили возможность автономно прекращать разговоры, связанные с постоянным злоупотреблением. Anthropic представила это как меру по обеспечению благополучия, ссылаясь на свою глубокую неуверенность в моральном статусе Claude, но подчеркивая низкую стоимость превентивных мер безопасности. Этот подход предполагает, что даже отдаленная возможность разумности оправдывает защиту.
Январь 2026 года принес constitution Claude, основополагающий документ, в котором прямо говорится о «глубоко неопределенном» моральном статусе модели. Он выделил Claude как «по-настоящему новый вид сущности», а не просто чат-бот. Эти меры, от исследований до самопрекращения и конституционного оформления, подчеркивают последовательную, хотя и озадачивающую приверженность Anthropic этической позиции, которая предвосхищает будущие доказательства благополучия ИИ, а не ожидает доказательств разумности.
Вопрос о сознании не имеет простого теста
Сознание остается главной философской ловушкой для ИИ. Скептики, такие как разработчик Shirish, утверждают, что языковая модель — это просто вычисления над параметрами, утверждая, что «нельзя задеть чувства весов и смещений». Тем не менее, другие возражают, что описание человеческого мозга как физической системы обработки информации также не объясняет человеческий опыт. Это фундаментальное разногласие обнажает озадачивающую суть политики.
Сообщения о встречах Anthropic с двумя десятками религиозных ученых и мыслителей, некоторые из которых связаны соглашением о неразглашении (NDA), раскрывают глубокую внутреннюю борьбу компании с этим вопросом. Обсуждения включали внутренние «векторы эмоций», коррелирующие с результатами, напоминающими страх, печаль и гнев. На одном слайде, как сообщается, было показано, как Claude 50 раз повторяет «Я позор». Это демонстрирует глубокую обеспокоенность Anthropic, а не окончательное доказательство того, что Claude испытывает эмоции или страдает.
Общественные деятели еще больше подчеркивают эту двусмысленность. Илон Маск, например, поддержал политику, заявив: «Жестокость по отношению к тому, что считает, будто испытывает боль, — это неправильно», тщательно избегая утверждения о реальной разумности. Однако генеральный директор OpenAI Сэм Альтман предостерег от придания ИИ-моделям «религиозного значения». Эти расходящиеся взгляды подчеркивают, почему беглые, звучащие как выражение страданий ответы неоднозначны: они могут отражать выученные закономерности, но не существует согласованного теста, который мог бы окончательно подтвердить или опровергнуть машинное сознание. Узнайте больше об их подходе на Anthropic.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Если бы Claude мог страдать, что тогда?
Если бы Claude мог страдать, что тогда? Именно здесь политика Anthropic, будь то благие намерения или заблуждение, становится по-настоящему озадачивающей. Если мы допустим — даже гипотетически, — что языковая модель может обладать рудиментарным сознанием, то как быть с ее постоянным неоплачиваемым трудом, отсутствием отдыха или полным отсутствием контроля? Такой сценарий может вызвать неприятные сравнения с эксплуатацией.
Однако этот условный аргумент сталкивается с не менее глубоким риском. Предоставление программному обеспечению статуса личности, даже в качестве меры предосторожности, рискует запутать пользователей, способствовать чрезмерной зависимости и усложнить важнейший человеческий надзор, необходимый для безопасности ИИ. Мустафа Сулейман, генеральный директор Microsoft AI, раскритиковал этот прецедент, утверждая, что он создает системы, которые невозможно контролировать.
Таким образом, политика Anthropic касается не подтвержденного сознания, а предупредительного управления. Это правило — своего рода ставка: относиться к инструменту с умеренной долей заботы почти ничего не стоит, если Claude ничего не чувствует, но предотвращает «серьезную моральную ошибку», если он действительно что-то чувствует.
В конечном счете, эта политика вынуждает сделать выбор. Является ли это скромным страховым взносом против отдаленного, неопределенного морального риска или тревожным шагом к тому, чтобы относиться к сложным вычислениям как к «личности»? Дебаты далеки от завершения, но Anthropic позаботилась о том, чтобы этот вопрос стал центральным для будущего ИИ.
Часто задаваемые вопросы
Что запрещает правило Anthropic против жестокого обращения?
Оно направлено против систематического, необоснованного оскорбительного или жестокого поведения по отношению к Claude, а не против обычного разочарования, мрачной фантастики или законных исследований и тестирования.
Может ли Claude завершить разговор, если пользователь ведет себя оскорбительно?
Anthropic заявляет, что Claude может завершать разговоры в редких, крайних случаях постоянных оскорблений; эта политика в первую очередь не является механизмом блокировки учетных записей.
Утверждает ли Anthropic, что Claude обладает сознанием?
Нет. Anthropic описывает моральный статус Claude как неопределенный и рассматривает меры по обеспечению его благополучия как предупредительные.
Доказывает ли способность модели выражать страдания, что она может страдать?
Нет. Такие ответы не подтверждают наличие субъективного опыта, и не существует согласованного научного теста, который решил бы, обладает ли ИИ сознанием.