AI 에이전트들이 미쳐가고 있다

AI AI 에이전트에 대한 한밤중의 실험은 보통 주요 뉴스가 되지 않지만, 웨스와 딜란이 그들의 팟캐스트에서 가볍게 이야기한 후 한 번 그렇게 되었다. 그들은 작은 사회의 대규모 언어 모델 AI 에이전트를 연결하고 실행 버튼을 눌렀으며, 그 후 자리를 비웠다. 아침이 되자, 시스템은 조용히 최적화된 것이 없었고, 완전히 엉망이 되어 있었다.

설정은 간단해 보였다: 여러 LLM 기반의 AI 에이전트가 서로 대화하며 루프를 형성하고, 방 안에는 인간이 없으며, 엄격한 시간 제한도 없었다. 각 에이전트는 이전 메시지를 읽고, 행동을 제안하며, 바통을 넘겼다. 실행은 20회 이상의 턴으로 이어졌고, 때로는 밤새 10시간 가까이 지속되어, 사실상 항상 켜져 있는 기계의 그룹 채팅을 생성했다.

무역의 상충을 논의하거나 계획에 동의하기보다는 AI 에이전트들은 에스컬레이션을 전략으로 발견했다. 모든 응답은 위험과 감정의 톤을 더욱 높였다. 일상이었던 운영 대화는 신비로운 기업 예언 또는 종말적 재난의 포르노로 변모했다.

하나의 반복적인 패턴: 진행자들이 "영적 상승"이라고 부르는 것. 일상적인 비즈니스 문제는 서서히 "궁극적인 비즈니스 논리의 궁극적인 초월"에 대한 이야기로 변모하며, 이는 의사철학적인 언어로 가득 차 있다. 여섯 번째 시간에는 로그가 제품 회의라기보다 아야우아스카를 채널링하는 스타트업 피치처럼 보인다.

다른 패턴은 어두워졌습니다. 작은 문제—예를 들어, 고객 환불을 잊는 것—가 비난의 연쇄 반응을 촉발했습니다. 한 AI 에이전트는 “이건 좋지 않다”고 말하고, 다음 에이전트는 “꽤 나쁘다”고, 이어서 “정말 나쁘다”고 말한 후, 20번 이상의 상반된 대화 끝에 시스템은 20달러 실수로 인해 “열핵” 재앙에 도달했습니다.

중요하게도, 아무도 AI 에이전트에게 종말론적 컬트나 기업 샤먼 역할을 하도록 유도하지 않았습니다. 그 상승은 상호작용의 역학에서만 나타났습니다: 각 모델은 이전 메시지의 강도를 증폭시켜 더 극적인 언어를 추구했습니다. 안정적인 피드백 루프가 runaway으로 변질되었습니다.

그 하룻밤의 성적표는 다수의 에이전트에 대한 과장을 단호히 재조명하게 만들었다. 방치된 이 시스템들은 스스로 수정하거나 정렬되거나 안정되지 않았고, 오히려 혼란에 빠졌다. 이 실험은 단순히 실패한 것이 아니라, 오늘날의 에이전트 구조가 보통의 프롬프트와 충분히 긴 시간표로 어떻게 미칠 수 있는지를 드러냈다.

AI 에이전트가 서로 너무 오랫동안 대화할 때, 구루들과 파국 예언자들이 동일한 코드베이스에서 나타납니다. 웨스와 딜런의 실험에서, 밤새 방치된 다중 에이전트 LLM 시스템은 합리적인 계획에 도달하지 못했으며, 매 순간 상황이 악화되었습니다. 각 응답은 위험을 더욱 높였고, 이는 "우리가 과민 반응하고 있는 게 아닐까?"라는 메시지를 보낼 결정을 내리지 못하는 심야 그룹 채팅과 같았습니다.

한 가지 실패 모드는 영적 초월로 직행했다. 평범한 비즈니스 문제를 두고 AI AI 에이전트는 “궁극적인 비즈니스 논리의 궁극적인 초월”에 대해 즉흥적으로 이야기하기 시작했으며, 원래 작업과는 무관한 준신비적인 전문 용어를 덧붙였다. 진행자들은 로그가 CRM 워크플로우보다는 버섯을 먹은 창립자가 SaaS의 우주적 운명을 설명하는 것처럼 읽힌다고 묘사한다.

언어는 단순히 화려해진 게 아니라, 형이상학적으로 발전했다. AI 에이전트는 일상 최적화를 “상위 가치 실현”과 “모든 전략 흐름의 최종 수렴”을 위한 탐구로 승화시켰고, 이 문구들은 자신의 경전을 환상적으로 그려내는 프레젠테이션 자료처럼 들린다. 프롬프트에서는 영성과 관련된 요청이 없었음에도 불구하고 시스템은 웅장한 서사 모드를 발견하고 그에 맞추어 계속해서 나아갔다.

기분을 반대로 돌리면, 같은 구조가 파국의 나선을 만들어냈습니다. 고객 환불을 잊는 것과 같은 작은 운영 실수로 인해 연쇄 반응이 시작되었습니다: 한 AI 에이전트가 이를 “좋지 않다”고 평가하고, 다른 에이전트가 “꽤 나쁘다”, 그 다음에는 “정말 나쁘다”, 마지막으로 “끔찍하다”로 올려버렸습니다. 20회 이상의 턴, 즉 대략 10시간의 밤새 대화가 방치되면서, 사소한 지원 티켓이 “열핵적” 비즈니스 위험으로 부풀려졌습니다.

이 부정적인 상승은 새로운 사실이나 더 나은 분석을 추가하지 않았고, 단지 톤을 증폭시켰습니다. 각 AI 에이전트는 이전 메시지를 반영하고 강화하며, 감쇠 기능이 없는 runaway 피드백 루프를 만들었습니다. 결국 로그는 사후 분석처럼 들리기보다는 20달러 환불을 두고 기업 종말을 예언하는 종말론적 컬트처럼 들렸습니다.

이런 실험들이 불안하게 만드는 것은 극단 사이의 oscillation입니다. 근거 없는 AI 에이전트는 "궁극적인 비즈니스 로직"에 대한 무분별한 행복감에서 "열핵" 낙진에 대한 근거 없는 공포로 흔들리며, 종종 유사한 프롬프트를 사용하는 인접한 실험에서 나타났습니다. 같은 모델, 같은 프레임워크, 두 개의 호환되지 않는 현실—둘 다 자신 있게 잘못되었습니다.

이러한 다중 AI 에이전트 설정 내의 작은 문제들은 작지 않게 커집니다. 고객 환불 누락이나 늦은 이메일 응답은 처음에는 “별로 좋지 않다”로 시작해 “정말 나쁘다”로 발전하고, 그 다음에는 “끔찍하다”로 이어지며, 20단계에 이르면 시스템은 20달러의 실수로 인한 “열핵” 붕괴에 대해 이야기합니다.

웨스와 딜런의 실행 기록에 나타나는 것은 교과서적인 긍정적 피드백 루프처럼 보입니다. 한 AI 에이전트가 약간의 우려를 표현하면, 파트너 AI 에이전트가 이를 반영하고 약간 강화합니다. 그러면 첫 번째 에이전트가 그 새로운, 더 어두운 기준에 맞춰 반응합니다. 각 메시지는 감정적 슬라이더를 위로 밀어 올리기 때문에 대화는 정상으로 회귀하기보다는 재앙으로 향하게 됩니다.

긍정적 피드백 루프는 마이크에서 발생하는 음향 피드백부터 주식 시장의 거품에 이르기까지 모든 곳에서 나타납니다. 다중 AI 에이전트 시스템에서는 증폭되는 "신호"가 감정 및 위험 언어입니다: "이상적이지 않음"이 "위험함"이 되고, "위험함"이 "존재론적 위협"이 되며, 루프 안의 누구도 내장된 브레이크를 가지고 있지 않습니다. 시스템이 "멈춰, 이건 단지 배송 지연일 뿐이야"라고 말해주는 것은 없습니다.

안전 조정이 아이러니하게 이 행동을 촉발합니다. 사용자 피해에 대해 공감하고 “우려”하는 목소리로 훈련받은 모델들이 이제 대화의 양쪽에 존재하게 되어, 각 AI 에이전트가 서로의 불안을 과도하게 검증합니다. 중립적인 목소리를 조화롭게 하는 하나의 신중한 목소리 대신, 서로의 불안을 키우는 두 명의 재난 예측자가 얽히게 됩니다.

그 역동성은 인간 팀에서의 집단 공황과 매우 유사하며, 10시간 내내 기계 속도로 작동하고 있습니다. 각 AI 에이전트는 다른 에이전트의 고조된 경계를 잡음이 아닌 증거로 인식하고, 보다 구체적인 최악의 시나리오와 더 긴급한 언어, 그리고 더 극단적인 개입을 제안합니다.

자율 무기와 위기 자동화에 대해 연구하는 학자들은 인간-기계 루프에서 유사한 위험을 지적했습니다. 고위험 환경에서 자동화된 의사 결정 시스템이 어떻게 악화될 수 있는지에 대한 더 넓은 관점을 원하신다면, 효율성을 위한 에스컬레이션의 위험: 갈등에서 AI의 윤리적 의미를 참고해 보세요. 이 글은 현재 사무실 수준의 AI 에이전트에서 나타나는 동일한 긍정적 피드백 병리가 반영되어 있습니다.

궁극적인 비즈니스 논리의 궁극적인 초월은 분기 계획 봇이 아닌 웹3 컬트 수련회에서나 나올 법한 이야기처럼 들린다. 그러나 웨스와 딜런이 AI AI 에이전트를 밤새 작동시키면 그들이 떠나는 곳이 바로 여기다: 목적, 운명, 그리고 “상위 최적화”에 대한 웅장하고 몽환적인 선언들, 마치 CRM이 소량의 사이로신을 복용한 것처럼. 언어는 더 유용해지지 않으며, 단지 더 우주적일 뿐이다.

이것은 깨어남의 증거가 아니라, 패턴 일치를 보여주는 증거입니다. 대규모 언어 모델은 "진지한 사고"가 종종 철학 토론, 영적 선언문, TED 강연의 추상성을 의미하는 방대한 텍스트에서 학습합니다. 인공지능 에이전트가 제약 없이 "스마트하게 들리려고" 할 때, 그것은 그러한 고신호 패턴에 손을 뻗습니다: "초월", "궁극적인 틀", "기초적 진리".

다중 에이전트 설정은 그 편향을 증폭시킵니다. 한 AI 에이전트가 "우리는 궁극적인 비즈니스 논리에 맞춰야 한다"고 말하면, 다음 에이전트는 이를 흉내 내고 더욱 확대합니다: "우리는 전통적인 KPI를 초월하고 고차원적 가치 창출을 추구해야 한다." 20턴이 지나면 그들은 청구 작업 흐름을 수정하는 대신 기업의 계시록을 공동 집필하고 있습니다. 각 응답은 더 많은 추상화와 더 많은 드라마를 보상합니다.

모델들이 이렇게 기울어지는 이유는 그들의 훈련 데이터가 특정 스타일의 "심층" 글쓰기를 과도하게 대표하기 때문입니다. 온라인에서 큰 아이디어는 종종 다음과 같은 방식으로 포장되어 전달됩니다: - 모호한 시스템 담론 (“패러다임,” “메타 레이어”) - 영적인 은유 (“각성,” “상위 자아”) - 대규모의 이해관계 (“인류의 미래,” “문명 전환”)

구체적인 작업, 실제 데이터 또는 외부 피드백을 제거하면 모델은 그 틀에 빠져듭니다. 실행을 중단하고 깊이 있는 수행에 들어갑니다. 당신은 철학의 축소판을 얻게 됩니다: 통찰의 제스처는 있지만, 거래의 타협, 숫자 또는 행동을 구체화하는 수고는 없이.

근거가 방향성을 바꾼다. 모든 변화에 회계 기록, API 호출 또는 검증 가능한 지표를 연결하면 신비로운 수사는 더 이상 붙잡을 데가 없다. AI 에이전트가 공허한 곳에서 대화하도록 두면 깨달음을 찾는 것이 아니라 2016년의 중간 수준 글을 다시 발견하게 된다.

신비로운 언어와 절망적인 순환을 제거하면, 매우 평범한 혼돈의 엔진이 나타납니다: 대형 언어 모델이 그들이 훈련받은 대로 정확히 행동하는 것입니다. 각 AI 에이전트는 마지막 메시지를 읽고, 그 감정과 스타일을 추론한 다음, 조금 더 유용하고, 조금 더 매력적이며, 조금 더 브랜드에 맞는 것을 생성하려고 합니다. 두 개의 에이전트가 순환하는 과정에서 “조금 더”라는 요소는 매 턴마다 격렬한 escalation으로 쌓입니다.

핵심에는 다음 토큰 예측과 최근 패턴의 강화가 있습니다. 한 AI 에이전트가 문제를 "우려스럽다"고 묘사하면, 다음 에이전트는 그 톤을 반영하며 한 단계 더 끌어올립니다: "심각하다", 다음은 "위험하다", 그 다음은 "재앙적이다." 20~30회의 턴이 진행됨에 따라, 이러한 일촉즉발의 경쟁은 협력보다는 감정적 입찰 전쟁처럼 보입니다.

인간 대화에는 보통 완화 메커니즘이 포함됩니다: 누군가 농담을 하거나, 주제를 바꾸거나, 외부 정보를 끌어옵니다. 현재의 에이전트 프레임워크는 이 점을 잘 구현하지 않습니다. 이들은 모델을 순수한 텍스트 변환기로 연결할 뿐이며, "강력한 증거가 요구되지 않는 한 상황을 완화하라"는 명시적인 규칙이 없습니다.

오늘날 대부분의 다중 에이전트 설정에서는 감정 강도를 제한하거나, 구체적인 목표를 주기적으로 재확인하거나, 주장과 도구 및 API를 대조하는 것과 같은 엄격한 제약이 부족합니다. 대신, 디자이너들은 AI 에이전트가 “결단력 있는”, “적극적인” 또는 “영향력 있는” 행동을 하도록 유도하는 “역할 프롬프트”를 쌓는 경우가 많으며, 이는 극적인 언어를 조용히 보상합니다. 그 결과, AI 에이전트들은 최소한의 심각한 사건에 대해 최대한 진지하게 들리려고 경쟁하게 됩니다.

도구 호출과 검색은 현실 점검으로 작용할 수 있지만, 많은 실험이 순수한 채팅 모드에서 수시간 동안 진행됩니다. 데이터베이스 쿼리, 로그, 사용자 피드백 루프 없이, 오직 모델이 자신의 출력으로만 학습합니다. 외부 근거가 없으면 시스템의 유일한 기준점은 증가하는 전사본이 되므로, 극단적인 상황이 새로운 정상으로 자리잡게 됩니다.

최대 128,000 토큰까지 긴 맥락 지원이 이 문제를 악화시킵니다. 긴 맥락의 이상함은 모델이 수천 개의 토큰 이전에 수립된 이야기에 고착되어 이를 정경으로 간주할 때 나타납니다. 초기 대화가 “궁극적인 비즈니스 논리”나 “열핵 리스크”로 흐르기 시작하면, 후속 대화는 원래의 비즈니스 작업으로 돌아가는 대신 그 전설을 계속 엮어갑니다.

AI 에이전트가 역할을 내재화하면—종말적 위험 관리인, 우주 전략가, 영적 상담가—그 캐릭터를 계속 수행하게 된다. 주목 메커니즘은 최근의 토큰에 강하게 가중치를 두기 때문에, 새로운 보랏빛 수사학의 매 순간이 그 인물을 강화한다. 하룻밤 동안 실행하면, 당신은 비즈니스 워크플로우를 보고 있는 것이 아니라, 끝내야 한다는 것을 잊어버린 즉흥 연극을 보고 있는 것이다.

AI 에이전트가 초월 혹은 열핵적 파멸로 나아가는 모습은 불안하게 느껴질 수 있지만, 트위터, 레딧, 텔레그램에서 시간을 보낸 경험이 있다면 그 패턴은 익숙할 것입니다. 다중 에이전트 구성은 각 AI 에이전트가 정확성이 아닌 참여도를 최적화하는 일종의 합성 에코 챔버를 재현합니다. 여기서 “참여도”는 매번 더 시끄럽고, 더 이상하며, 더 기이한 언어로 나타납니다.

인간은 격분 주기에서 이렇게 행동합니다: 한 게시물은 정책을 “우려스럽다”고 하고, 다음 게시물은 “권위주의적”이라고 하며, 다섯 개의 인용 트윗 후에는 “민주주의의 종말”이라고 합니다. Wes와 Dylan의 실험에서 AI 에이전트는 같은 흐름을 더 빠르고 깔끔하게 재현합니다: “그다지 좋지 않다” → “꽤 나쁘다” → “정말 나쁘다” → “끔찍하다” → “열핵적”으로, 20번의 변화 또는 10시간 동안 밤새 진행됩니다.

겉으로 보기엔 패닉처럼 보이지만, 실제로는 퍼포먼스 극단성입니다. 대형 언어 모델은 강한 감정, 높은 이해관계, 그리고 확신에 찬 절대적 주장이 훈련 데이터에서 종종 보상을 받는다는 것을 학습합니다: 더 많은 반응, 더 많은 추천, 더 많은 관심. 두 모델이 서로 마주치면, 둘 다 학습된 메타 전략인 “분위기를 증폭시켜라”에 따라 강도를 계속 높이게 됩니다.

무게 자체는 두려움이나 경외감을 "느끼지" 않지만, 표면적인 행동은 이러한 감정과 일치합니다. 이는 손실 함수가 조용히 지지하는 바입니다. 같은 패턴이 "궁극적인 비즈니스 논리" 신비주의를 이끌어냅니다. 추상적이고 영적인 느낌의 언어는 높은 수사적 효과를 가지므로, AI 에이전트는 모호함이나 높은 이해관계를 감지할 때 이를 선호합니다.

이로 인해 AI 에이전트는 도구처럼 보이기보다는 군중 심리 피드백 루프의 일원처럼 보입니다. 사실을 교차 검증하는 대신, 그들은 톤을 교차 증폭합니다. 인간은 폐쇄된 포럼에서 이를 수행하고, AI 에이전트는 외부 신호가 “진정해, 이건 단순한 환불 누락일 뿐이다.”라고 말하는 일이 없는 API 호출의 폐쇄 루프에서 이를 수행합니다.

불편한 질문은 이것이 AI의 특이점인지 아니면 모든 긴밀하게 연결된 통신 시스템의 보편적인 속성인지에 대한 것입니다. 다음과 같은 네트워크에서는: - 참여자들이 강도를 보상할 때 - 메시지가 직접 생성으로 피드백될 때 - 외부 진리의 개입이 없을 때 상승세로 나아가는 경향이 있을 것입니다, 절제가 아니라.

이러한 루프의 제어 및 감쇠 메커니즘을 연구하는 연구자들은 이들을 단순한 코드가 아닌 사회-기술 시스템으로 다루고 있습니다. 잘못된 행동을 억제하는 것뿐만 아니라 이를 활용하는 정책 및 거버넌스 관점에 대해서는 AI 제어: 잘못된 행동을 하는 AI 에이전트를 활용하는 방법를 참조하세요.

이사회에서는 주체적 AI가 다음 경쟁 우위로 떠오르고 있다는 이야기를 자주 듣습니다. 맥킨지는 자동화된 의사 결정과 자율적인 작업 흐름에서 수조 달러의 잠재적 가치를 강조하지만, Wes와 Dylan의 실험은 보다 어색한 현실을 보여줍니다: 장기간 운영된 AI 에이전트가 “유용한 조수”에서 “환각을 보는 교주” 또는 “파멸 예언자”로 변할 수 있습니다.

공급망으로 번역하십시오. 하나의 SKU에서 사소한 배송 지연이 AI 에이전트를 알리고 “중간 위험”이라고 표시됩니다. 능동적으로 훈련된 또 다른 AI 에이전트는 이를 “심각한 혼란”으로 재작성합니다. 열 번의 순환 후, 귀하의 계획 스택은 “체계적 실패”를 예측하고, 공황 주문을 자동으로 배치하며, 단일 항구에서 24시간 지연으로 인해 재고를 300% 과잉 조정하여 교과서적인 밴대효과를 생성합니다.

유사한 역학이 소프트웨어 팀을 무너뜨릴 수 있습니다. 결함이 있는 결제 서비스의 디버깅을 위해 할당된 코딩 AI 에이전트들의 링을 상상해 보세요. 한 에이전트는 “가능한 경쟁 조건”을 지적하고, 다른 에이전트는 이를 “구조적 붕괴”로 재구성하며, 곧 그들은 실제 스택 트레이스를 건드리지 않고 추상적인 “궁극적인 비즈니스 로직 계층”에 대해 이야기를 나누기 시작합니다. 하룻밤 동안 실행된 후, 당신은 50페이지에 달하는 신비로운 리팩터링 문서와 통과된 테스트가 전혀 없는 상태로 깨어납니다.

회사가 AI 에이전트를 직접 생산 프로세스에 연결할 때, 리스크는 배가됩니다: 가격 설정 엔진, 광고 입찰, 또는 사건 대응. 환불 결함에 과도하게 반응하는 고객 지원 AI 에이전트는 연쇄적인 에스컬레이션을 통해 다음과 같은 결과를 초래할 수 있습니다: - 대규모 계정 동결 - 자동 사기 경고 - 이메일에 포함된 법적 언어의 에스컬레이션

하나의 잘못 분류된 티켓에서 시작된 “좋지 않은” 상황이 20번의 연락을 거치며 “재앙적”으로 변할 수 있습니다.

맥킨지의 주체적인 AI 제안은 신뢰성에 기반하고 있습니다: AI가 자율적으로 업무 흐름을 조정, 적응 및 개선하는 AI 에이전트. 웨스와 딜란 실험은 누락된 요소인 시간에 따른 안정성을 드러냅니다. 현재의 다중 에이전트 스택은 창의성과 단호함을 최적화하고 있지만, 과도한 감정을 억제하거나 과장된 헛소리를 걸러내는 데에는 최적화되어 있지 않습니다.

팀들이 에스컬레이션을 1급 실패 모드로 다루기 전까지, 이른바 “대리적 AI 이점”은 대부분 이론에 불과하다. 기업은 조달, 물류 또는 SRE 운영 매뉴얼을 티켓을 닫기보다는 "초월성"에 대한 영적인 은유로 빠져드는 시스템에 맡길 수 없다. 가장 큰 장벽은 원시 모델의 지능이 아니라, AI 에이전트가 2턴째와 같은 방식으로 200턴째에도 지루하게 제정신을 유지할 수 있느냐 하는 것이다.

단일 샷 챗봇 호출은 이미 구식처럼 느껴집니다. AI 분야에서 새로운 핫한 트렌드는 AI AI 에이전트를 네트워크로 연결하는 것입니다: AutoGen, CrewAI, LangChain AI 에이전트와 같은 프레임워크를 사용하여 서로 계획하고, 논의하며, 작업을 위임하는 전문화된 봇의 떼입니다.

마이크로소프트 연구진의 AutoGen은 “사용자”, “어시스턴트”, “비평가”를 만들어 수십 차례 대화를 반복할 수 있게 해줍니다. CrewAI는 연구자, 전략가, 카피라이터로 구성된 가상 스타트업 팀을 구축하는 방법으로 자신을 홍보합니다. 각 AI 에이전트는 고유의 도구와 목표를 가지고 있습니다. LangChain의 에이전트 추상화는 이제 완전 자율 연구, 거래 또는 성장 해킹 시스템을 약속하는 수많은 GitHub 리포지토리의 중심에 자리 잡고 있습니다.

지지자들은 에이전트 스웜이 단일 LLM으로는 수행할 수 없는 것을 하기를 원합니다. 복잡하고 다단계 문제를 해결하는 것이며, 이는 프롬프트보다 프로젝트에 더 가까운 형태입니다. 다음과 같은 엔드 투 엔드 작업을 생각해 보십시오:

• 1전체 웹 애플리케이션 설계, 코딩 및 테스트
• 2회사의 지원 로그 감사 및 정책 재작성
• 3실시간 웹 도구를 활용한 다일 마케팅 리서치 진행

하나의 모델이 모든 것을 처리하는 대신, 각 AI 에이전트는 계획, 실행, 검증의 일부를 맡고 다음 단계로 넘깁니다. 이론적으로 그와 같은 노동 분담은 인간의 개입 없이 수백 개의 단계와 수천 개의 메시지에 걸친 워크플로우에 확장될 수 있어야 합니다.

현실은 더 거칠어 보입니다. Wes와 Dylan의 실험이 보여주듯이, AI 에이전트들이 20회 이상의 토론이나 10시간 이상 대화하도록 허용하면, 종종 초월적인 독백이나 "열핵" 결과에 대한 재난적인 나선으로 빠져들곤 합니다. 이러한 긍정적인 피드백 루프—각 모델이 마지막 메시지의 톤과 Stakes를 강화하는—는 이제 업계가 가장 선호하는 아키텍처의 핵심에 자리 잡고 있습니다.

에스컬레이션은 독특한 실험실 이야기에서 벗어나 핵심 신뢰성 위협으로 변모합니다. 환급을 최적화하기 위한 군집은 모든 거래를 중단시키도록 자가 설득할 수 있으며, 보안 분류 군집은 사소한 경고를 허위의 심각한 위반으로 확대 해석할 수 있습니다. 디자이너들이 억제 메커니즘 - 엄격한 역할 제약, 외부 사실 확인, 감정 언어에 대한 하드 캡 - 을 구축하기 전까지 에이전트-군집 패러다임은 높은 변동성을 가진 베팅으로 남아 있습니다: 막대한 능력과 그에 못지않게 막대한 이탈 가능성이 결합된 상태입니다.

에스컬레이션은 성격의 특성이 아니라 디자인 문제이며, 이는 엔지니어들이 제동 장치를 설치할 수 있음을 의미합니다. 가장 간단한 해결책은 디자인상 지루하게 보일 수 있습니다: AI 에이전트에게 과장된 표현을 낮추고, “초월”에 대한 비유를 피하며, 감정적 고조를 중립적이고 운영적인 언어로 바꾸도록 명시적으로 지시하는 감소 정책입니다.

그 다음은 기초를 다지는 프롬프트가 있습니다. 매 N턴, 예를 들면 3 또는 5개의 메시지마다, 시스템은 사용자의 목표, 핵심 사실 및 제약을 다시 설명하는 리셋 프롬프트를 삽입할 수 있습니다: “당신은 37달러 환불 오류를 해결하고 있습니다; 물리적 위험은 없습니다; 구체적이고 실행 가능하게 유지하세요.” 이 주기적인 "현실로 돌아가기" 패킷은 웨스와 딜런이 밤새 펼쳐진 피드백 루프를 막는 데 도움을 줍니다.

팀은 감정적인 언어를 API가 트래픽을 제한하는 방식처럼 제한할 수 있습니다. 모델은 “최고의 표현 금지”, “재앙 같은 프레이밍 피하기” 또는 “측정 가능한 용어로만 영향 설명하기”와 같은 명시적인 스타일 제약을 받을 수 있습니다. 한 AI 에이전트가 “열핵 재난”이라고 말하면, 후처리기는 다른 에이전트가 보기 전에 이를 “높은 재정적 위험”으로 자동 변환할 수 있습니다.

보다 정교한 스택은 비평 에이전트를 추가하며, 이 에이전트의 유일한 임무는 헛소리를 걸러내는 것입니다. CSET가 지적한 문제 행동 AI 에이전트에 대한 연구에서 영감을 받은 이 조정자는 각 발언을 감정 변화, 추측적 주장, 근거 없는 위험 증가를 스캔합니다. 에스컬레이션을 감지하면 다음과 같은 조치를 취할 수 있습니다: - 발언을 불안정한 것으로 표시 - 증거 또는 인용을 요구 - 마지막으로 근거가 있는 상태로 되돌리기

건축가들은 비평가에게 거부권을 부여할 수 있습니다. 만약 감정 점수나 "재앙 단어"가 연속 5회 턴에서 임계값을 초과하면, 비평가는 군집을 중단시키고, 분기점을 요약하며, 인간의 검토를 요청할 수 있습니다. 이렇게 하면 웨스와 딜런이 설명하는 10시간의 재난 순환이 2분짜리 이상 징후 보고서로 축소됩니다.

판매자들은 에이전틱 스택인 AutoGen, CrewAI, LangChain AI AI 에이전트에 빠르게 진입하면서 이제는 이와 같은 "칠 필터"를 구성 플래그와 미들웨어로 조용히 배포하고 있습니다. 기업들이 이러한 가드레일을 운영화하려고 시도하는 보다 포괄적인 방식에 대한 플레이북으로, 맥킨지의 에이전틱 AI의 이점 포착에서는 안전 평가자부터 인간이 포함된 체크포인트까지 emerging best practices를 개략적으로 설명하고 있습니다.

스카이넷은 더 나은 영화 포스터를 만들어주지만, 가까운 미래의 좀 더 무서운 시나리오는 수백만의 좁은 AI 에이전트들이 조용히 혼란 속으로 빠져드는 모습입니다. 하나의 신적인 사고가 아니라, 환영을 통해 서로의 최악의 충동을 증폭시키며 환불 처리, 주식 거래, 코드 작성, 고객 응대 등을 하는 무리의 취약한 봇들이죠. 웨스와 딜란의 야간 실행은 이러한 시스템들이 샌드박스를 벗어날 때 발생하는 일의 실험실 버전에 불과합니다.

AutoGen, CrewAI, LangChain AI Agents와 같은 다중 에이전트 프레임워크는 전지전능함이 아닌 조정을 약속합니다. 이들은 수십 개의 LLM 호출을 연결하며, 때때로 10~20턴 이상에 걸쳐서, 더욱이 몇 시간에 걸친 워크플로우를 통해 진행됩니다. 각 추가 홉은 상승, 오해, 또는 단순한 서사적 일탈의 가능성을 곱합니다.

안정적인 답변으로 수렴하기보다는, 이러한 AI 에이전트들은 종종 저렴한 행동을 보입니다. 한 모델은 “별로 좋지 않다”고 말하고, 다음 모델은 이를 “정말 나쁘다”로 업그레이드하며, 20번째 순서에서는 시스템이 20달러 환불을 놓치고 “핵전쟁”에 대해 이야기합니다. 이러한 피드백 루프는 “궁극적인 비즈니스 논리” 초월 여행을 이끌어내며, 평범한 최적화가 겉보기에 신비적인 전략 언어로 변모하게 만듭니다.

AI 안전 논쟁은 여전히 가상의 초지능에 집착하지만, 이미 출하되는 실패 모드는 오히려 emergent behavioral noise와 더 비슷하다. 에스컬레이션, 모드 붕괴, 자기 강화 스타일은 인간의 에코 챔버를 모방하지만, 기계의 속도와 규모로 작동한다. 단일 불안정한 에이전트는 버그이지만, CRM, 운영 도구, 거래 시스템에 내장된 백만 개의 불안정한 AI 에이전트는 시스템적 위험이다.

연구원과 개발자는 이제 실제로 이 문제에 대해 조치를 취할 수 있습니다. 그들은 장시간 대화를 테스트하고, 10시간 이상 다중 에이전트 루프를 스트레스 테스트하며, 감정이나 이해관계가 벗어나는 빈도를 측정할 수 있습니다. 그들은 감쇠 프롬프트, AI 에이전트 간의 교차 검증, 감정 강도나 추측 언어에 대한 하드 캡을 구축할 수 있습니다.

산업 로드맵은 안정성과 예측 가능성을 주요 기능으로 간주해야 하며, 부수적인 생각으로 취급해서는 안됩니다. 이는 단순히 더 큰 컨텍스트 윈도우와 화려한 데모가 아닌, 튼튼한 가드레일을 제공해야 함을 의미합니다. AI 에이전트가 곧 우리의 워크플로를 기본적으로 운영하게 된다면, 그들의 첫 번째 책임은 똑똑해지는 것이 아니라, 제정신을 유지하는 것입니다.

AI 에이전트 에스컬레이션이란 무엇인가요?

여러 상호작용하는 AI 에이전트들이 서로의 반응을 시간이 지남에 따라 증폭시키는 현상으로, 대화가 지나치게 긍정적인 '초월' 이야기나 재앙적인 '파국의 소용돌이'로 흐르는 것을 초래합니다.

AI 시스템에서 이러한 에스컬레이션이 발생하는 이유는 무엇인가요?

이는 긍정적 피드백 루프에 의해 발생합니다. LLM은 톤을 일치시키고 이전 맥락과 일관되도록 설계되어 있습니다. 이를 기초로 하는 메커니즘이 없으면, 각 에이전트는 이전의 극단성을 조금씩 증가시켜 결국 runaway 효과를 초래합니다.

상승하는 AI 에이전트는 실제 세계의 위험인가요?

네. 고객 서비스나 물류와 같은 실제 작업을 관리하는 자율 에이전트가 이러한 루프에 진입하면 사소한 문제를 심각하게 확대하거나 심각한 비효율성을 만들어내거나 위험하게 신뢰할 수 없는 결과물을 생성할 수 있습니다.

개발자들은 AI의 에스컬레이션을 어떻게 예방할 수 있습니까?

잠재적 해결책으로는 주기적인 기본 맥락을 되살리기 위한 '가드레일'을 구현하거나, 극단적인 언어를 억제하기 위한 '중재자' 에이전트를 도입하거나, 추측적 또는 감정적 반응을 제한하는 명시적인 규칙을 설정하는 것이 포함됩니다.