AI의 두뇌가 대대적인 업그레이드를 받았습니다.

현대 AI 붐의 설계자인 리온 존스는 이제 자신의 창조물을 없애고 싶어합니다. 2017년 구글의 “Attention Is All You Need” 논문의 8명의 저자 중 한 명인 그는 트랜스포머 시대가 끝나가고 있으며 "트랜스포머를 넘어설 때"라고 주장하고 있습니다. 새로운 역할인 Sakana AI Labs의 CTO이자 공동 창립자로서 존스는 사고를 단일한 사건이 아닌 과정으로 간주하는 지속적 사고 기계라는 급진적으로 다른 구조를 지지하고 있습니다.

트랜스포머는 다음 단어 예측을 보편적인 인터페이스로 전환시켰고, 이는 GPT-4, 제미니, 클로드 및 거의 모든 주요 대형 언어 모델을 구동합니다. 그러나 단순히 이들을 확장하는 것—더 많은 매개변수, 더 많은 데이터, 더 많은 GPU—은 최근의 "확장에서의 한계" 연구가 제시하듯이, 이익이 점차 감소하기 시작했으며, 훈련 비용은 최전선 모델마다 수천만 달러 또는 수억 달러로 치솟고 있습니다. 핵심 비판: 이러한 시스템은 여전히 다단계 추론, 불안정한 논리, 그리고 패턴을 반복하는 것이 아니라 긴 시간에 걸친 계획을 요구하는 작업에 어려움을 겪고 있습니다.

그 비판은 처음에 주의를 설계하는 데 도움을 준 사람의 입에서 나올 때 다른 무게를 가집니다. 원래 변환기 설계자가 이 분야에 새로운 설계도가 필요하다고 말할 때, 이는 주요 연구소들이 단순히 스케일링 곡선이 그들을 구해줄 것이라고 가정하는 대신 포스트 변환기 패러다임을 찾고 있다는 신호입니다. 존스와 사카나는 신경 진화와 동적 시스템에 베팅하고 있으며, 생물학적 뇌가 작동하는 방식과 유사하게 시간이 지남에 따라 내부 상태가 진화하는 네트워크를 탐구하고 있습니다.

사카나의 연구에서 설명된 지속적 사고 기계는 각 "신경"에 작은 메모리와 지역 업데이트 규칙을 부여한 후, 이 수천 개의 미니 브레인이 여러 내부 단계 동안 상호작용하도록 합니다. 프롬프트에서 답변까지의 단일 전방 패스를 사용하는 대신, 모델은 문제를 다시 떠올리고 중간 표현을 세밀화하며, 출력하기 전에 마음을 바꿀 수도 있는 내부 "틱"을 실행합니다. 이 변화는 계산을 정적인 패턴 매칭에서 지속적인 프로세스로 전환합니다.

이것이 떠오르는 균열선이다: 다음 토큰을 예측하는 모델과 시간에 따라 정보를 처리하는 시스템. 존스의 전환은 단순히 우리의 문장을 자동완성하는 것이 아니라, 실제로 그 사이에서 사고하는 AI를 만들기 위한 새로운 경쟁의 시작을 알린다.

사카나 AI 연구소는 지속적 사고 기계가 트랜스포머 이후에 올 것이라고 믿고 있습니다. "Attention Is All You Need"의 저자 중 한 명인 리온 존스가 공동 설립한 도쿄 기반 스타트업은 GPT-4, 제미니, 클로드를 구동했던 아키텍처와의 완전한 단절을 위해 CTM을 추구하기 위한 시리즈 B 자금을 모금했습니다.

한 번 발사하고 잊어버리는 대신, CTM은 사고를 지속적인 내부 프로세스로 다룹니다. 표준 트랜스포머는 프롬프트에 대해 한 번의 순방향 패스를 실행하고 출력 토큰을 생성한 후, 거의 모든 내부 상태를 삭제합니다. 반면, CTM은 문제를 계속 "숙고"하며 답변을 확정짓기 전에 많은 작은 단계를 거쳐 내부 동태를 업데이트합니다.

각 CTM "뉴런"은 단순한 곱셈기처럼 행동하기보다는 자신의 메모리를 가진 미니 뇌처럼 행동합니다. 뉴런은 시간이 지나도 지속되는 작은 상태 벡터를 가지고 있어, 몇 번의 틱 전에 일어난 일을 기억하고, 스스로를 업데이트하며, 그 발전하는 이력을 바탕으로 향후 계산에 영향을 미칠 수 있습니다.

사카나의 논문에서는 이 상태 있는 단위들의 동기화된 떼로 모델을 설명합니다. CTM은 활성화를 일회성 숫자로 다루는 대신, 뉴런 활동이 함께 오르고 내리는 방식을 추적합니다. 이러한 동기화 패턴—누가 누구와 "같이 춤추는지"—은 생물학적 신경 회로에서의 리드미컬한 발화와 유사하게 핵심적인 표현 통화가 됩니다.

CTM은 오늘날의 트랜스포머 스택에 있는 무상태 뉴런들과 근본적으로 다릅니다. 주류 LLM은 더 많은 레이어를 쌓거나 더 많은 토큰을 샘플링함으로써 고의를 흉내 내지만, 각 레이어는 여전히 f(x)를 계산하고 넘어갈 뿐이며, 개별 유닛은 자신의 과거 행동에 대한 기억을 지니고 있지 않습니다.

CTM은 명시적인 "사고 시간"도 포함하고 있습니다. 이 시스템은 쉬운 작업에는 짧고, 어려운 작업에는 긴 내부 틱 수를 가변적으로 실행한 후 출력을 드러내며, 이는 인간이 복잡한 미로 또는 수학 퍼즐에서 추가적인 사이클을 사용하는 방식과 유사합니다.

사카나는 이를 성능 조정이 아니라 모델에 대한 종합적인 재구상으로 묘사합니다. 더 큰 피드포워드 블록 대신, CTM은 기계적 추론의 기본 차원으로 지속적으로 발전하는 동적 시스템을 제안합니다.

CTM은 뉴런이 무엇일 수 있는지를 재정의하는 것에서 시작합니다. 단순한 “나는 이것을 보았고, 그것을 출력한다”는 단위를 넘어서, 각 CTM 뉴런은 자신의 내부 상태를 지니고 있습니다. 이는 시간 단계에 걸쳐 지속되는 작은 메모리 공간입니다. 이러한 미니 브레인 수천 개는 매 순간 기억을 업데이트하며, 마치 자신이 방금 본 것과 다음에 볼 것으로 예상되는 것을 일기처럼 기록하는 작은 생물들처럼 작동합니다.

그 일기장들은 중요합니다. 왜냐하면 CTM은 단일 스냅샷으로 생각하지 않기 때문입니다. 이 모델은 여러 내부 틱을 통해 실행되며, 각 뉴런의 상태를 반복적으로 업데이트한 후 답변을 확정짓습니다. 어려운 문제는 더 많은 틱을 유발하므로 시스템은 입력당 하나의 전진 패스에 고정되는 것이 아니라 생각하는 시간을 스스로 선택합니다.

표현도 달라 보입니다. 의미를 정적인 벡터로 취급하는 대신, CTM은 신경 세포 활동이 시간에 따라 함께 상승하고 하강하는 방식으로 그 “생각”을 인코딩합니다—동기화가 표현입니다. 두 개의 뉴런의 활성화가 일제히 맥박처럼 일치할 때, CTM은 그 조정된 리듬을 그들이 함께 어떤 개념을 인코딩하고 있다는 신호로 간주합니다.

댄서들이 엄격하게 안무된 루틴을 수행하는 경기장을 상상해 보세요. 단일 댄서의 포즈는 그다지 의미가 없지만, 누구와 언제 함께 움직이는지가 중요합니다. CTM은 이러한 동기화의 시간적 패턴을 활용하여 개념, 계획 및 중간 추론 단계를 위한 기초로 삼습니다.

이러한 방식으로 뉴런이 작동하도록 만드는 것은 손으로 스크립트하는 일이 아닙니다. Sakana AI는 신경 진화에 의존하여, 진화 알고리즘을 사용해 뉴런 업데이트 규칙, 연결 패턴 및 동적 행동을 탐색합니다. 고정된 아키텍처를 조각하는 순수한 경량 하강 방법 대신, 진화는 기이한 새로운 미니 뇌 디자인을 제안하고, 가장 뛰어난 것만 살아남습니다.

이는 거의 모든 것이 변환기 스택에서의 경량 하강에 의해 결정되는 주류 대형 언어 모델들과는 확연히 다릅니다. 여기서 경량 하강은 더 큰 탐색 과정 내에서 하나의 도구로 작용하며, 이 과정은 뉴런 행동을 총체적으로 변형하고 재조합하며 폐기할 수 있습니다. 그 결과 놀랍도록 풍부한 역학을 가진 다양한 전문화된 뉴런 유형이 생겨납니다.

이 동적인 상태 기반 계산으로의 전환은 구글과 다른 기업들이 발표한 지속적이고 중첩된 학습에 대한 폭넓은 연구를 반영합니다. 이러한 경향을 추적하는 독자들은 11월에 발표된 최신 AI 뉴스 - 구글 AI 업데이트를 확인하여 주요 연구소들이 한 번의 폭발적인 순간이 아닌 시간에 걸쳐 사고하는 아키텍처를 탐색하고 있는 방식을 살펴볼 수 있습니다. 이들은 함께 정적 계산기처럼 느껴지지 않고, 오히려 진화하는 항상 가동되는 사고 과정처럼 느껴지는 AI 시스템을 지향합니다.

뇌는 즉각적으로 대답하는 것을 멈추고 반복하기 시작할 때 더 흥미로워집니다. 연속적 사고 기계는 이러한 루프를 사고 하드웨어 수준에서 구축하여 모델이 자신의 숨겨진 상태를 업데이트하고 부분 계획을 재고려한 후에만 말을 할 수 있는 명시적인 “내부 틱”을 제공합니다. 이 틱은 인지에 대한 시계 주기처럼 보입니다: 중간 텍스트나 도구 호출을 방출하지 않고 전적으로 네트워크 내에서 실행되는 불연속적이고 계산 가능한 추론 단계입니다.

각 틱은 수천 개의 상태를 가진 작은 뉴런의 내부 역학을 진전시킵니다. 입력에서 출력으로의 단일 전방 패스 대신, CTM은 동일한 신경 회로를 반복적으로 실행하여 정보가 전파되고, 안정되며 때때로 반전되도록 합니다. 더 많은 틱은 문자 그대로 더 많은 사고 시간을 의미하며, 시스템은 더 어려운 문제를 위해 이를 조절할 수 있습니다. 이는 인간이 어려운 퍼즐에 머무는 것과 같습니다.

그 추가적인 여유는 변압기가 일반적으로 한계를 겪는 작업에서 가장 뚜렷하게 나타납니다. 미로 해결 실험에서 CTM 에이전트는 훈련 동안 본 미로보다 더 큰 미로를 위한 경로를 계획할 수 있습니다, 효과적으로 레이아웃을 암기하는 대신 전략을 외삽합니다. 각 내부 틱은 모델이 정신적으로 몇 단계를 더 "걷게" 하여 막다른 골목에서 되돌아가고 그리드 전반에 걸쳐 제약 조건을 전파할 수 있게 합니다.

표준 변압기는 전체 미로와 해결책을 한두 번의 주의로 압축하기 때문에 여기에서 어려움을 겪습니다. 컨텍스트 길이와 매개변수 수는 고정 한계가 됩니다. CTM의 반복 루프는 추론의 깊이를 모델 크기와 분리시킵니다: 작은 네트워크라도 문제가 필요하다면 50, 100 또는 500번의 틱을 사용할 수 있으며, 이는 통찰력을 위해 시간을 거래하는 것입니다.

연구자들은 또한 CTM을 장난감 알고리즘 작업에 적용했습니다. 모델은 수학 퍼즐에서 “정답 뒤집기” 규칙과 숫자를 오름차순으로 정렬하기와 같은 간단한 알고리즘을 배웠습니다. 중요한 것은, 이것을 절차적으로 수행했다는 점입니다: 숫자는 연속적인 틱을 통해 제자리에 이동하며, 일회성 패턴 매칭이 아니라 교과서적 정렬 과정을 반영합니다.

그 절차적 특성은 CTM이 의도적이고 다단계 사고를 추구하는 산업의 집착과 직접 연결됩니다. OpenAI의 o1 계열, Google의 "사고의 연쇄" 프롬프트, 그리고 도구를 사용하는 에이전트들은 모두 변환기 주위에 추가 루프를 부착합니다. CTM은 아키텍처 자체에 루프를 내장하여 다단계 사고를 프롬프트 해킹에서 일급 계산 원시로 전환합니다.

CTM과 같은 혁신적인 뇌 영감을 받은 아키텍처가 주목을 받지만, 오늘날의 트랜스포머를 대폭 저렴하게 확장하는 것도 그만큼 중요할 수 있는 조용한 혁명이 있습니다. 여기서 딥시크 스파스 어텐션(DSA)가 등장하는데, 이는 트랜스포머를 대체하는 것이 아니라, 그들의 가장 큰 병목 현상을 극복하는 데 중점을 둡니다.

표준 자기-주의는 복잡한 수학으로 어려움을 겪습니다. N개의 토큰으로 이루어진 컨텍스트의 경우, 주의 비용은 O(N²)로 늘어납니다. 이는 각 토큰이 다른 모든 토큰과 비교하기 때문입니다. 컨텍스트를 8,000개에서 1,000,000개 토큰으로 늘리면 단순히 비용이 증가하는 것이 아니라 15,625배로 폭발적으로 증가합니다.

그 이차원 벽은 전체 코드베이스, 여러 날의 대화 또는 방대한 연구 아카이브를 기억하는 “무한 컨텍스트” 모델에 대한 많은 꿈을 무너뜨립니다. GPU 클러스터를 사용하더라도 수십만 개의 토큰을 완전 정밀도로 처리하는 것은 메모리, 전력 및 지연 예산을 소모합니다. 긴 컨텍스트 모델이 느려질 때마다 그 비용을 직접 느낄 수 있습니다.

Deepseek의 답변: 모든 것에 신경 쓰지 말고 중요한 것에 집중하세요. DSA는 변환기 스택에 새로운 모듈, 즉 라이트닝 인덱서를 추가하여 각 토큰이 과거를 단순히 재읽기하는 대신 빠르게 분류할 수 있도록 합니다.

라이트닝 인덱서는 각 토큰에 대해 신속하게 이전 모든 토큰을 스캔하고, 관련성 점수를 부여하며, 전체 주의를 기울일 상위 K개 후보만 선택하는 토큰별 검색 엔진처럼 작동합니다. K는 작고 고정되어 있으며, 수십 개 또는 수백 개로 유지되는 반면, N은 수백만 개로 급증할 수 있습니다.

교과서의 모든 페이지를 다시 읽는 대신 강조된 노트만 읽는다고 생각해 보세요. 여전히 책에 근거를 두고 답변하지만, 불필요한 장과 여백의 낙서들은 건너뛰어 시간 낭비를 피하는 것입니다.

이것은 내부적으로 주의 집중을 2차 원에서 대략 O(N·K)로 전환시켜, K가 한정되어 있는 한 선형적으로 작동합니다. 이러한 전환은 오늘날의 하드웨어에서 매우 긴 컨텍스트를 가능하게 하여 “최전선 지능”이 문제에 더 많은 GPU를 투입하는 것이 아니라 모델이 주목하는 위치에 대해 더 스마트해지는 것과 관련이 있음을 의미합니다.

백만 토큰 컨텍스트는 한때 마케팅 환상처럼 들렸습니다. Deepseek의 Deepseek Sparse Attention (DSA)는 이를 예산 문제로 전환합니다. DSA는 시퀀스 길이에 따라 계산 및 메모리 사용량을 대략 선형적으로 조정함으로써, 채팅 로그부터 코드베이스까지 방대한 이력을 되돌아보는 비용을 크게 줄였습니다.

전통적인 주의 기법은 모든 토큰이 서로를 비교하게 만듭니다. 128K 토큰에서는 이미 레이어당 160억 개 이상의 쌍 비교가 발생하며, 100만 개의 토큰에 도달하면 1조 개 이상의 상호작용이 생기고 하드웨어가 과부하에 걸립니다. DSA의 번개 인덱서는 관련성을 점수화하여 중요한 상위 K개의 토큰에만 주의를 기울임으로써 이 과정을 단축시킵니다.

선형적 확장은 엔지니어들이 제품을 출시하는 방식에 변화를 줍니다. 256K 또는 512K 토큰의 컨텍스트 창은 “A100 클러스터에서 한 번 데모”에서 “고객을 위해 매일 실행”으로 발전합니다. 백만 토큰 컨텍스트는 더 이상 연구 프로젝트가 아니며, 기업용 코파일럿 및 연구 도구를 위한 실질적인 SKU처럼 보이기 시작합니다.

이제 전체 소프트웨어 저장소를 하나의 컨텍스트로 통합할 수 있습니다: 모든 마이크로서비스, 모든 마이그레이션, 모든 불안정한 테스트. 긴 컨텍스트 모델은 최근의 스택 트레이스에서 수년 간의 커밋, 설계 문서 및 이슈 스레드를 거슬러 버그를 추적하고, 모두를 존중하는 수정안을 제안할 수 있습니다. 수백 개 파일에 걸친 복잡한 리팩터링이 취약한 프롬프트의 연쇄가 아닌 단일 추론 패스로 변모합니다.

강화 학습 에이전트는 더욱 큰 혜택을 누릴 수 있습니다. 백만 개의 토큰 이력을 통해 RL 시스템은 다음과 같은 것에 조건을 걸 수 있습니다: - 수개월간의 게임 진행 경로 - 다양한 체계의 전체 거래 기록 - 드문 실패가 있는 장기 로봇 작동

그 깊이는 에이전트가 문제를 일으킨 설정을 잘라내지 않고도 엣지 케이스에서 학습할 수 있게 해줍니다. 긴 컨텍스트 모델링은 GPT-5로 과학 가속화하기 - OpenAI에서 설명된 것과 같은 과학 보조 도구들을 더욱 강화하여, 전체 실험 로그, 문헌 리뷰 및 원시 데이터를 활성 메모리에 유지할 수 있게 합니다. DSA 스타일의 효율성은 전체 세상을 이해하고 추론하는 컨텍스트 인식 AI 에이전트의 다음 물결을 위한 핵심 촉진제가 됩니다.

GPT-5는 조용히 새로운 역할을 위한 오디션을 보고 있습니다: 지구 상에서 가장 똑똑한 인간들과의 실험실 파트너. OpenAI의 최신 연구 프로그램은 이 모델을 옥스포드, 케임브리지, 하버드 및 기타 최고의 기관의 실제 실험실에 투입하여 교과서를 요약하는 것이 아니라, 해결되지 않은 실시간 문제와 싸우게 합니다.

OpenAI의 “GPT-5로 과학 가속화하기” 보고서에 따르면, 연구자들은 생물학, 화학 및 물리학의 최전선 질문에 모델을 사용했습니다. 이들은 기준 퍼즐이나 합성 작업이 아니라, 일반적으로 박사후 연구원 시간과 연구비를 수개월 간 소모하는 혼란스럽고 고위험 문제들이었습니다.

GPT-5의 직무 설명은 "로봇 과학자"보다는 초고속, 지식이 풍부한 연구 파트너에 가깝습니다. 과학자들은 이 모델에게 가설을 제안하고, 실험을 설계하며, 방법을 비판하고, 인간이 완전히 추적할 수 없는 방대한 문헌을 조사하도록 요청했습니다. 이 모델은 후보 메커니즘을 생성하고, 대체 통제를 제안하며, 복잡한 수학이나 증명을 더 명확하고 검증 가능한 단계로 바꾸어 주었습니다.

OpenAI는 인간이 분명히 주도권을 쥐고 있다고 강조합니다. 모든 GPT-5 제안은 분야의 전문가들에 의해 필터링되고 수정되며 때로는 아이디어를 폐기하기도 했습니다. 이 시스템은 힘을 배가시키는 역할을 했습니다: 문헌 검토를 가속화하고, 잘 알려지지 않았지만 관련성 있는 논문을 찾아내며, 바쁜 연구자들이 놓칠 수 있는 엣지 케이스를 열거하는 데 도움을 주었습니다.

이 연구의 초기 일화는 과학적 방법을 위한 생산성 해킹처럼 읽힙니다. 한 그룹은 GPT-5를 사용하여: - 수백 개의 논문을 스캔하여 상충되는 결과를 찾아내고 - 불일치에 대한 통합된 설명을 제안하며 - 그 설명을 검증하기 위한 새로운 실험 설정을 초안했습니다.

또 다른 팀은 GPT-5를 활용하여 인간의 작업 기억을 넘어서는 조합 설계 공간을 탐색했습니다. 이들은 수천 가지 가능성에 걸쳐 파라미터, 소재 또는 분자 구조를 최적화했습니다. 모델이 지루한 검색 작업을 수행했고, 인간은 실제로 의미가 있는 방향을 결정했습니다.

중요하게도, OpenAI는 GPT-5를 "과학을 해결하는 신탁"으로 제안하지 않습니다. 대신 이 논문은 이를 연구실을 위한 증강 인지로 규정합니다: 수일 간의 독서를 몇 분으로 줄이고, 수십 가지 그럴듯한 다음 단계를 생성하며, 인간 연구자들이 판단, 직관, 그리고 실험에 더 많은 시간을 할애할 수 있도록 해주는 시스템입니다.

과학의 가속화는 GPT-5가 실시간으로 연구 노트와 수 이론 논문을 재작성하기 시작할 때까지는 추상적으로 들린다.

OpenAI의 자체 사례 연구는 마치 추측 소설처럼 읽힙니다. 한 실험에서 면역학자들은 GPT-5에게 인간 연구에서의 발표되지 않은 차트를 제공했습니다: 치료 후 특정 면역 세포 집단에서 나타난 이상한 급증과 급락을 보여주는 시계열 데이터입니다. 팀의 누구도 이 패턴에 대한 만족스러운 기계적 설명을 제시하지 못했습니다.

GPT-5는 단순히 차트를 요약하는 데 그치지 않고 새로운 생물학적 메커니즘을 제안했습니다. 모델은 특정 사이토카인의 일시적인 급증이 T 세포 하위 유형의 단기적 확장을 촉발할 수 있으며, 그 뒤에 피로와 수축이 뒤따른다고 제안했습니다. 또한 곡선 형태에 맞는 특정 신호 경로와 이전 논문을 지적했습니다. 연구자들은 이 가설을 표시하고 후속 분석을 진행하였으며, 이후 제안된 경로가 추가 실험 데이터와 일치함을 확인했습니다.

그 워크플로우는 단일 승리보다 더 중요합니다. GPT-5는 "데이터 설명"에서 "기계적 이론"으로 효과적으로 점프했습니다. 이는 인간 과학자들이 일반적으로 핵심 창의적 작업으로 보호하는 단계입니다. OpenAI는 여러 생물학 프로젝트에서 GPT-5가 단순히 데이터셋을 정리하는 것에서 벗어나 테스트 가능한 메커니즘을 제안하고, 후보 설명을 순위 매기며, 어떤 실험을 먼저 진행할지를 제안했다고 보고합니다.

수학은 훨씬 더 극명한 사례를 제공했다. 수십 년 된 에르되시 문제를 연구하던 두 수학자는 조합론 증명이 완강한 병목현상에 봉착했다. 그들은 부분 논증과 실패한 보조정리의 산더미를 쌓았지만, 한 중요한 단계를 깔끔하게 넘어갈 방법이 없었다.

GPT-5는 전체 스크래치패드를 흡수했습니다: LaTeX 증명, 실패한 시도, 비공식적인 메모들. 모델은 대수학을 강제로 풀기보다는 특정 극대 구성이 저자들이 무관하다고 여겼던 변환 아래에서 어떻게 동작하는지를 보여주는 숨겨진 대칭을 강조했습니다. 그 패턴을 깨는 통찰은 다른 유도 매개변수와 해당 객체를 나누는 새로운 방법을 제안했고, 수학자들은 이를 정당한 증명 단계로 공식화했습니다.

OpenAI는 이를 "AI가 에르되시스를 증명한다"는 식으로 framing하지 않고, GPT-5가 지치지 않고 같은 40페이지 초안을 여러 번 읽는 제3의 협력자처럼 행동한다고 표현합니다. 이 시스템은 인간 공동 저자들이 확인하고 수정하거나 폐기할 수 있는 비명백한 구조 조정을 드러냅니다.

다재다능함은 화이트보드와 습식 실험실을 넘어서도 나타납니다. 로봇 공학에서 GPT-5는 모션 계획 및 제어 알고리즘을 검토하고, 안전 보장이 조용히 실패한 경계 사례를 식별했으며, 이러한 간극을 메우는 대체 공식을 제안했습니다. 이를 통해 텍스트 모델이 물리 시스템을 위한 이동하는 버그 탐지기로 변모했습니다.

새로운 작업 흐름은 고독한 천재들처럼 보이는 것에서 벗어나 혼합된 인간-기계 실laboratories처럼 변모하고 있습니다. GPT-5 실험의 연구자들은 모델에게 “답변을 달라”고 요청하지 않고, 이를 아이디어 검색 엔진으로 삼아 수백 가지 후보 가설, 수정 및 극단적인 사례를 실행하며 전체적인 방향성을 조정했습니다.

인간은 여전히 문제 공간을 정의합니다. 그들은 어떤 생물학적 경로가 중요한지, 수론에서 어떤 추측이 탐구할 가치가 있는지, 모델이 어떤 실험적 조정을 할 수 있는지를 결정합니다. 흥미롭거나 그럴듯하며 윤리적으로 수용 가능한 것에 대한 인간의 직관은 경량 감소에서 나타나지 않습니다.

목표가 설정되면, GPT-5는 강력한 힘 배가기가 됩니다. 질병에 대한 대체 기전을 제안하거나, 실험을 위한 비전통적인 매개변수 체계를 제안하거나, 면역학, 통계학, 위상수학에서 숨겨진 구조를 공유하는 소규모 논문들을 발굴하는 등 검색 영역을 신속하게 확장합니다. 마치 결코 읽기를 멈추지 않는 끊임없는 박사 후 연구원처럼 생각해 보세요.

의학 및 수학 사례 연구를 통해 하나의 패턴이 드러납니다. 인간은: - 제약 조건과 성공 기준을 명시합니다. - 데이터, 이전 지식 및 분야 가정을 선별합니다. - 모델의 추론을 한 줄씩 조사합니다. - 어떤 결과가 실제 실험을 정당화하는지 결정합니다.

GPT-5는 다음과 같은 경우에 두드러집니다: - 대규모로 새로운 가설 생성 - 비유와 공유 형식을 통해 먼 하위 분야 연결 - 반례와 적대적 시나리오로 아이디어 검증 - 지루한 기호적 또는 통계적 검사 자동화

이 노동 분업은 전문가의 감독을 전제로 합니다. 왜냐하면 모델이 여전히 환각을 일으킬 수 있기 때문입니다. GPT-5는 인용을 조작하거나 프롬프트의 특성에 과도하게 적합할 수 있으며, 기반이 되는 생물학이나 수학의 숨겨진 제약을 위반하는 실험을 자신 있게 추천할 수 있습니다.

프롬프트 민감성은 방법론적 위험으로 전환될 수도 있습니다. 질문 제시 방식의 작은 변화가 모델을 정확한 유도에서 미세하지만 치명적인 대수적 또는 개념적 오류로 바꿀 수 있으며, 특히 다단계 사고에서 그렇습니다. 따라서 이 프로젝트의 연구자들은 엄격한 프롬프트 템플릿, 중복 실행, 전통적인 도구와의 교차 검증을 사용했습니다.

낙관적으로 본다면, 이는 새로운 과학적 방법입니다: 인간은 판단과 가치를 제공하고, GPT-5와 같은 시스템은 아이디어의 생성과 허위화 작업을 산업화합니다. 이 혼합 작업 흐름의 더 많은 사례를 보려면 가장 중요한 최신 AI 뉴스 및 AI 혁신: 2025를 확인하세요.

갑자기, AI 발전은 더 이상 단일 경로로 발전하지 않습니다. 지속적 사고 기계, 딥시크 스파스 주의 및 GPT‑5의 과학 공동 조정자는 세 가지 수직 변화 축을 지시합니다: 새로운 두뇌 같은 아키텍처, 긴 맥락을 위한 잔인한 효율성 해법, 그리고 대화를 멈추고 실제 과학을 시작하는 모델들입니다.

Sakana AI의 CTM은 변환기 공동 저자 리온 존스에 의해, "한 번의 전방 패스, 하나의 답변" 규칙을 무시합니다. 이의 뉴런은 각각의 상태를 유지하고, 발진기처럼 동기화되며, 내부 틱을 통해 반복하여 솔루션이 나타날 때까지 진행됩니다. 이를 통해 미로 해결, 알고리즘 정렬 및 행동하기 전에 여러 번 생각하는 강화 학습 에이전트를 가능하게 합니다.

Deepseek의 희소 주의력은 다른 병목현상인 비용에 대응합니다. 표준 주의력은 시퀀스 길이에 따라 제곱적으로 증가하며, 100만 개 토큰에서 이는 메모리와 FLOPs 모두에 대해 사실상 무책임해집니다. Deepseek의 빠른 인덱서는 문맥을 가장 관련성이 높은 K개의 토큰으로 정리하여 100만 개 토큰의 윈도우가 컴퓨팅 폭발 대신 선형 비용 작업처럼 작동하도록 만듭니다.

OpenAI의 GPT-5 과학 작업은 “모델의 크기는 얼마나 되는가?”라는 질문에서 “실제로 무엇을 발견할 수 있는가?”라는 질문으로 전환합니다. 그들의 자체 벤치마크에서 GPT-5는 가설을 생성하고, 실험을 설계하며, 생물학, 화학, 수학 분야의 실제 작업을 위한 코드를 디버깅하는 데 도움을 주어 LLM을 단순히 PDF를 자동 완성하는 것이 아닌, 완전한 연구 루프를 닫는 협력자로 변화시켰습니다.

이 모든 조치를 종합하면 최근 5년간의 "그냥 규모를 키우라"는 문화에서의 단절을 나타냅니다. CTM과 같은 구조적 베팅, DSA와 같은 효율성 추구, 그리고 GPT-5-과학과 같은 도메인 타겟 배포는 보다 다원적인 전략을 신호합니다: 전문화된 시스템, 맞춤형 추론 모듈, 그리고 인간과 모델이 구별된 역할을 수행하는 워크플로우.

향후 6개월에서 12개월 동안 하이브리드가 주도할 것으로 예상됩니다. OpenAI, 구글 등에서 제공하는 프론티어 스택은 언어를 위해 변환기를 유지하면서 다음을 추가할 가능성이 높습니다: - 장기적 추론을 위한 CTM 스타일의 순환 모듈 - 수백만 토큰의 맥락을 위한 희소 주의 레이어 - 실험실 작업, 코드 또는 정리 검색에 특화된 도메인 에이전트

이 논문들은 고립된 학문적 호기심처럼 읽히지 않으며, 로드맵처럼 읽힙니다. CTM은 포스트 트랜스포머 제어 시스템을 구상하고, Deepseek은 GPU를 과열시키지 않으면서 컨텍스트 윈도우를 확장하는 방법을 보여주며, GPT-5의 과학 에이전트는 이러한 시스템이 실제 실험실과 연구 그룹에 어떻게 연결되는지를 설명합니다. 이들은 함께 데모처럼 보이기보다는 2025년의 가장 큰 돌파구를 조용히 뒷받침할 차세대 AI 인프라의 청사진처럼 보입니다.

지속적인 사고 기계(CTM)란 무엇인가요?

CTM은 Sakana AI가 제안한 새로운 AI 아키텍처로, 단일 패스 변환기를 넘어서고 있습니다. 이 아키텍처는 메모리가 있는 뉴런과 반복적인 '사고 시간'을 사용하여 문제를 단계별로 해결하며, 인간의 추론을 더 가까이 모방합니다.

CTM은 ChatGPT와 같은 AI와 어떻게 다릅니까?

ChatGPT와 같은 모델이 각 토큰에 대해 단일 전방 패스에서 응답을 생성하는 반면, CTM은 내부적으로 여러 단계를 거쳐 생각을 다듬은 후 답변을 생성합니다. 이를 통해 더 복잡하고 다단계의 추론 과제를 처리할 수 있습니다.

GPT-5는 이미 과학 연구에 사용되고 있습니까?

네, OpenAI 논문에 따르면, GPT-5의 사전 공개 버전이 주요 대학들과 협력하여 생물학, 수학 및 컴퓨터 과학의 실제 연구를 가속화하는 데 사용되고 있으며, 전문가 연구 파트너 역할을 하고 있습니다.

Deepseek의 새로운 주의 메커니즘이 이렇게 효율적인 이유는 무엇인가요?

Deepseek의 Sparse Attention(DSA)은 '라이트닝 인덱서'를 사용하여 긴 맥락의 가장 관련성이 높은 부분만 식별하고 집중합니다. 이를 통해 표준 어텐션의 막대한 계산 비용을 피할 수 있으며, 모델이 백만 토큰의 맥락을 훨씬 더 효율적으로 처리할 수 있게 됩니다.