AI가 왜 계속 같은 과학적 제안만 하는가
AI 모델에게 새로운 연구 아이디어를 요청하면 종종 익숙한 결과만 나옵니다. 기존 과학 문헌으로 학습된 모델은 인기 있는 주제를 재생산하는 경향이 있어, 확립된 지적 틀에서 벗어나지 못합니다. 모델의 지식 기반은 본질적으로 회고적이기 때문에 그 제안들은 이미 잘 알려진 경로에 집중됩니다.
Claude를 예로 들어보겠습니다. 머신러닝 연구 아이디어를 요청하면, 이 모델은 종종 interpretability(해석 가능성)와 관련된 주제를 제안합니다. 이는 해당 분야의 일반적인 추세를 반영하며, 현재 인간 연구가 집중된 고밀도 영역을 보여줍니다. 본질적으로 모델은 학습 데이터에 존재하는 편향을 그대로 반영하는 것입니다.
인간 연구자들에게도 비슷한 역학이 작용합니다. 그들의 교육, 협력자, 학문적 네트워크는 미묘하게 그들을 익숙한 질문으로 이끕니다. 이러한 사회적, 인지적 고착은 그 누구도 적절한 위치에서 생각해내지 못한 과학의 타당한 교차점이나 '외계 공간(alien spaces)'을 간과하게 만들 수 있습니다. 따라서 AI와 인간 모두 지적 합의에서 벗어나야 하는 공통된 과제에 직면해 있습니다.
지도 밖의 아이디어를 찾아서
연구자들은 과학의 "alien space(외계 공간)"—즉, 연구자들이 생각해내기 어려운 과학적으로 일관된 아이디어—를 탐색하는 시스템을 개발했습니다. 이는 불가능한 개념에 관한 것이 아니라, 일반적인 인지 패턴이나 사회적 네트워크를 벗어난 기존 지식의 조합에 관한 것입니다. 이를 과학적 지형 내에서 탐색 가능하지만 아직 알려지지 않은 영역을 매핑하는 것으로 생각하면 됩니다.
연구팀은 약 16,000개의 머신러닝 논문을 근본적인 "아이디어 원자(idea atoms)"로 해체하는 것부터 시작했습니다. 이러한 모듈식 개념 단위를 통해 모든 연구 방향을 기본 구성 요소의 집합으로 표현할 수 있었고, 이를 체계적으로 재조합하여 새로운 후보 아이디어를 도출할 수 있었습니다.
그 후 두 부분으로 구성된 점수 산정 메커니즘을 사용했습니다. 4,300만 개의 파라미터를 가진 트랜스포머인 coherence model(일관성 모델)은 제안된 아이디어 원자의 조합이 논리적으로 타당한 연구 프로젝트를 형성하는지 평가했습니다. 동시에, 약 40,000명 연구자의 출판 이력을 학습한 cognitive availability model(인지적 가용성 모델)은 실제 연구 그룹이 특정 개념들을 자발적으로 연결할 가능성을 추정했습니다. 이 시스템은 일관성은 높지만 인간의 가용성은 낮은 아이디어에 우선순위를 두어, 확립된 지적 경계를 넘어선 발견을 촉진합니다.
놀라운 테스트, 그리고 현실 점검
연구자들은 2024년 말에 학습 데이터를 고정하여 시스템을 엄격하게 테스트했습니다. 그런 다음 2025년에 발표된 실제 연구 논문에서 구체화된 개념 조합을 찾아내는 능력을 평가했습니다. 이러한 retrospective validation(회고적 검증)은 시스템이 미래의 방향을 진정으로 식별할 수 있는지 확인하기 위한 것이었습니다.
한 가지 놀라운 결과는 ICLR 2025 구두 발표 논문과 관련이 있습니다. 이 논문의 핵심 조합은 일관성만을 기준으로 했을 때는 1,489위 정도였으나, 시스템의 "비가용성(unavailability)" 지표를 적용했을 때 114만 개 이상의 후보 중 상위 25위로 급상승했습니다. 이는 시스템의 예측 순위 결정 능력을 보여주는 것이지, 시스템이 직접 해당 연구를 유발했다는 의미는 아님을 명심해야 합니다.
또한, 대학원 학위를 소지한 50명의 AI 전문가들이 연구 제안서를 블라인드 평가했습니다. 시스템이 생성한 아이디어가 상위 5개 보고서 중 3개를 차지했습니다. 이는 10개 중 8개의 자체 생성 아이디어가 해석 가능성(interpretability)에 치우쳤던 Claude의 성능과 극명한 대조를 이룹니다. 새로운 시스템은 해석 가능성에 초점을 맞춘 제안서를 하나도 생성하지 않아, 진정으로 새로운 개념적 공간을 탐색할 수 있는 능력을 입증했습니다. 더 깊은 기술적 통찰은 전체 논문을 참조하십시오: The Alien Space of Science: Sampling Coherent but Cognitively Unavailable Research Directions.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
병목 현상은 여전히 증거에 있습니다.
접근 방식은 데이터 접근성에 결정적으로 의존합니다. 연구자들은 오픈 액세스가 보편화된 분야인 16,068편의 머신러닝 전문(full-text) 논문으로 시스템을 구축했습니다. 이를 통해 모델은 강력한 "아이디어 원자(idea atoms)"와 그럴듯한 조합을 학습할 수 있었습니다.
반면, 생물학이나 의학 같은 분야는 도전 과제를 안고 있습니다. 의학 연구의 약 절반이 페이월(paywall) 뒤에 숨겨져 있어, 시스템이 필요한 전문 논문을 수집하는 능력이 심각하게 제한됩니다. 결과적으로, 이러한 분야에서 생성된 아이디어는 학습 데이터 부족으로 인해 눈에 띄게 약합니다.
그럴듯한 조합을 생성하는 것과 과학적 검증은 별개의 문제입니다. 시스템은 잠재적인 방향을 식별하지만, 인간 전문가는 여전히 다음을 수행해야 합니다:
- 제안서의 진정한 참신함과 실현 가능성 판단
- 자금 및 자원 확보
- 실험 설계 및 실행
설득력 있는 아이디어가 곧 입증된 발견은 아닙니다. 그것은 단지 엄격한 테스트를 기다리는 가설일 뿐입니다.
독자들은 25,000개의 연구 제안서가 호스팅된 Lacuna 도구를 탐색하거나 오픈 소스 프로젝트 자체를 살펴볼 수 있습니다. 의학과 같은 중요한 분야에서 이 방법론을 더 넓게 채택하려면 전문 논문에 대한 접근성 확대와 철저한 검토 및 실험적 후속 조치를 위한 도메인 전문가의 헌신적인 참여가 필수적입니다.
자주 묻는 질문(FAQ)
Alien Space of Science란 무엇인가요?
이는 과학적으로 일관성이 있어 보이지만, 연구자들의 기존 습관이나 연결 고리로는 떠올리기 어려운 연구 방향을 찾기 위한 프레임워크입니다.
시스템은 어떻게 연구 아이디어를 생성하나요?
아이디어 원자(idea atoms)라고 불리는 연구 개념들을 결합한 다음, 후보 조합들의 일관성과 연구자들이 이를 떠올릴 가능성을 기준으로 점수를 매깁니다.
시스템이 출판 전에 실제 연구를 식별했나요?
2025년 이전 데이터로 고정된 회고적 테스트에서, ICLR 2025 구두 발표 논문에 등장한 조합을 상위 25개 후보 중 하나로 선정했습니다.
시스템이 스스로 발견을 발명하고 검증할 수 있나요?
아니요. 시스템은 가설을 제안할 뿐이며, 인간 전문가가 이를 평가하고 실험을 수행하여 유용하거나 사실인지 확인해야 합니다.
Lacuna란 무엇인가요?
Lacuna는 사용자가 연구 제안서를 탐색할 수 있도록 하는 프로젝트 관련 도구이며, 프로젝트 코드는 GitHub에서도 확인할 수 있습니다.