llms.txt란 무엇인가? 사양, 회의론, 그리고 굳이 해야 할 이유

판매되는 빈도와 실제로 읽히는 빈도 사이에 이보다 더 큰 차이가 있는 파일은 드뭅니다. 현재 수많은 생성기 제작 업체들이 llms.txt를 AI-SEO 순위 상승 수단으로 마케팅하고 있지만, 검색 분야에서 가장 권위 있는 인물은 크롤러가 이 파일을 요청조차 하지 않는다고 말합니다. 이 두 가지 사실을 정확히 이해하는 것이 중요합니다. 그래야만 '10분만 투자하고 큰 기대는 하지 않는다'는 올바른 접근 방식을 취할 수 있기 때문입니다.

출처 llmstxt.org: 루트 경로 /llms.txt에서 제공되는 UTF-8 마크다운 파일로, 정확히 다음 순서로 구성됩니다 —

• 프로젝트 또는 사이트 이름이 포함된 H1. 유일한 필수 요소입니다.
• 한 줄 요약이 담긴 블록 인용구.
• 선택 사항으로, 모델이 링크를 따라가기 전에 알아야 할 맥락을 담은 짧은 자유 형식의 마크다운.
• 0개 이상의 H2로 구분된 섹션. 각 섹션은 [이름](https://url) 링크의 마크다운 목록이며, 선택적으로 : 뒤에 짧은 메모를 추가할 수 있습니다.
• 'Optional'이라는 제목의 선택적 섹션. 파일 중 AI 컨텍스트가 짧을 때 건너뛸 수 있는 유일한 부분으로, 부차적인 자료를 담습니다.

핵심 아이디어는 토큰 경제입니다. AI 시스템이 무작위로 사이트를 크롤링하고 내용을 잘라내는 대신, 한 줄의 맥락과 함께 잘 선택된 10개의 링크를 직접 제공하는 것입니다. 일부 프로젝트는 전체 페이지 내용을 인라인으로 포함하는 확장 버전(일반적으로 llms-full.txt)을 게시하기도 하지만, 이 변형은 사양의 일부라기보다는 구현 관례에 가깝습니다.

솔직한 현황: 이 제안의 생태계 내에서는 도입되었습니다. FastHTML, nbdev, Answer.AI 프로젝트들이 이를 게시하고, 커뮤니티 디렉토리가 이를 사용하는 사이트를 색인하며, 문서 플랫폼들이 클릭 한 번으로 지원 기능을 추가했기 때문에 개발자 도구 문서에서는 흔히 볼 수 있습니다. 여러 코딩 에이전트와 답변 도구들은 특정 사이트를 지정했을 때 이를 가져옵니다. 하지만 Mueller의 서버 로그 관찰에 따르면, 주요 AI 서비스(OpenAI, Anthropic, Google)에 의한 일상적인 크롤링은 일어나지 않았습니다. 이들은 아무것도 발표하지 않았으며, 로그 분석 결과 주요 크롤러들은 여전히 이 파일을 요청하지 않고 있습니다. 만약 게시하는 이유가 "ChatGPT가 드디어 우리를 이해하게 될 것"이기 때문이라면, 이를 뒷받침할 증거는 없습니다.

Mueller의 keywords-meta-tag 비교는 이 반론의 가장 날카로운 버전입니다. llms.txt는 자체 선언된 콘텐츠, 즉 "사이트 소유자가 자신의 사이트에 대해 주장하는 내용"이며, 자체 선언된 신호는 쉽게 조작될 수 있기 때문에 가치를 잃습니다. "그렇다면 왜 직접 사이트를 확인하지 않는가?" 실제 페이지를 읽을 수 있는 크롤러에게는 그 페이지에 대한 보도 자료가 필요하지 않습니다. 그 논리가 keywords 태그를 죽였고, llms.txt 역시 구조적으로 그 운명에서 자유롭지 않습니다.

• 비용은 정말 미미합니다. 정적 파일 하나, 빌드 단계 없음, 위험 부담 없음. 하방 위험이 거의 없는 비대칭적 베팅에는 높은 확신이 필요하지 않습니다.
• 오늘날 일부 소비자가 존재합니다. 사이트 힌트를 수용하는 개발자 도구, 문서 인식 에이전트, 답변 엔진은 실제로 이 파일을 읽습니다. 틈새시장이지만 실존하며, 특히 구매자가 개발자인 제품에 가장 가치가 있습니다.
• 큐레이션이 실제 가치입니다. 제품을 가장 잘 설명하는 10개의 페이지를 선택하고 각각에 대해 정직한 설명을 한 줄씩 작성하는 것은 로봇이 결과를 가져가든 아니든 상관없이 수행해야 할 포지셔닝 작업입니다.
• 옵션 가치. 주요 엔진이 지원을 발표하면, 깔끔한 파일을 준비해 둔 사이트는 바로 대응할 수 있지만, 그렇지 않은 사이트들은 뒤늦게 서둘러야 할 것입니다.

덤프하지 말고 큐레이션하세요. 마크다운으로 변환된 사이트맵은 본래의 취지를 무색하게 합니다. 10~20개의 링크를 선정하고, 각 링크가 독자에게 무엇을 제공하는지 메모를 남기세요. 마케팅 문구가 아닌 모델 중심의 맥락이어야 합니다. 변경 로그, 법적 페이지, 아카이브는 Optional 섹션에 넣으세요. 사이트맵을 관리하는 것과 동일한 방식으로 최신 상태를 유지하고, 루트 디렉토리에 일반 UTF-8 마크다운으로 제공하세요. 저희의 무료 llms.txt 생성기는 브라우저 내에서 사양에 정확히 맞는 파일을 구성합니다. 저장이나 가입 절차 없이, 이 게시물이 전달하는 것과 동일한 정직한 주의 사항과 함께 제공됩니다.

AI 가시성을 위해 한 시간이 있다면, llms.txt는 첫 50분이 아닌 마지막 10분에 투자해야 합니다. 측정 가능한 레버는 순서대로 다음과 같습니다: AI 크롤러의 접근 허용 여부(robots.txt), JavaScript 실행 없이 읽기 쉬운 텍스트를 제공하는지 여부, 제목/설명/구조화된 데이터를 제공하는지 여부, 그리고 권위 프로필이 어떤지입니다. 무료 10초 체크 도구가 이 네 가지를 모두 다룹니다. 기본적인 기술적 요소를 넘어 AI 추천을 움직이는 것은 다른 신뢰할 수 있는 페이지가 귀하에 대해 어떻게 말하느냐입니다. 이는 AI 가시성 도구 가이드에서 다루는 커버리지 및 인용 계층이며, 저희의 Stork Wire가 판매하는 영역이기도 합니다. 자체 선언 파일은 예의일 뿐입니다. 검색 엔진과 답변 엔진 모두에게 순위 신호가 되는 것은 제3자의 증거입니다.