여러분은 열린 웹에서 가장 깨끗한 상품 catalog를 갖고도 ChatGPT와 Perplexity 안에서는 여전히 보이지 않을 수 있어요. 데이터가 잘못돼서가 아니라, 대부분의 머천트가 결코 열어보지 않는 파일 속 단 한 줄이 쇼핑 크롤러에게 조용히 들어오지 말라고 말하고 있기 때문이에요.
TL;DR: AI 쇼핑 엔진은 두 가지 종류의 크롤러를 써요. 훈련(training) 봇과 검색(retrieval) 봇이요. 검색 봇을 차단하면 여러분의 피드와 스키마가 완벽하더라도 AI 검색 답변에서 여러분의 상품이 완전히 제거돼요. 대부분의 robots.txt 규칙은 이 구분이 존재하기 전에 작성됐기 때문에, 많은 매장이 실수로 엉뚱한 봇을 차단하고 있어요.
robots.txt 파일은 여러분 도메인의 루트에 위치하며, 자동 크롤러에게 어떤 경로를 읽을 수 있는지 알려줘요. 20년 동안 이것은 검색 엔진 관리용 세부 사항이었어요. 2026년에는 AI 쇼핑 어시스턴트가 여러분의 상품을 볼 수 있는지 여부를 결정하는 발견 관문이에요.
왜 AI 크롤러가 하나가 아니라 둘인가요?
OpenAI는 별개의 작업을 위해 별개의 크롤러를 운영하고, 각각은 여러분의 robots.txt를 독립적으로 읽어요. GPTBot은 파운데이션 모델을 훈련하기 위한 콘텐츠를 수집해요. OAI-SearchBot은 ChatGPT 검색 안에서 실시간 질문에 답하기 위해 페이지를 읽어요. 이들은 서로 다른 규칙의 지배를 받으므로, 하나를 허용하면서 다른 하나를 차단할 수 있어요.
OpenAI 문서는 그 결과에 대해 명확해요. OpenAI의 크롤러 참조 문서에 따르면 "OAI-SearchBot을 옵트아웃한 사이트는 ChatGPT 검색 답변에 표시되지 않습니다." 그 한 문장이 문제의 전부예요. 2023년에 콘텐츠를 훈련 데이터에서 빼려고 GPTBot을 차단한 머천트가, 검색 봇까지 함께 걸리는 robots.txt 규칙을 복사했을 수 있고, 이제 자신도 모르게 ChatGPT 쇼핑 결과에서 빠져 있는 거예요.
Google도 같은 방식으로 작동해요. Google-Extended는 여러분 콘텐츠의 훈련 사용을 통제하는 반면, 표준 Googlebot은 AI Mode와 AI Overviews에 자료를 공급해요. Perplexity도 비슷한 선을 따라 크롤러를 나눠요. 이 패턴은 모든 주요 엔진에 걸쳐 유지돼요. 모델을 훈련하는 봇과 쇼핑객에게 답하는 봇은 같은 봇이 아니에요.
훈련 시대의 차단이 어떻게 발견 문제가 됐나
대부분의 이커머스 robots.txt 파일은 2023년 AI 훈련에 대한 반발 시기에 마지막으로 손댔어요. 당시의 본능은 방어적이었어요. 우리 콘텐츠를 기계 밖에 두자는 거였죠. 그 본능이 이제는 비싸요.
차단 데이터는 이것이 얼마나 널리 퍼졌는지 확인해줘요. 주요 뉴스 사이트에 대한 분석에 따르면 71%가 AI 검색 봇을 최소 하나 차단하고, 67%는 특히 PerplexityBot을 차단하는데, 이는 훈련이 아니라 인덱싱에 쓰이는 봇이에요. 퍼블리셔들이 이 물결을 이끌었지만, 같은 복사-붙여넣기 robots.txt 규칙이 이커머스 템플릿과 에이전시 보일러플레이트를 통해 퍼졌어요.
GPTBot은 출시 이래 가장 많이 차단된 AI 크롤러였어요. 몇 달 만에 상위 100개 웹사이트의 15%, 상위 1,000개의 7%가 이를 차단했고, 차단 습관은 그 이후로 퍼지기만 했어요. 매장이 광범위한 규칙으로 GPTBot을 차단하면서 검색 봇을 별도로 허용하지 않으면, AI 추천 쇼핑 트래픽이 가장 빠르게 성장하는 바로 그 표면에서 사라질 수 있어요.
훈련 봇을 차단하는 것은 여러분의 콘텐츠가 모델 훈련에 쓰이지 않도록 보호해요. 검색 봇을 차단하는 것은 여러분을 답변에서 제거해요. 머천트들은 첫 번째만 하려 했으면서 계속 두 번째를 하고 있어요.
실제 매장에서는 이것이 어떻게 보이나
이 실패는 조용해요. 아무것도 고장 나지 않고, 오류도 뜨지 않으며, 사람 트래픽은 영향받지 않으니 사이트 분석도 정상으로 보여요. 유일한 증상은 부재예요. 쇼핑객이 ChatGPT나 Perplexity에 여러분 카테고리의 상품을 묻는데, 여러분 대신 경쟁자의 이름이 돌아와요.
이것이 크롤 접근(crawl access)이 AI 발견의 다른 모든 것 밑에 깔려 있는 이유예요. 스키마 마크업, 강화된 속성, 깨끗한 상품 피드는 모두 크롤러가 애초에 페이지에 도달할 수 있다는 것을 전제해요. 검색 봇이 차단되면 그 모든 작업은 결코 읽히지 않아요. 제대로 된 AI 크롤러 관리는 여러분의 나머지 AI 쇼핑 검색 전략이 서 있는 토대예요.
이것은 또한 AI 검색이 실제로 검색하는 방식과 상호작용해요. 엔진이 query fan-out을 실행하면, 하나의 쇼핑 질문을 8~12개의 하위 질의로 분해하고 각각에 답하기 위해 문단(passage)을 가져와요. 문단 단위 검색(passage-level retrieval)은 검색 봇이 그 문단을 가져올 수 있을 때만 작동해요. 그것을 차단하면, 여러분은 그 하위 질의들에 대해 순위가 낮은 게 아니에요. 후보 집합(candidate set)에 아예 없는 거예요.
AI 쇼핑 발견에 중요한 봇들
여러분의 AI 쇼핑 가시성을 결정하는 크롤러 목록은 짧아요. 상품이 AI 답변에 노출되기를 원한다면 차단이 아니라 허용해야 할 검색 측(retrieval-side) 에이전트들이에요.
| 크롤러 | 엔진 | 역할 | 차단하면... |
|---|---|---|---|
OAI-SearchBot | ChatGPT 검색 | 실시간 답변을 위한 검색 | ChatGPT 검색 답변에서 빠져요 |
Googlebot | Google AI Mode, AI Overviews | AI 표면에 자료를 공급하는 인덱싱 | AI Mode와 Overview 배치를 잃어요 |
PerplexityBot | Perplexity | 답변을 위한 인덱싱 | Perplexity 결과에서 빠져요 |
GPTBot | OpenAI 훈련 | 파운데이션 모델 훈련 | 콘텐츠가 훈련에 쓰이지 않아요 (직접적인 검색 영향 없음) |
Google-Extended | Google 훈련 | Gemini 모델 훈련 | 콘텐츠가 Gemini 훈련에 쓰이지 않아요 (직접적인 검색 영향 없음) |
머천트를 걸려 넘어지게 하는 것은 마지막 두 행의 구분이에요. GPTBot이나 Google-Extended를 차단하는 것은 훈련 데이터에 관한 방어할 만한 선택이에요. OAI-SearchBot, Googlebot, PerplexityBot을 차단하는 것은 AI 쇼핑에서 보이지 않기로 하는 선택인데, 이를 의도적으로 하는 사람은 거의 없어요.
이번 주에 할 일
이 단계들은 몇 시간이면 되고 새 도구가 필요 없어요. 대부분의 매장이 쓸 수 있는 가장 저렴한 AI 가시성 수정이에요.
- 오늘 브라우저에서
yourdomain.com/robots.txt를 열어보세요. 한 줄씩 읽으세요. 크롤러에 영향을 줄 수 있는 모든User-agent블록과 모든Disallow규칙을 기록하세요. OAI-SearchBot,Googlebot,PerplexityBot이 여러분의 상품 및 카테고리 경로에서 disallow되지 않았는지 확인하세요. 광범위한Disallow: /나 포괄(catch-all) 규칙이 이들에 적용된다면, 그것이 여러분의 문제예요.- 훈련과 검색을 의도적으로 분리하세요. 훈련을 차단하고 싶다면
GPTBot과Google-Extended를 이름으로 지정해 차단하고, 검색 봇은 명시적으로 허용해 규칙이 넘쳐 흐르지 않게 하세요. - CDN과 봇 보호 계층도 확인하세요. Cloudflare 같은 서비스는
robots.txt가 허용하더라도 네트워크 엣지에서 AI 크롤러를 차단할 수 있어요. 방화벽이 여전히 차단을 반환한다면robots.txt수정은 헛수고예요. - 접근이 열린 뒤에는
llms.txt파일을 두어 AI 에이전트를 여러분의 가장 가치 높은 상품 및 카테고리 페이지로 안내하는 것을 고려하세요. 이는 크롤 접근을 보완하지, 대체하지는 않아요.
수정 후에는 가정하지 말고 검증하세요. 쇼핑객이 던질 법한 같은 카테고리 질의를 ChatGPT, Perplexity, Google AI Mode에서 돌려보고, 여러분의 상품이 나타나기 시작하는지 추적하세요. 엔진 전반의 노출률(found rate)을 모니터링하는 것이 관문이 실제로 열렸는지 확인하는 방법이고, OpenAI는 robots.txt 변경 후 자사 검색 시스템이 조정되는 데 대략 24시간이 걸릴 수 있다고 밝혀요.
자주 묻는 질문
GPTBot을 차단하면 ChatGPT 쇼핑 가시성이 손상되나요?
그 자체로는 아니에요. GPTBot은 훈련을 담당하고, 이를 차단하면 콘텐츠가 모델 훈련에서 빠져요. 위험은 검색 크롤러인 OAI-SearchBot까지 함께 걸리는 광범위한 규칙이에요. GPTBot만 차단되고 OAI-SearchBot이 허용되어 있다면, 여러분의 ChatGPT 검색 가시성은 온전해요.
내 매장이 엉뚱한 봇을 차단하고 있는지 어떻게 아나요?
yourdomain.com/robots.txt에서 여러분의 robots.txt를 직접 읽어보세요. 여러분의 상품 경로에서 OAI-SearchBot, Googlebot, PerplexityBot에 적용되는 Disallow 규칙이 있는지 찾아보세요. 2023년 훈련 반발기에 작성된 포괄 차단이나 지나치게 광범위한 규칙이 가장 흔한 원인이에요.
robots.txt를 고치면 내 상품이 즉시 AI 검색에 나타나나요?
아니요. 크롤러를 허용하는 것은 접근을 부여하지, 배치를 보장하지 않아요. OpenAI는 robots.txt 변경이 반영되는 데 약 24시간이 걸릴 수 있다고 밝히며, 엔진은 여전히 여러분의 페이지를 크롤하고, 인덱싱하고, 관련성이 있다고 판단해야 해요. 크롤 접근은 전제 조건이지, 결승선이 아니에요.
robots.txt가 크롤러가 차단되는 유일한 곳인가요?
아니요. Cloudflare 같은 CDN 및 봇 관리 도구는 robots.txt와 무관하게 네트워크 엣지에서 AI 크롤러를 차단할 수 있어요. 두 계층 모두 확인하세요. 여러분의 방화벽이 여전히 검색 봇에 차단을 반환한다면 허용적인 robots.txt는 아무 소용이 없어요.
더 작은 AI 쇼핑 엔진과 에이전트는 어떤가요?
같은 논리가 적용돼요. 실시간 웹 콘텐츠를 가져오는 각 에이전트는 식별 가능한 user agent를 사용해요. AI 발견을 원하는 매장의 안전한 기본값은 검색 및 인덱싱 봇을 폭넓게 허용하되, 제한하려면 훈련 봇을 이름으로 지정해 제한하는 것이에요.
크롤 접근은 AI 쇼핑 준비도에서 가장 화려하지 않은 부분이면서, 잘못됐을 때 가장 큰 결과를 낳는 부분이에요. 구조화된 데이터와 강화된 피드에 쓴 모든 돈은 크롤러가 페이지를 읽을 수 있다는 것을 전제해요. 봇이 무엇을 보는지 최적화하기 전에, 올바른 봇이 애초에 그것을 볼 수 있는지부터 확인하세요.