robots.txt 로 AI 검색 봇을 허용하는 법
AI 검색에 인용되려면 robots.txt 에서 각 회사의 검색용 봇(OAI-SearchBot · PerplexityBot · Googlebot)을 막지 않아야 합니다. 학습용 봇(GPTBot 등)은 따로 정할 수 있어, 검색 노출은 열고 학습 수집만 막는 설정도 가능합니다.
robots.txt 는 사이트 맨 위 주소에 두는 글 파일로, 어떤 봇이 어떤 경로를 읽어도 되는지 알려 줍니다. OpenAI 는 ChatGPT 검색용으로 OAI-SearchBot, 학습용으로 GPTBot 을, 퍼플렉시티는 PerplexityBot 을 쓴다고 각 회사 문서에서 밝힙니다.
어떤 봇을 허용해야 하나요?
ChatGPT 검색에 나오려면 OAI-SearchBot, 퍼플렉시티에 나오려면 PerplexityBot, 구글 AI 개요 · AI 모드에 나오려면 Googlebot 을 허용합니다.
구글은 AI 기능에도 일반 Googlebot 색인을 쓴다고 안내하므로, Googlebot 을 막으면 AI 개요에도 나올 수 없습니다.
| 봇 이름 | 회사 | 쓰임 |
|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT 검색 |
| GPTBot | OpenAI | 모델 학습 |
| PerplexityBot | Perplexity | 검색 결과 수집 |
| Googlebot | 검색 · AI 개요 · AI 모드 |
robots.txt 는 어떻게 쓰나요?
봇마다 「User-agent: 이름」 줄과 「Allow: /」 줄을 씁니다. 막고 싶은 봇은 「Disallow: /」 로 씁니다.
마지막 줄에 사이트맵 주소를 「Sitemap: https://…/sitemap.xml」 로 적어 두면 봇이 페이지 목록을 찾기 쉽습니다.
설정 뒤에는 무엇을 확인하나요?
브라우저로 내 주소/robots.txt 를 열어 내용이 그대로 나오는지 봅니다.
서버 기록이나 봇 방문 기록에서 각 봇이 실제로 들어오는지 확인합니다. 방화벽이나 보안 설정이 봇을 따로 막는 경우도 있습니다.