Skip to content
Zoyku

robots.txt 생성기

AI 크롤러 차단·허용 목록, 봇별 규칙, crawl-delay, sitemap 지시문이 들어간 robots.txt를 만들어 복사하거나 다운로드하세요.

Presets

Site-wide rules (User-agent: *)

AI crawlers

  • GPTBotOpenAI · model training
  • OAI-SearchBotOpenAI · search index
  • ChatGPT-UserOpenAI · user-triggered fetch
  • ClaudeBotAnthropic · model training
  • Claude-UserAnthropic · user-triggered fetch
  • PerplexityBotPerplexity · answer engine
  • Google-ExtendedGoogle · AI training (not Search)
  • CCBotCommon Crawl · open dataset
  • Applebot-ExtendedApple · AI training
  • BytespiderByteDance · aggressive crawler
  • AmazonbotAmazon · AI and Alexa
  • FacebookBotMeta · AI training
  • meta-externalagentMeta · AI training (new)

robots.txt

이 도구는 전부 브라우저 안에서 실행됩니다. 데이터는 기기를 떠나지 않으며 어떤 서버로도 업로드되지 않습니다.

사용 방법

  1. 1프리셋을 고르기: 전부 허용, AI 학습 봇 차단, 또는 전부 차단.
  2. 2AI 크롤러마다 Allow, Block, 규칙 없음으로 미세 조정하고 User-agent: *에 Disallow 경로를 더하기.
  3. 3sitemap URL을 더한 뒤 파일을 복사하거나 다운로드해 사이트 루트에 두기.

robots.txt 생성기

robots.txt는 페이지가 fetch되기도 전에 크롤러 접근을 통제합니다. 클래식한 User-agent: * 규칙에 더해 이제 AI 봇별로 결정할 수 있습니다. OAI-SearchBot, PerplexityBot 같은 검색 인접 크롤러는 허용하고, GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider 같은 학습 크롤러는 차단하거나, 자기 정책을 섞을 수도 있습니다.

생성기는 같은 규칙을 공유하는 user-agent를 묶고, 지원되는 곳에 crawl-delay를 더하며, sitemap 지시문을 덧붙입니다. 파일을 도메인 루트 /robots.txt에 두고 Search Console의 robots 보고서에서 확인하세요.

자주 묻는 질문

robots.txt는 보안 통제인가요?

아니요. 권고사항입니다. 규칙을 지키는 크롤러는 따르지만 누구나 읽을 수 있고 — 비공개 경로를 알려 주기까지 합니다. 민감한 영역은 인증으로 지키고 보안을 Disallow에 맡기지 마세요.

AI 크롤러는 정말 robots.txt를 지키나요?

문서화된 주요 봇들 — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — 은 robots.txt 지원을 밝히지만, 준수는 자율이고 운영자마다 다릅니다. 확실한 차단은 CDN이나 방화벽 계층에서 하세요.

Disallow 후에도 페이지가 인덱스되는 이유는?

크롤링 차단은 인덱싱 차단이 아닙니다. 다른 페이지가 URL을 가리키면 구글은 내용 없이 인덱스할 수 있습니다. 결과에서 빼려면 크롤링을 허용하고 noindex 메타 태그를 쓰세요.

관련 도구

SEO 전체 도구 →

XML 사이트맵 생성기

URL 목록을 붙여 넣으면 lastmod와 섹션별 changefreq·priority가 들어간 유효한 sitemap.xml을 — 중복 제거까지 해서 — 만들어 줍니다.

전체 도구 →

메타 태그 생성기

title, description, keywords, robots, viewport 메타 태그를 실시간 HTML 출력으로 만들어 <head>에 바로 붙일 수 있게 해 줍니다.

전체 도구 →

캐노니컬 태그 생성기

정확한 rel=canonical 링크 태그를 만들고, 검색 엔진이 원하는 버전 하나만 인덱스하도록 URL을 정규화하는 방법까지 안내합니다. 설치도 가입도 필요 없습니다.

전체 도구 →

도구 삽입

한 줄로 사이트에 도구를 넣으세요. 방문자의 브라우저에서 실행됩니다.

<iframe src="https://zoyku.com/ko/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>
100% local processing