전체 도구

Robots.txt Generator

Build a robots.txt file with an interactive editor. Configure rules for search engines and AI crawlers with presets and syntax validation.

봇 빠른 추가

자주 사용하는 경로:

추가 설정

생성된 robots.txt

User-agent: *
Disallow: /admin/

AI 크롤러에 대해

  • GPTBot: OpenAI의 학습 데이터 수집용 크롤러입니다. 차단하면 AI 학습에 콘텐츠가 사용되는 것을 방지할 수 있습니다.
  • Google-Extended: Google의 AI 학습용 크롤러로, 일반 Googlebot과는 별도로 운영됩니다.
  • CCBot: Common Crawl의 봇으로, 많은 AI 기업이 학습 데이터로 활용합니다.
  • Claude-Web/anthropic-ai: Anthropic의 Claude용 크롤러입니다.
  • PerplexityBot: Perplexity AI의 검색 결과 수집용 크롤러입니다.

참고: AI 크롤러를 차단하면 학습 데이터로의 사용은 막을 수 있지만, AI 검색 결과에서의 노출이 줄어들 수 있습니다. 목표에 맞게 신중하게 결정하세요.

주요 기능

  • Interactive rule builder
  • AI crawler presets
  • Search engine presets
  • Sitemap reference
  • Syntax validation
  • Copy or download

SEO 팁

  • 타이틀 태그는 60자 이내로 작성하세요
  • 메타 디스크립션은 150~160자가 적당합니다
  • 주요 키워드를 자연스럽게 포함하세요
  • 각 페이지의 메타 정보를 고유하게 작성하세요