전체 체크리스트
20개 항목
AI 가시성을 위한 Robots.txt 설정
제어권을 유지하면서 AI 크롤러를 허용하도록 robots.txt 파일을 설정하는 완전한 체크리스트입니다.
1허용해야 할 AI 크롤러
GPTBot(OpenAI/ChatGPT) 허용
User-agent: GPTBot과 Allow: /
ChatGPT-User 허용
ChatGPT의 브라우징 기능용
Claude-Web(Anthropic) 허용
Claude의 웹 크롤러
anthropic-ai 허용
Anthropic의 일반 AI 에이전트
PerplexityBot 허용
Perplexity의 검색 크롤러
Google-Extended 허용
Google의 AI 학습 크롤러
Cohere-ai 허용
Cohere의 AI 크롤러
YouBot 허용
You.com의 AI 검색 크롤러
2설정 모범 사례
AI 규칙을 와일드카드 앞에 배치
구체적인 규칙이 먼저 와야 합니다
과도한 crawl-delay 사용 금지
전체 색인을 방해할 수 있습니다
CSS/JS 파일 접근 허용
AI가 페이지 렌더링에 필요합니다
sitemap 지시문 포함
크롤러가 페이지를 발견하도록 돕습니다
3차단을 고려할 페이지
관리자 영역 차단
Disallow: /admin/
로그인/인증 페이지 차단
AI 색인에 가치 없음
중복 콘텐츠 경로 차단
혼란을 방지합니다
내부 검색 결과 차단
가치가 낮은 페이지
4테스트 및 모니터링
robots.txt 검증기로 테스트
Google의 테스트 도구를 사용합니다
서버 로그에서 AI 봇 확인
크롤러가 접근하는지 확인합니다
새로운 AI 크롤러 모니터링
새 봇에 대해 최신 정보를 유지합니다
분기별 검토
AI 환경 변화에 따라 업데이트합니다
요약
4개 섹션, 총 20개 항목
허용해야 할 AI 크롤러 (8)설정 모범 사례 (4)차단을 고려할 페이지 (4)테스트 및 모니터링 (4)