용어집으로 돌아가기
기술
Robots.txt
웹 크롤러와 AI 봇에게 웹사이트에서 접근할 수 있는 페이지와 접근할 수 없는 페이지를 알려주는 파일.
Robots.txt 이해하기
robots.txt 파일은 사이트의 루트 디렉토리에 배치되어 크롤러 접근을 제어합니다. AI 가시성을 위해 robots.txt를 올바르게 구성하는 것이 중요합니다 - 관리자 또는 중복 페이지를 차단하면서 GPTBot 및 ClaudeBot과 같은 AI 크롤러가 가치 있는 콘텐츠에 접근하도록 허용해야 합니다. 이 파일은 AI 시스템이 콘텐츠를 인덱싱할 수 있는지 여부에 직접적인 영향을 미칩니다.
다른 용어 보기
301 리다이렉트AI 크롤러AI OverviewsAI SEOAI 가시성표준 URLCDN (콘텐츠 전송 네트워크)인용 권위콘텐츠 클러스터컨텍스트 윈도우대화형 검색Core Web Vitals크롤 예산부인 도구E-E-A-T엣지 컴퓨팅임베딩추천 스니펫GEO (생성 엔진 최적화)Hreflang내부 링크JSON-LDKnowledge GraphLLM 최적화롱테일 키워드메타 태그NoindexOpen Graph 프로토콜Perplexity AI프로그래매틱 SEO프롬프트 인젝션RAG (검색 증강 생성)리치 스니펫Robots 메타 태그Schema.org검색 의도시맨틱 HTML서버 사이드 렌더링 (SSR)정적 사이트 생성 (SSG)구조화된 데이터Temperature (AI 파라미터)토큰 (LLM)주제 권위성User AgentXML 사이트맵제로 클릭 검색