용어집으로 돌아가기
기술
AI 크롤러
AI 회사가 AI 시스템의 학습 및 검색을 위해 웹 콘텐츠를 인덱싱하는 데 사용하는 자동화된 봇.
AI 크롤러 이해하기
GPTBot(OpenAI), ClaudeBot(Anthropic) 등의 AI 크롤러는 AI 모델을 위한 정보를 수집하기 위해 웹사이트를 크롤링합니다. 기존 검색 크롤러와 달리 AI 크롤러는 콘텐츠 품질과 맥락에 초점을 맞춥니다. robots.txt를 통한 AI 크롤러 접근 관리를 통해 어떤 AI 시스템이 콘텐츠에 접근할 수 있는지 제어하면서 선호하는 플랫폼에 대한 가시성을 보장할 수 있습니다.
다른 용어 보기
301 리다이렉트AI OverviewsAI SEOAI 가시성표준 URLCDN (콘텐츠 전송 네트워크)인용 권위콘텐츠 클러스터컨텍스트 윈도우대화형 검색Core Web Vitals크롤 예산부인 도구E-E-A-T엣지 컴퓨팅임베딩추천 스니펫GEO (생성 엔진 최적화)Hreflang내부 링크JSON-LDKnowledge GraphLLM 최적화롱테일 키워드메타 태그NoindexOpen Graph 프로토콜Perplexity AI프로그래매틱 SEO프롬프트 인젝션RAG (검색 증강 생성)리치 스니펫Robots 메타 태그Robots.txtSchema.org검색 의도시맨틱 HTML서버 사이드 렌더링 (SSR)정적 사이트 생성 (SSG)구조화된 데이터Temperature (AI 파라미터)토큰 (LLM)주제 권위성User AgentXML 사이트맵제로 클릭 검색