Robots.txt 생성기/ 크롤러 설정
온라인으로 robots.txt를 생성합니다.
robots.txt
이 도구가 도움이 되었나요?
자주 묻는 질문
Robots.txt란?
웹사이트 루트에 있는 텍스트 파일로, 크롤러에게 접근 가능한 페이지를 알려줍니다.
Disallow와 Allow 차이는?
Disallow는 접근 금지, Allow는 접근 허용을 나타냅니다.
사이트맵을 선언하는 이유는?
robots.txt에 사이트맵 URL을 선언하면 검색 엔진이 더 빨리 발견할 수 있습니다.