구글 블로그스팟 robots.txt 파일 설정 방법
구글 블로그스팟 robots.txt 파일 설정하는 방법에 대해서 알아보겠습니다.
1. robots.txt 파일이란
robots.txt 파일은 내 사이트를 방문하는 모든 크롤러(검색로봇)들에게 사이트의 전체 내용을 공개할 건지 아니면 일부(개인정보가 담긴 관리자 페이지)는 수집하지 말라고 명령할 건지를 설정하는 텍스트 파일입니다.
robots.txt 파일을 설정하지 않으면 모든 크롤로들이 사이트의 모든 콘텐츠를 검색하고 수집합니다.
필수 사항은 아니지만 robots.txt를 설정하면 검색엔진최적화(SEO) 향상에 도움이 되기 때문에 설정하는 것이 좋습니다.
2. robots.txt 파일 만들기
robots.txt 파일 만들기는 다음과 같은 명령어를 사용합니다.
- User-agent - 크롤러(검색로봇)를 설정합니다.
- Allow - 크롤링(수집)이 허용되게 지정합니다.
- Disallow - 크롤링이 허용되지 않게 지정합니다.
- * - 모두 허용합니다.
User-agent: *
Allow: /
robots.txt 파일을 이런 식으로 설정하면 모든 검색로봇들에게 블로그스팟 모든 콘텐츠 수집을 허용한다는 뜻입니다. 마음대로 수집해라!
User-agent: *
Disallow: /
robots.txt 파일을 이런 식으로 설정하면 모든 검색로봇들에게 블로그스팟 모든 콘텐츠 수집을 허용하지 않는다는 뜻입니다. 다 수집하지 마라!
User-agent: *
Disallow: /admin/
robots.txt 파일을 이런 식으로 설정하면 모든 검색로봇들에게 수집을 허용하면서 중요한 내용이 담긴 특정 폴더는 수집하지 마라고 명령할 수도 있습니다. 다 수집 하되 admin만 수집하지 마라!
3. robots.txt 파일에 사이트맵도 포함하기
사이트맵은 사이트 콘텐츠 목록들이 담긴 파일 위치도입니다.
robots.txt 파일에 사이트맵(sitemap.xml)도 같이 설정하면 검색엔진 로봇들이 블로그스팟 콘텐츠들을 더 잘 수집해 갑니다.
사이트맵 설정은 다음과 같습니다.
User-agent: *
Allow: /
Sitemap: https://블로그스팟 주소/sitemap.xml
4. 블로그스팟 robots.txt 파일 만들기
User-agent: *
Disallow: /search
Allow: /
User-agent: Yeti
Allow: /
Sitemap: https://블로그스팟 이름.blogspot.com.sitemap.xml
모든 검색로봇들에게 블로그스팟 모든 콘텐츠 수집을 허용하면서 search(블로그스팟 내 검색 기능을 통해서 수집은 차단)는 사용하지 마라고 설정하고 네이버 검색로봇도 수집 허용한다고 하며 사이트맵도 설정한 다음 블로그스팟 설정으로 이동합니다.
5. 블로그스팟 robots.txt 파일 설정하기
워드프레스는 메모장에 robots.txt 파일을 붙여넣기하고 내보내기 하여 워드프레스 루트 디렉터리에 업로드해야 하지만 블로그스팟은 맞춤 robots.txt을 제공해서 편리하게 설정할 수 있습니다.
블로그스팟 - 설정 - 크롤러 및 색인생성에서 맞춤 robots.txt 사용 설정을 활성화한 다음 맞춤 robots.txt를 열기합니다.
맞춤 robots.txt란에 robots.txt 파일을 붙여넣기(ctrl + v)하고 저장합니다.
6. 블로그스팟 robots.txt 수집 요청하기
네이버 서치어드바이저로 이동하여 웹마터도구를 열기합니다.
검증 - robots.txt를 열기하여 수집요청을 하면 네이버 검색로봇이 블로그스팟 수집을 잘 해 갈 것입니다.
이상으로 구글 블로그스팟 robots.txt 파일 설정하는 방법에 대해서 알아봤습니다. 읽어주셔서 감사합니다.
Tags
블로그