블로그 관리
티스토리 robots.txt 체크하기
티스토리를 구글, 네이버 등의 검색 포털에 등록할 때, 각각의 사이트에서 운영중인 크롤링 봇(crawling bot)의 접근 가능 여부를 체크할 수 있도록 만든 국제 권고안이 robots.txt에 들어있습니다. robots.txt는 로봇배제표준이라고도 하며, 검색로봇에게 사이트 및 웹페이지를 수집할 수 있게 허용하거나 제한하는 역할을 하고 있죠. ads.txt는 루트 도메인에 따로 놓여있지 않지만, robots.txt는 티스토리 루트 도메인에 위치해 있기 때문에 체크할 수 있습니다. 만약, robots.txt가 없다면, 모든 페이지를 검색로봇이 접근해 수집할 수 있습니다. 관리자 메뉴까지 말이죠. 이 경우 보안상 문제가 발생할 수 있기 때문에 다른 차단 방법을 활용해야 합니다. 티스토리의 robots.t..
