Re: 구글님께서...

Author: 별님
Forum: 자유 게시판
Date: 2014-01-27

구글에선 아예 접속 불가능한 페이지는 저장후 그대로 남겨두는것 같습니다.
Robot.txt는 크롤러의 양심에 따르므로, Robot.txt를 설정하는 것은 별 소용이 없습니다.
검색 엔진은 구글만 존재하는것이 아니므로, 타 검색 엔진에선 삭제된 페이지를 가지고 있을수도 있습니다.