며칠전에 refer사이트를 체크해주는 프로그램을 설치했습니다. 제 홈의 왼쪽 메뉴중에 아래쪽에 보면 refer site의 리스트가 나오는데요. 제 홈을 어디를 클릭해서 들어왔는지를 보여줍니다. 새로 포스트를 작성하면 블코에서 오신 분들이 쭈욱 올라가고... 뭐 어디선가 제 홈을 언급했다면 거기도 보여주고 뭐 그렇습니다.
그런데 search.naver.com이 딱 등장하더니 쭉쭉 순위가 상승하는겁니다. 그 링크를 클릭하면 어떤 검색어를 넣어서 나온 결과 페이지를 통해서 들어왔는지를 알수 있는데요. 블로그 보다는 블로그안의 내용에 대해서 검색한 결과들중에서 제 홈에서 언급한 엔트리들이 보이더군요. -,.-
몇번 체크해보니..,"찜질방 데이트"도 있고. "타임포트", "특이한 문화", "아냐나" (향수이름) 뭐 등등을 검색해서 나온 결과물에 제 홈이 나오더라구요. 쩝쩝.. 그걸 보면서 "이크~!!" 싶기도 하지요.
더 골때리는건, 검색로봇의 접근을 차단하기 위해서 robots.txt를 홈 디렉토리에 넣어놔도 네이버는 그 로봇규칙을 개무시하고 다 긁어가는것으로 보입니다. archive.org에서는 "robots.txt땜에 내용 못 긁어가겠어~ 미안~"하고 말해주거든요. 로봇규약을 지켜야한다는 법은 없지만 그들로 로봇규칙에 대해서 알고 있을것이고 홈피 주인장이 로봇텍스트를 만들어서 넣어놓는다는것이 검색엔진의 접근을 거부한다는 명백하고도 적극적인 행동임을 모르진 않을겁니다........만, 대체 왜 개무시하고 긁어가는지 원 -_-;;