폴리매스

대부분은 사이트에는 크롤러의 접근 방지를 위한 로봇 배제 프로토콜(robots exclusion protocol) 이 있습니다.

일종의 크롤러 전용 README라고 생각하시면 됩니다.

이 파일은 루트 폴더에 있기 때문에 마찬가지로  robots.txt만 붙여서

http://www.polymath.co.kr/robots.txt

로 들어가시면 볼 수 있습니다.

User-agent: *
Disallow: /admin/
Disallow: /mypage/
Disallow: /profile/

이렇게 나오는데요,

쉽게 말해서 모든 종류의 로봇에 대해 이 세 폴더의 접근을 허가하지 않는다는 뜻입니다.

하지만 저는 인간이니까, 한번 들어가 보죠!

(하지 말라면 하는 심리)