robots.txt란? 쉬운 예시로 보는 로봇 텍스트 개념

robots.txt (로봇츠 닷 텍스트), 검색 로봇에게 알려주는 '문지기 메모장' 웹사이트를 만들다 보...