[태그:] 크롤러

robots txt 는 웹사이트의 검색 엔진 최적화를 위한 기본입니다. robots txt가 어떻게 설정이 되었는지에 따라 사용자들이 볼 수 있는 사이트의 상태가 변경하기 때문에 잘 설정하는 것이 중요합니다. 이번 시간에는 robots…