통계자료는 Akamai가 방어한 공격 관련 데이터를 기반으로 작성되었습니다. 제대로 코딩되지 않은 봇은 사이트 성능 저하와 웹 서버 부하 증가의 원인! 성능 서버 부하 사기 모바일 앱 통계 재무제표 메타 검색 봇은 어떤 일을 할까요? GOOD BOTS & BAD BOTS 데이터 매쉬업 포트폴리오 분석 경쟁력 있는 정보 위치 추적 호텔 요금 및 항공료 https://www.akamai.com/kr/ko/our-think- ing/state-of-the-internet-report/index.jsp 1. 요청 건수 2. 스크레이핑한 콘텐츠 유형 3. 사용자 에이전트 정보 봇, 스파이더 스크레이퍼에 대한 평판을 확인하는 가지 방법 3 필요성 높음 & 공격성 낮음 • 사용자에게 필요함 • robots.txt 지원 • 요청 건수가 많지 않음 솔루션 • API 제공 • 전용 데이터 피드 필요성 낮음 & 공격성 높음 • 오류 처리 기능 미흡 • GET 및 POST flood • 초당 수천 건의 요청 솔루션 • 차단 리스트 • 전송률 제어(Rate Control) • 봇 요청에 대한 응답 지연 • 스파이더 트랩 • 로그인 페이지 보호 필요성 높음 & 공격성 높음 • 신흥 시장으로 진출 • Baidu 봇 • 열악한 요청 제한 기능 솔루션 • 전송률 제어(높은 임계치) 제어 • 사용자 우선순위 지정 애플리케이션 필요성 낮음 & 공격성 낮음 • 재사용 목적으로 콘텐츠 스크레이핑 • 사기 및 위조 • 헤드리스(headless) 브라우저 • Scraping-as-a-service 솔루션 • Java Checker • CAPTCHA • 전송률 제어 • 민감한 콘텐츠가 있는 페이지 검증 • 의심스러운 IP 검증 필요성 공격성 높음 높음 낮음 낮음 웹사이트 Copier Baidu 봇 Googlebot 위치 스크레이퍼 제품 페이지 스크레이퍼 메타 검색 스크레이퍼 봇, 스파이더, 스크레이퍼: & THE GOOD THE BAD THE UGLY