Zanechte vší naděje,
kdo vstupujete.
VAROVÁNÍ
Arachnofobie
Epilepsie
Úzkost z matematiky
BRÁNA DO PEKLA BOTŮ
Analýza logůSpider Traps Vizualizace
Chyby v relativních URL
http://priklad.cz/a/
<a href="b/">odkaz</a>
http://priklad.cz/a/b/
http://priklad.cz/a/b/b/
http://priklad.cz/a/b/b/b/
...
http://priklad.cz/a/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/
Řešení chyb v relativních URL
Neexistující URL musí vracet status kód 404.
Redirect Loops
/a
/b
/c/d
/e
301
301
301301
301
Řešení chyb v relativních URL
Přesměrovávat na platné URL.
Nevytvářet dlouhé redirectovací řetězce,
ideálně vždy jen jedno přesměrování.
Permutace
𝒏!
3!
1×2×3 = 6
𝒏 = 3 (počet značek)
Variace
𝒏!
𝒏 − 𝒑 !
𝟑!
𝟑−𝟐 != 6
𝒏 = 3 (počet značek)
𝒑 = 2 (vybíráme ze dvou)
Všechny variace + permutace
𝒑=𝟎
𝒏
𝒑!𝒏!
𝒑! 𝒏 − 𝒑 !
Kombinace
𝒏!
𝒑! 𝒏 − 𝒑 !𝟐𝒏
Výběr podmnožiny značek Všechny kombinace
Variace Kombinace
345678910
Počet možností Všechny kombinace Všechny variace + permutace
1 2 2
2 4 5
3 8 16
4 16 65
5 32 326
6 64 1 957
7 128 13 700
8 256 109 601
9 512 986 410
10 1 024 9 864 101
11 2 048 108 505 112
12 4 096 1 302 061 345
13 8 192 16 926 797 486
14 16 384 236 975 164 805
15 32 768 3 554 627 472 076
You shall not pass!
Ïa, ïa!
Stránky, které crawler nenavštěvuje.Jaké status kódy vrací stránky. Intenzita a frekvence crawlování.Orphan pages.Referer spam v akci.
Nejlepší nejúplnější data, která máte k dispozici.
Access logy
66.249.64.244 - - [10/May/2017:00:00:11 +0200] "GET /pneu-dodavkove-bridgestone-215-60r16-c-103t-duravis-r-410 HTTP/1.1" 200 19230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
IPTimestamp
URLStatus kódUser-Agent
Memory JAVA-Hog Alert
Screaming Frog Log Analyser
Výhody
• Příznivá cena
• Propojení dat z crawlu
• Drag & Drop
• Jednoduché rozhraní
Nevýhody
• JAVA
• Pomalé zpracování dat
• Pomalé načítání
• Absence vlastních user-agents
ELK Stack
Sběr a transformace dat Vyhledávání a analýza dat Vizualizace
OnCrawl Log Analyser
Výhody
• Dostupný i zdarma
• Rychlost a přehlednost
• Jednoduché rozhraní
• ELK
Nevýhody
• Technicky náročný setup
• Komplikovaná customizace
• Horší práce s daty
• Není možnost porovnat crawl data
Logz.io Log Analyser
Výhody
• Cloud + ELK
• Plně customizovatelné
• Community driven
• Velké množství druhů logů
Nevýhody
• Technicky velmi náročné
• Cena
• Omezená doba uchování dat
• Vhodné spíše pro velké weby
Dlouhodobá aktivita.
Logy archivujte!
Dostupné běžným crawlerem
Dostupné jen v logu
Chyba
Nenavštíveno botem
V logu
Chyba
Seznam
Nenavštíveno botem
V logu
Chyba
Majestic
Nenavštíveno botem
V logu
Chyba
Analýza logůSpider Traps Vizualizace
Děkuji za pozornost!
QUESTIONANSWERREPEAT.
