Hogyan tiltsunk ki robotokat?

robots.txt

Napjainkban a webes forgalmak jelentős részét robotok generálják. Ennek a forgalomnak egy részére szükségünk van, hiszen a webes keresők adatbázisába szeretnénk bejuttatni a lapunkat, tehát az indexeléshez kellenek bizonyos botok. Vannak azonban olyan automatizált rendszerek, amelyeket egyáltalán nem látunk szívesen az oldalunkon. Némelyik olyan adatot gyűjt (pl. e-mail címeket), amelyet nem feltétlenül szeretnénk egy adatbázis részeként viszontlátni, mások egyszerűen csak a szerverterhelésben okoznak problémát.
“Hogyan tiltsunk ki robotokat?” bővebben