sff Posted April 29, 2005 Report Share Posted April 29, 2005 Kommt bei euch auch ?fters mal der MSNbot zum einkaufen vorbei (bis zu checkout_success)? Bei mir hat er echt irrsinnig viel Traffic verursacht und jetzt habe ich endlich herausgefunden warum: da er nicht in der spider.txt steht, spidert auch sessions! Sucht mal auf http://search.msn.de nach site:meineseite.de +xtcsid Ich habe nun in der includes/spiders.txt einfach msnbot hinzugef?gt und hoffe, dass sich das Problem damit erledigt hat. (wie ich die Seiten aus MSN allerdings wieder raus kriege weiss ich auch noch nicht... :cry: ) Ganz nebenbei hab ich noch folgenden n?tzlichen Eintrag f?r die robots.txt entdeckt: User-agent: msnbot Crawl-delay: 120 Damit wartet der Bot 2 min zwischen jedem Zugriff... Denn ich habe das Gef?hl, bei mir war der Bot so eifrig, dass er so manches Mal meinen Server lahmgelegt hat :144: Link to comment Share on other sites More sharing options...
sff Posted December 1, 2005 Author Report Share Posted December 1, 2005 Nachtrag: die richtige Datei ist nat?rlich inc/xtc_check_agent.inc.php Link to comment Share on other sites More sharing options...
Recommended Posts
Archived
This topic is now archived and is closed to further replies.