allstarmusic Posted February 14, 2007 Report Share Posted February 14, 2007 Hallo, google listet trotz der robots.txt und dem Eintrag "Disallow: popup_image.php" groesstenteils sämtliche image popups. Scheinbar sogar mehr davon als die eigentlichen prudukt info seiten. Weiss jemand einen Rat, wie ich das unterbinden kann? User-agent: steht nach wie vor auf "*" gruß, DiNO Link to comment Share on other sites More sharing options...
osr Posted March 20, 2007 Report Share Posted March 20, 2007 Versuchs mal mit 'Disallow: /popup_image.php' Die Robots.txt kannste so komlett in die Tonne hauen. Angeblich ist das schon seit Ewigkeiten auch dem Support bekannt. Link to comment Share on other sites More sharing options...
mzanier Posted March 20, 2007 Report Share Posted March 20, 2007 das problem liegt aber eher darin, das sich fast keine suchmaschine an die robots.txt haltet. Link to comment Share on other sites More sharing options...
John Steed Posted March 20, 2007 Report Share Posted March 20, 2007 das problem liegt aber eher darin, das sich fast keine suchmaschine an die robots.txt haltet. Google im Allgemeinen schon - nur ist da bei manchen Bots von Google die klitzekleine Einschränkung, dass sie gerne "persönlich" angesprochen werden wollen. user-agent: * wird also von einigen Googlebots einfach ignoriert user-agent: Googlebot sollte Google berücksichtigen! Siehe Hilfe für Webmaster - Wie blockiere ich Googlebot? ...was mich am Gesamtkonzept der robots.txt viel eher stört, ist, dass ein "böser" Bot die ja auch lesen und dann munter alle Disallow-Einträge abklappern kann... Cheers, IaN Link to comment Share on other sites More sharing options...
osr Posted March 21, 2007 Report Share Posted March 21, 2007 Wir haben es vor ein paar Tagen getestet. Es geht auch nur mit user-agent: *. Das Geheimnis liegt im Slash vor den Dateinamen und Verzeichnissen. Wir haben zusätzlich aber auch den Googlebot als Eintrag hinzugefügt. Es empfiehlt sich auch Content Texte wie z.B. AGB zu sperren. Link to comment Share on other sites More sharing options...
Guest tuvalu Posted March 21, 2007 Report Share Posted March 21, 2007 Wir haben es vor ein paar Tagen getestet. Es geht auch nur mit user-agent: *. Das Geheimnis liegt im Slash vor den Dateinamen und Verzeichnissen. ???? Du meinst, jedes Dissallow muss so aussehen? Dissallow: /datei.php Dissallow: /Verzeichnis/ Wir haben zusätzlich aber auch den Googlebot als Eintrag hinzugefügt. Es empfiehlt sich auch Content Texte wie z.B. AGB zu sperren. Sind gesperrt durch Dissallow: media/ aus der Standard-Robots.txt tuvalu Link to comment Share on other sites More sharing options...
osr Posted March 21, 2007 Report Share Posted March 21, 2007 Jep. Der Slash ist 'Norm'. Siehe z.B. hier. Das mit dem Media-Verzeichnis muß nicht unbedingt funktionieren, da Content-Inhalte z.B. über 'shop_content.php/coID/1' erfolgen. Und 'shop_content.php' liegt im root. Ebenso der wird die popup_content.php indexiert. Wenn du nicht zu viele Produkte hast solltest du das mal mit 'site:www.deineseite.de' in der Google-Suchmaske testen. Da hab ich z.B. gerade folgendes im Google-Index gefunden: Versandkosten Link to comment Share on other sites More sharing options...
Guest tuvalu Posted March 21, 2007 Report Share Posted March 21, 2007 Jep. Der Slash ist 'Norm'. Siehe z.B. hier. Ups. Ist mir unklar, weshalb xt:C dann eine nichtkonforme robots.txt hat. Das mit dem Media-Verzeichnis muß nicht unbedingt funktionieren, da Content-Inhalte z.B. über 'shop_content.php/coID/1' erfolgen. Und 'shop_content.php' liegt im root. Ebenso der wird die popup_content.php indexiert.Guter Einwand. Wenn du nicht zu viele Produkte hast solltest du das mal mit 'site:www.deineseite.de' in der Google-Suchmaske testen. Da hab ich z.B. gerade folgendes im Google-Index gefunden: Versandkosten Jep, da sind bereits gut 1700 Einträge, unter anderem auch die Popup-Bilder, die ja gesperrt sein sollten. Danke für den Hinweis. Tuvalu Link to comment Share on other sites More sharing options...
Recommended Posts
Archived
This topic is now archived and is closed to further replies.