Gegen httrack hilft das aber nix, der kann den Useragent auch fälschen.
Auch ein halbwegs intelligenter Spambot wird sich als IE ausgeben, zumindest neuere.
Ja, hast recht, oft ist auch eine solche .htaccess nur eine Barriere, die sich noch umgehen lässt. Bei den Spambots kann man gegebenenfalls noch IP-Bereiche sperren, bei Websaugern hilft dies aber auch nicht mehr. Ich hab die Webnotiz mal dahingehend editiert.
Die "aktuelle Zusammenstellung von Bot-Ungeziefer" ist keine Sperrliste. Das wird im Thread auch betont.
Die Liste, aus der ich die drei Zeilen extrahiert hatte, hatte mit dem abschließenden "RewriteRule ^.* - [F]" schon den Effekt einer Sperrliste ;) Deine nachfolgende Aussage, dass es sich nicht um eine Sperrliste handelt, bezog sich auch nur auf deine eigene, die zweite Liste des Threads. Aber viele überlesen leider selbst solche Hinweise und übernehmen diese Listen unbedacht und beklagen sich später, wenn sie etwas ausgesperrt haben, was sie nicht aussperren wollten - deswegen auch meine Empfehlung, solche Listen vor dem Einsatz selbst zu prüfen. Da die erste Liste dieses Threads sogar mehrere Webbrowser aufgeführt hatte, war sie halt gut geeeignet als Beispiel, um das Problem verständlich zu machen.
Gegen httrack hilft das aber nix, der kann den Useragent auch fälschen.
Auch ein halbwegs intelligenter Spambot wird sich als IE ausgeben, zumindest neuere.
Ja, hast recht, oft ist auch eine solche .htaccess nur eine Barriere, die sich noch umgehen lässt. Bei den Spambots kann man gegebenenfalls noch IP-Bereiche sperren, bei Websaugern hilft dies aber auch nicht mehr. Ich hab die Webnotiz mal dahingehend editiert.
Die "aktuelle Zusammenstellung von Bot-Ungeziefer" ist keine Sperrliste. Das wird im Thread auch betont.
Die Liste, aus der ich die drei Zeilen extrahiert hatte, hatte mit dem abschließenden "RewriteRule ^.* - [F]" schon den Effekt einer Sperrliste ;) Deine nachfolgende Aussage, dass es sich nicht um eine Sperrliste handelt, bezog sich auch nur auf deine eigene, die zweite Liste des Threads. Aber viele überlesen leider selbst solche Hinweise und übernehmen diese Listen unbedacht und beklagen sich später, wenn sie etwas ausgesperrt haben, was sie nicht aussperren wollten - deswegen auch meine Empfehlung, solche Listen vor dem Einsatz selbst zu prüfen. Da die erste Liste dieses Threads sogar mehrere Webbrowser aufgeführt hatte, war sie halt gut geeeignet als Beispiel, um das Problem verständlich zu machen.