Zugriffe von Microsoft verfälschen Statistiken

20.10.2008 Immer wieder liest man in verschiedenen Foren von der Feststellung, dass der Traffic von Microsofts Suchmaschine Live Search enorm zugenommen habe und von der Frage, ob andere diese Bobachtung teilen können. Die Frage werden viele bejahen können - nur stehen hinter diesen Zugriffen zu einem Großteil leider keine menschlichen Besucher.

Bereits vor einem Jahr fiel mir auf, dass der stark ansteigende Traffic von Microsofts Suchmaschine Live Search zu einem Großteil von Zugriffen von Microsoft selbst verursacht wurde, siehe hierzu diesen Thread in meinem Webmasterforum. Der Bot gibt sich hierbei als Internet Explorer aus und ruft nicht nur HTML-Dateien, sondern auch darin eingebundene Scripte und Stylesheets ab, wie dieser Auszug aus dem Logfile zeigt:

65.55.109.107 - - [20/Oct/2008:15:40:40 +0200] "GET /opera-9-fertig-t-1186-1.html HTTP/1.0" 200 7384 forum.joergkrusesweb.de "http://search.live.com/results.aspx?q=opera" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)" "-"

65.55.109.107 - - [20/Oct/2008:15:40:40 +0200] "GET /styles/webmaster-forum.css?v=35 HTTP/1.0" 200 5791 forum.joergkrusesweb.de "http://forum.joergkrusesweb.de/opera-9-fertig-t-1186-1.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)" "-"

65.55.109.107 - - [20/Oct/2008:15:40:40 +0200] "GET /styles/print.css?v=35 HTTP/1.0" 200 2697 forum.joergkrusesweb.de "http://forum.joergkrusesweb.de/opera-9-fertig-t-1186-1.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)" "-"

65.55.109.107 - - [20/Oct/2008:15:40:40 +0200] "GET /scripts/iebuttonfix.js HTTP/1.0" 200 289 forum.joergkrusesweb.de "http://forum.joergkrusesweb.de/opera-9-fertig-t-1186-1.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)" "-"

65.55.109.107 - - [20/Oct/2008:15:40:40 +0200] "GET /scripts/bbcode-1-2-13.js HTTP/1.0" 200 2357 forum.joergkrusesweb.de "http://forum.joergkrusesweb.de/opera-9-fertig-t-1186-1.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)" "-"

Eindeutig erkennbar sind diese gefaketen Aufrufe lediglich an der IP-Adresse aus dem zu Microsoft gehörenden Adressbereich 65.52.0.0/14. Bei einer aktuellen Stichprobe machen diese auf meinen Seiten 77% derjenigen Zugriffe aus, die einen Referrer von search.live.com enthalten. Dadurch werden natürlich auch Statistiken massiv verfälscht, die diese Zugriffe ungefiltert zählen, und da der Pseudo-IE auch Scripte abruft, sind auch JavaScript-Counter potentiell hiervon betroffen. Auch der Anteil des IE wird durch diese Zugriffe in vielen Browserstatisken erhöht - wenn auch in geringerem Maße, da der IE real bereits sehr viel häufiger genutzt wird als Microsofts Suchmaschine.

Allerdings ist die Hauptintention dieses Vorgehens wohl nicht das Verbiegen von Statistiken, sondern das Aufdecken von Cloaking, wie Sistrix dies z.B. in seinem Artikel Referrer-Spam von Google und Microsoft dargelegt hat. Neben Microsoft lässt also auch Google Pseudo-Browser auf die Webseiten los. Das fällt allerdings nicht so schnell auf, da der reale Anteil an den Suchmaschinen-Referren bereits sehr hoch ist und die gefaketen Zugriffe infolgedessen nicht zu einer solch massiven Veränderung in der Statistik führen.

1 Kommentar / Trackback