Mit der Einführung von Bing und der Ablösung von MSN Live Search wurde auch ein neuer Bot eingeführt, der füt die Indizierung der Webseiten zuständig ist und für die entsprechenden Suchergebnisse sorgt. Bei Live Search tat dies MSNBot, unter Bing werkelt der Bing Bot, der allerdings noch in der Beta-Phase ist und daher noch nicht ganz fertig scheint und hier und da auch noch einige Komplikationen verursacht hat. Diese werden nun aber auch der Vergangenheit angehören, denn Microsoft wird am 1. Oktober 2010 den MSNBot komplett durch den Bing Bot ersetzen.
Somit endet auch die Beta-Phase für den Bing Bot. Das hat unter anderem zur Folge, dass in den Server Logs nicht mehr wie bisher msnbot 2.0b steht, sondern der neue User-Agent, der wie folgt lautet: Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm). Auch der HTTP Header wird geändert. Er wird ab dem 1. Oktober From: bingbot(at)microsoft.com lautet, und nich wie bisher From: msnbot(at)microsoft.com.
Hat man eine Webseite mit einer robots.txt erstellt, so muss man eigendlich nichts beachten, denn wenn diese Datei bisher funktioniert, so wird sie es auch weiterhin. Der Grund dafür ist ganz einfach der, dass der Bing Bot sich an alle gültigen Regeln halten wird und somit auch nach einer robots.txt Datei sucht und diese beachtet. Webentwickler sollten dennoch einen Blick in den Bing Blog werfen, um weitere Informationen zu erhalten.
