BotSeer

BotSeer był internetowym systemem informacyjnym i narzędziem wyszukiwania używanym do badań nad robotami internetowymi i trendami we wdrażaniu i przestrzeganiu protokołu Robot Exclusion Protocol . Został stworzony i zaprojektowany przez Yang Sun, Isaaca G. Councilla, Ziminga Zhuanga i C. Lee Gilesa . BotSeer działał mniej więcej od 2007 do 2010 roku.

Historia

BotSeer posłużył jako źródło informacji do badania regulacji i zachowania robotów sieciowych, a także informacji na temat tworzenia skutecznych plików robots.txt i implementacji robotów indeksujących. Był publicznie dostępny w sieci World Wide Web w College of Information Sciences and Technology na Uniwersytecie Stanowym Pensylwanii .

BotSeer świadczył usługi, w tym przeszukiwanie pliku robots.txt, analizę stronniczości robota i analizę logów generowanych przez robota. Prototyp BotSeer umożliwił również użytkownikom przeszukiwanie 6000 plików dokumentacji i kodów źródłowych z 18 projektów przeszukiwaczy typu open source.

BotSeer zindeksował i przeanalizował 2,2 miliona plików robots.txt uzyskanych z 13,2 miliona stron internetowych, a także duży dziennik serwera sieci Web zawierający rzeczywiste zachowania robotów i powiązane analizy. Celem BotSeer była pomoc naukowcom, webmasterom, programistom robotów indeksujących i innym osobom w zakresie badań i informacji związanych z robotami internetowymi. Jednak niektóre osoby odebrały BotSeer negatywnie, twierdząc, że jest to sprzeczne z celem konwencji robots.txt.

Firma BotSeer skonfigurowała również pułapkę miodu , aby przetestować etykę, wydajność i zachowanie robotów indeksujących .

  • „Webmasterzy mogą kształtować wyniki wyszukiwania” . Newsvine. Associated Press. 28 listopada 2007 . Źródło 2011-12-11 .

Notatki

Linki zewnętrzne

Pobrano z „ https://en.wikipedia.org/w/index.php?title=BotSeer&oldid=1106567353 ”