Crawler: differenze tra le versioni

Inoltre i crawler attivi su [[Internet]] hanno la facoltà di essere indirizzati da quanto indicato nel file "[[robots.txt]]" posto nella [[root (informatica)|root]] del sito. All'interno di questo file, è possibile indicare quali pagine non dovrebbero essere analizzate. Il crawler ha la facoltà di seguire i consigli, ma non l'obbligo.

 

|-

| Google

|-

| Fast - Alltheweb

|-

| Inktomi - Yahoo!

|-

| Altavista

|-

| Altavista

|-

| Ask Jeeves

|-

| Teoma

|-

| Alexa - Internet Archive

|-

| Facebook

|}

 

== Esempi di Web crawlers ==

* '''Wget''' è un crawler a riga di comando scritto in [[C (linguaggio)|C]] e rilasciato sotto la [[GNU General Public License]]. È tipicamente usato per siti mirror e [[File Transfer Protocol|FTP]].

* '''[[Heritrix]]''' è il crawler di maggior qualità di estrazione dagli archivi web, studiato per archiviare periodici [[screenshot]] di una larga porzione del web. È stato scritto in [[Java (linguaggio)|Java]].

* '''[[HTTrack]]''' usa un web crawler per creare una replica di un sito web per la consultazione off-line. È stato scritto in C e rilasciato sotto licenza [[GNU General Public License|GNU GPL]].

* '''JSpider''' è un web spider altamente personalizzabile rilasciato sotto licenza GNU GPL.

*[http://ir.dcs.gla.ac.uk/wiki/Labrador Labrador]

*[http://spinn3r.com Spinn3r]

{{Portale|Telematica|Web}}