Google ha aggiornato la lista dei suoi crawler ufficiali aggiungendo il nome e le informazioni per un crawler relativamente sconosciuto che gli editori hanno visto di tanto in tanto, ma per il quale non esisteva alcuna documentazione fino ad oggi.
Sebbene Google abbia aggiunto una documentazione ufficiale per questo crawler, le informazioni fornite sembrano incoraggiare ulteriori chiarimenti.
Crawler Speciali Google dispone di diversi tipi di crawler (noti anche come bot e spider).
Le diverse forme di crawler includono:
- Crawler Comuni Questi bot vengono principalmente utilizzati per l’indicizzazione di diversi tipi di contenuti. Tuttavia, alcuni crawler comuni sono utilizzati anche per strumenti di test di ricerca, per uso interno del team di prodotto di Google e per il crawling legato all’intelligenza artificiale.
- Fetcher Triggerati dagli Utenti Si tratta di bot attivati dagli utenti. Questo include utilizzi come il recupero di feed o la verifica del sito.
- Crawler Speciali Questi sono per casi speciali come il controllo della qualità delle pagine di annunci mobile o per i messaggi di notifica push tramite le API di Google. Questi bot non rispettano le direttive globali degli utenti nel file robots.txt che sono segnalati con l’asterisco (*).
La nuova documentazione riguarda lo User Agent Google-Safety. Il crawler non è nuovo, ma la documentazione lo è.
Google-Safety Crawler La documentazione relativa al crawler Google-Safety nella categoria dei Crawler Speciali è utilizzata dai processi di Google per individuare il malware.
In modo unico tra i Crawler Speciali, il Google-Safety Crawler ignora completamente tutte le direttive del file robots.txt.
Ecco cosa dice la nuova documentazione per il Google-Safety Crawler:
Lo user agent Google-Safety gestisce il crawling specifico per la segnalazione di abusi, come la scoperta di malware per i link pubblicamente disponibili su proprietà Google.
Questo agente utente ignora le regole del file robots.txt.
