Yahoo! Slurp 3,0
Durante las últimas semanas, hemos estado preparando para la última versión del Yahoo! Buscar rastreador con algunas actualizaciones de la infraestructura, que recientemente ha provocado una variación en el comportamiento de nuestro rastreo.
Con todo ahora en su lugar, la implantación ha comenzado oficialmente. El nuevo Yahoo! Slurp 3,0 reconoce el mismo user-agent "y todas las directivas para robots.txt 'Yahoo! Slurp, 'a pesar de que va a identificar a sí mismo como Slurp 3,0 en sus registros web.
A medida que el nuevo software se somete a una implantación gradual a nuestros rastreadores de producción durante las próximas semanas, verá los siguientes cambios:
a) Los rastreadores se iniciará el rastreo de un recorrido diferente y mucho más pequeño conjunto de direcciones IP, sino que va a seguir siendo de la crawl.yahoo.net dominio. Cualquier DNS inverso controles para identificar nuestro rastreador seguirá trabajando. Tenga en cuenta que si utiliza la propiedad intelectual basada en el reconocimiento de nuestros rastreadores, que puede recibir una gota de agua en rastreo / cobertura de Yahoo! Le recomendamos encarecidamente que pasar a DNS inverso basado en la identificación de Yahoo! Slurp si utiliza cualquier otro método para evitar este problema. El conjunto actual de direcciones IP van a desaparecer de sus registros web en las próximas semanas.
b) Los rastreadores también publicar un nuevo user-agent "," Yahoo! Slurp/3.0 '. Las actuales directivas de robots.txt 'Slurp' o 'Yahoo! Slurp "seguirá trabajando, pero si tiene directivas específicas para los Slurp/2.0 ', ellos no serán reconocidos por el nuevo rastreador (aunque el uso de la' Slurp/2.0 'user-agent es muy raro en la web, por lo que probablemente no se verán afectados). Se recomienda especificar la versión más corta de: User-agent: Slurp. Echa un vistazo a "¿Cómo puedo evitar que mi sitio o de determinados subdirectorios de ser rastreado?" en nuestra página de Ayuda para obtener más detalles.
Estos cambios afectarán a la página principal de Yahoo! Búsqueda en la web rastreadores. Rastreadores del mismo modo que el respeto de Yahoo! Slurp directiva, pero se identifican a sí mismos, más concretamente, como Yahoo! Slurp China y otros, no serán afectados.
Háganos saber si usted tiene alguna pregunta u observar algo inusual.
Sharad Verma & Yoram Arnon
Yahoo! Búsqueda
Autor