yodaobot?bot模式?cs1.6 bot指令?搜索引擎蜘蛛给网站带来的危害

你是否正在寻找关于yodaobot的内容？让我把最简洁的东西奉献给你：

现况：

从网上获取的搜索引擎蜘蛛名称，几乎都是原文复制粘贴的转载又转载的文章，而且很多的资料都是过期的了，这些旧资料根本就没修正和更新（实际用处不大），并且关于蜘蛛名称、大小写众说不一，根本就获取不到一个准确无误的资料信息。

最新最准确各大搜索引擎蜘蛛名称：
1、百度蜘蛛：Baiduspider
网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等，都洗洗睡吧，那是旧黄历了。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度旗下蜘蛛，查了下资料（其实直接看名字就可以了……），是抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取图片）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。
注：以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

2、谷歌蜘蛛：Googlebot
这个争议较少，但也有说是GoogleBot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”。还发现了Googlebot-Mobile，看名字是抓取wap内容的。

3、360蜘蛛：360Spider，它是一个很“勤奋抓爬”的蜘蛛。

4、SOSO蜘蛛：Sosospider，也可为它颁一个“勤奋抓爬”奖的蜘蛛。

5、雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!
名称中带“Slurp”和空格，名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述，不知道有效无效。

6、有道蜘蛛：YoudaoBot，yodaobot（两个名字都有，中文拼音少了个U字母读音差别很大嘎，这都会少？）

7、搜狗蜘蛛：Sogou News Spider
搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider，
（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou概括，无法验证不知道有没有效）

看看最权威的百度的robots.txt ，就为Sogou搜狗蜘蛛费了不少字节，占了一大块领地。
“Sogou web spider；Sogou inst spider；Sogou spider2；Sogou blog；Sogou News Spider；Sogou Orion spider”目前6个，名称都带空格，。

线上常见"Sogou web spider/4.0" ；"Sogou News Spider/4.0" ；"Sogou inst spider/4.0" 可以为它颁个“占名为王”奖。

上一页[1][2][3][4]下一页

【声明】:黑吧安全网()登载此文出于传递更多信息之目的，并不代表本站赞同其观点和对其真实性负责，仅适于网络安全技术爱好者学习研究使用，学习中请遵循国家相关法律法规。如有问题请联系我们，联系邮箱admin@myhack58.com，我们会在最短的时间内进行处理。

以上就是关于yodaobot的全部内容，相信你一定会非常满意。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/ruanjian/article-15306-1.html