如何判断百度蜘蛛，怎么判断百度蜘蛛是否来过自己的网站

来源：整理时间：2024-08-09 13:20:11 编辑：网络营销手机版

本文目录一览

1，怎么判断百度蜘蛛是否来过自己的网站
2，如何识别百度蜘蛛
3，怎样查看百度蜘蛛是否来过自己的网站
4，百度蜘蛛是什么常见百度爬虫有那些问题
5，怎么分辨百度蜘蛛用工具查假的蜘蛛分辨出不来
6，怎么从网站log日志判断百度蜘蛛来过
7，cnzz怎么查看百度蜘蛛
8，如何准确判断请求是搜索引擎爬虫蜘蛛发出的请求
9，如何看百度蜘蛛是否有来过
10，怎样知道百度蜘蛛是否来过

1，怎么判断百度蜘蛛是否来过自己的网站

蜘蛛的爬行可以通过你空间的IIS日志查看，一般网站的根目录下都有LOG这样的文件夹。日志就保存在里面。不知道你的是不是win的系统，我用过wordpress的一个插件，是可以统计到机器人的访问记录

怎么判断百度蜘蛛是否来过自己的网站

2，如何识别百度蜘蛛

　1、在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。　　2、在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。　　3、在mac os平台下，您可以使用dig 命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx(IP地址)就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

如何识别百度蜘蛛

3，怎样查看百度蜘蛛是否来过自己的网站

查看百度蜘蛛是否来过自己的网站可以下载网站日志文件，使用记事本打开，然后搜索baiduspider就行了，有这个说明百度蜘蛛来了

判断蜘蛛有没有来过自己的网站可以查看iis日志代码。或者联系空间商开通了蜘蛛访问记录也可以。具体查看过程和判断蜘蛛

怎样查看百度蜘蛛是否来过自己的网站

4，百度蜘蛛是什么常见百度爬虫有那些问题

简单理解，百度蜘蛛又名百度爬虫，主要的工作职能是抓取互联网上现有的URL，并对页面质量进行评估，给出基础性的判断。通常百度蜘蛛抓取规则是：种子URL->待抓取页面->提取URL->过滤重复URL->解析网页链接特征->进入链接总库->等待提取。1、如何识别百度蜘蛛快速识别百度蜘蛛的方式有两种：①网站<ahref=网址>蜘蛛日志分析，可以通过识别百度蜘蛛UA，来判断蜘蛛来访记录，相对便捷的方式是利用<ahref=网址>SEO软件</a>去自动识别。关于百度UA的识别，你也可以查看官方文档：<ahref=网址②CMS程序插件，自动嵌入识别百度爬虫，当蜘蛛来访的时候，它会记录相关访问轨迹。2、百度蜘蛛收录网站规则有那些?并不是每一个网站的蜘蛛来爬寻抓取就会被收录的，这样就会形成一个搜索引擎主要流程，这个流程主要分为，抓取、筛选、对比、索引最后就是释放，也技术展现出来的页面。抓取：爬虫是根据网站URL连接来爬寻的，它的主要目的是抓取网站上所以文字连接，一层一层有规则的爬寻。筛选：当抓取完成后，筛选这个步骤主要是筛选出垃圾文章，比如翻译、近义词替换、伪原创文章等，搜索引擎都能够识别出来，而是通过这一步骤识别。对比：对比主要是实行百度的星火计划，保持文章的原创度。通常情况下，经过对比的步骤的时候，搜索引擎会对你站点进行下载，一来对比，二来创建快照，所以搜索引擎蜘蛛已经访问你的网站，所以网站日志中会有百度的IP。索引：通过确定你网站没有问题的时候，才会对你网站创建索引，如果创建索引了，这也说明你的站点被收录了，有时候我们在百度搜索还是不出来，可能原因是还没有被释放出来，需要等待。3、关于百度爬虫一些常见问题：①如何提高百度抓取频率，抓取频率暴涨是什么原因早期，由于收录相对困难，大家非常重视百度抓取频率，但随着百度战略方向的调整，从目前来看，我们并不需要刻意追求抓取频率的提升，当然影响抓取频次的因素主要包括：网站速度、安全性、内容质量、社会影响力等内容。如果你发现站点抓取频率突然暴涨，可能是因为：存在链接陷阱，蜘蛛不能很好抓取页面，或者内容质量过低，需要从新抓取，也可能是网站不稳定，遭遇负面SEO攻击。②如何判断，百度蜘蛛是否正常抓取很多站长新站上线，总是所发布的文章不收录，于是担心百度爬虫是否可以正常抓取，这里官方提供两个简单的工具：百度抓取诊断：百度Robots.txt检测：你可以根据这两个页面，检测网页的连通性，以及是否屏蔽了百度蜘蛛抓取。③百度爬虫持续抓取，为什么百度快照不更新快照长时间不更新并没有代表任何问题，你只需要关注是否网站流量突然下降，如果各方面指标都正常，蜘蛛频繁来访，只能代表你的页面质量较高，外部链接非常理想。④网站防止侵权，禁止右键，百度蜘蛛是否可以识别内容如果你在查看网页源代码的时候，可以很好的看到页面内容，理论上百度蜘蛛就是可以正常抓取页面的，这个你同样可以利用百度抓取诊断去解析一下看看。⑤百度蜘蛛，真的有降权蜘蛛吗？早期，很多SEO人员喜欢分析百度蜘蛛IP段，实际上官方已经明确表示，并没有说明哪些蜘蛛的爬行代表降权，所以这个问题不攻自破。⑥屏蔽百度蜘蛛,还会收录吗？常规来说屏蔽百度蜘蛛是没办法收录，虽然会收录首页，但是内页却不能收录的，就好比“淘宝”基本上都是屏蔽了百度蜘蛛，只有首页但是依然排名很好。总结：很多市面上就会出现一个蜘蛛池这样的字眼呈现，这是一种并不好的一种变现的方式，搜外seo并不建议大家使用，上述仅供大家参考。

5，怎么分辨百度蜘蛛用工具查假的蜘蛛分辨出不来

百度蜘蛛一般分析要根据你的实际情况在来分辨，如果你是一个企业站，那么你的日志就很少，这样可以直接手工分析手工分析的方法:1.打开日志，按ctrl+f，搜索Baiduspider2.在运行中输入CMD3.输入 nslookup空格你搜索出来的baiduspider中这条的ip，回车4.如果出现名称:baiduspider-xxx.xxx.xxx.xxx.crawl.baidu.comaddress:xxx.xxx.xxx.xxx这样就是真实的百度蜘蛛工具分析使用我们常用的日志分析工具，比如说光年，金花之类的。但是这样的工具不能分辨出蜘蛛的真假(假蜘蛛往往是站长工具，爱站这样的工具，查询的时候留下来的)。如果我们的日志比较大，那么就要用工具查询了，查询出来的结果，在使用第一步的方法，分析出百度的蜘蛛其实百度的蜘蛛大多数就几个网段，如123.125.71.1xx，这样的ip一般都是百度的蜘蛛，看多了也就知道了

6，怎么从网站log日志判断百度蜘蛛来过

那么我们如何判断百度蜘蛛来过呢？答案是要根据网站log日志，如果百度蜘蛛来过那么网站log日志中会有相关记录。一个是百度蜘蛛名字 Baiduspider，一个是百度蜘蛛ip，这两点要综合考虑才能正确分析，下面我们说说具体如何操作。1、先确认log日志对客户端访问机器名以及访问ip进行了记录。如果没有记录这两项就没有Baiduspider字样显示，也没有百度蜘蛛IP记录。可以问下你虚拟主机的空间商，如何设置日志记录蜘蛛踪迹，如何下载下来日志，客服会详细告诉你。2、下载网站log日志，可记事本打开文件，用查找找 Baidu，字样并记录，各条数据IP。因为有些站是仿百度蜘蛛来访问你的网站，他们名字也起的是Baiduspider，所以，为了避免被迷惑，我们还要根据IP进行反查，来确定这些IP对应的服务器名。下面是一些log日志中含Baiduspider的记录：123.125.71.26 - - [14/Feb/2014:01:03:29 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"123.125.71.41 - - [14/Feb/2014:07:04:36 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"220.181.108.117 - - [14/Feb/2014:01:03:49 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"220.181.108.100 - - [14/Feb/2014:07:05:14 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"117.28.255.53 - - [14/Feb/2014:08:30:11 +0800] "GET / HTTP/1.1" 200 4111 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"60.172.229.61 - - [14/Feb/2014:09:37:56 +0800] "GET / HTTP/1.1" 200 4123 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"3、点“开始” “运行” 》输入cmd 点“确认” 进入命令行模式，在命令行模式输入 nslookup 回车进入反查操作。输入你记录的百度蜘蛛ip 回车看是否返回百度蜘蛛相关信息。如果返回就证明是百度蜘蛛；如果没有，证明是其他站仿的百度蜘蛛。

7，cnzz怎么查看百度蜘蛛

cnzz站长统计这个网站一般只是看流量情况，蜘蛛爬取信息需要通过网站日志分析，所以是无法查看的。以下是查看方法：1、每个网站在WEB服务器上运行都产生LOG日志文件；2、通过查看LOG日志即可看到百度蜘蛛什么时候去过网站，看了哪些页面，读取过什么文件，包括CSS、网页、图片、JS等文件格式；3、LOG文件获取方式，如果有服务器可以直接登录查看，打开IIS-网站-属性-日志文件存放的路径-日志文件名（xxxxx.log）；4、虚拟主机获取LOG日志文件，通过FTP连接后一般会有LOG文件夹，打开后便能获取；5、找到LOG文件后，30兆以下的以记事本方式打开即可查看每行代码。大于30兆的文件以其他辅助软件进行打开，比如editplus等。6、看到日志记录中有【120.122.38.118 - - [11/Nov/2015:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)】这种记录的，这就说明百度蜘蛛来过网站被LOG文件记录下来了

cnzz不统计蜘蛛行为

有访问来源地址，百度蜘蛛有专门的访问地址。一看就知道了

你好！搜索引擎的蜘蛛基本不解析执行页面上的script脚本代码，因为脚本太复杂，解析起来效率太低。蜘蛛每天要抓上百万的页面，效率很重要。另外蜘蛛抓取是按域名来的，统计代码用的都是统计服务提供商各自的域名，就算提供也不是用户自己网站的数据哦，说能统计蜘蛛的一般都是忽悠你给他加链接，提供他自身网站pr的仅代表个人观点，不喜勿喷，谢谢。

cnzz 站长统计。只是看流量情况吧。蜘蛛爬取信息需要通过网站日志分析的

8，如何准确判断请求是搜索引擎爬虫蜘蛛发出的请求

网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。要获得ip的host，在windows下可以通过nslookup命令，在linux下可以通过host命令来获得，例如：这里我在windows下执行了nslookup ip 的命令，从上图可以看到这个ip的主机名是crawl-66-249-64-119.googlebot.com。这说明这个ip是一个google爬虫，google爬虫的域名都是 xxx.googlebot.com.我们也可以通过python程序的方式来获得ip的host信息，代码如下：import socketdef getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0], None except socket.herror,e: return None, e.message上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。常用蜘蛛的域名都和搜索引擎官网的域名相关，例如：百度的蜘蛛通常是baidu.com或者baidu.jp的子域名google爬虫通常是googlebot.com的子域名微软bing搜索引擎爬虫是search.msn.com的子域名搜狗蜘蛛是crawl.sogou.com的子域名基于以上原理，我写了一个工具页面提供判断ip是否是真实搜索引擎的工具页面，该页面上提供了网页判断的工具和常见的google和bing的搜索引擎爬虫的ip地址。附带常见搜索引擎蜘蛛的IP段：蜘蛛名称 IP地址 Baiduspider 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.* YodaoBot 202.108.7.215 202.108.7.220 202.108.7.221 Sogou web spider 219.234.81.* 220.181.61.* Googlebot 203.208.60.* Yahoo! Slurp 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.* Yahoo ContentMatch Crawler 119.42.226.* 119.42.230.* Sogou-Test-Spider 220.181.19.103 220.181.26.122 Twiceler 38.99.44.104 64.34.251.9 Yahoo! Slurp China 202.160.178.* Sosospider 124.115.0.* CollapsarWEB qihoobot 221.194.136.18 NaverBot 202.179.180.45 Sogou Orion spider 220.181.19.106 220.181.19.74 Sogou head spider 220.181.19.107 SurveyBot 216.145.5.42 64.246.165.160 Yanga WorldSearch Bot v 77.91.224.19 91.205.124.19 baiduspider-mobile-gate 220.181.5.34 61.135.166.31 discobot 208.96.54.70 ia_archiver 209.234.171.42 msnbot 65.55.104.209 65.55.209.86 65.55.209.96 sogou in spider 220.181.19.216 ps：https协议网页能够被搜索引擎收录吗百度现在只能收录少部分的https，大部分的https网页无法收录。不过我查询了google资料，Google能够比较好地收录https协议的网站。所以如果你的网站是中文的，而且比较关注搜索引擎自然排名流量这块，建议尽量不要将所有内容都放到https中去加密去。可考虑的方式是：1、对于需要加密传递的数据，使用https，比如用户登录以及用户登录后的信息；2、对于普通的新闻、图片，建议使用http协议来传输；3、网站首页建议使用http协议的形式。

9，如何看百度蜘蛛是否有来过

判断蜘蛛有没有来过自己的网站可以查看IIS日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到WebLog的文件夹，具体步骤如下：1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.Ctrl+F查找baidu.com/search特征字符(这里以百度蜘蛛为例)通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享IP空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.希望看在我说了这么多的份上，给个采纳！！谢谢

这还是很简单的嘛，IIS日志可以查看的

百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.Ctrl+F查找baidu.com/search

蜘蛛挂机吧，现在不能用了，有时间限制的

10，怎样知道百度蜘蛛是否来过

通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。1、网站刚上线，看搜索引擎蜘蛛的抓取情况；如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。2、网站异常，对比日志中蜘蛛的行为情况；正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。如果蜘蛛爬取量明显减少，是否突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。3、解决网站被封问题时，日志情况。网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

判断蜘蛛有没有来过自己的网站可以查看iis日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到weblog的文件夹，具体步骤如下：1.打开ftp登陆软件(这里以flashfxp为例),登陆你的空间ftp。登陆进ftp后,你会发现在根目录下有一个weblog的文件夹(注:不同的idc空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含log字符的都是日志文件夹)2.打开weblog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.ctrl+f查找baidu.com/search特征字符(这里以百度蜘蛛为例)通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享ip空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.希望看在我说了这么多的份上，给个采纳！！谢谢