如何查询百度蜘蛛，如何知道百度蜘蛛是否来过自己的网站

来源：整理时间：2024-03-26 09:00:20 编辑：网络营销手机版

本文目录一览

1，如何知道百度蜘蛛是否来过自己的网站
2，百度统计在哪里查蜘蛛爬行的轨迹
3，怎么判断百度蜘蛛是否来过自己的网站
4，怎样查看百度蜘蛛来过我网站
5，怎样查看百度蜘蛛是否来过自己的网站
6，如何查看百度蜘蛛爬行记录
7，如何查看百度蜘蛛路径
8，如何识别百度蜘蛛如何识别百度蜘蛛网
9，如何看百度蜘蛛是否有来过
10，怎样知道百度蜘蛛是否来过

1，如何知道百度蜘蛛是否来过自己的网站

百度知道来过就会收录你的网站的,很简单的方法,就是你在百度中搜索你网站的名称或者关键词,看是否有你的网站在百度的搜索页中显示

如何知道百度蜘蛛是否来过自己的网站

2，百度统计在哪里查蜘蛛爬行的轨迹

百度统计无法查询蜘蛛爬行轨迹，其作用主要是统计用户数据。spider数据需要您从站点日志中获取，站点日志文件名一般包含：log字样。可通过连接服务器查询。当您下载好站点日志文件后，可使用日志分析软件或脚本来筛选搜索引擎蜘蛛分析，百度蜘蛛：baiduspider。

百度统计在哪里查蜘蛛爬行的轨迹

3，怎么判断百度蜘蛛是否来过自己的网站

蜘蛛的爬行可以通过你空间的IIS日志查看，一般网站的根目录下都有LOG这样的文件夹。日志就保存在里面。不知道你的是不是win的系统，我用过wordpress的一个插件，是可以统计到机器人的访问记录

怎么判断百度蜘蛛是否来过自己的网站

4，怎样查看百度蜘蛛来过我网站

作为站长都很关心自己的网站被各大收录引擎收录多少,那么百度和谷歌蜘蛛究竟有没有来过呢?如果你是本地服务器,请查看日志文件,如access.log如果你是虚拟主机,登录空间管理页面,看控制面板是否有相关日志.如果没有找到,你可以联系你的服务商.日志格式一般是:220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"这就说明百度蜘蛛来过你的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。补充一点,百度蜘蛛并不完全遵守这个规则,有的时候是匿名抓取.

5，怎样查看百度蜘蛛是否来过自己的网站

查看百度蜘蛛是否来过自己的网站可以下载网站日志文件，使用记事本打开，然后搜索baiduspider就行了，有这个说明百度蜘蛛来了

判断蜘蛛有没有来过自己的网站可以查看iis日志代码。或者联系空间商开通了蜘蛛访问记录也可以。具体查看过程和判断蜘蛛

6，如何查看百度蜘蛛爬行记录

现在的百度蜘蛛机器人决非以前的机器人了，貌似更聪明，爬行也更灵活多变，今天我们就用实例给大家谈谈。一、爆发式爬行不知百度蜘蛛是不是喜欢高效率的爬行，有时百度蜘蛛能在一两分钟内爬行几百次。比如我的站，天天基本上百度蜘蛛都会爆发式爬行几次，早上6点钟有一次大约爬行300次;上午9点钟的时候有一次也是爬行300多次;13点的时候也有一次，不过要少一点，只有200多次;18点的时候也有一次，大约会爬行400多次，23点的时候也有一次，大约只有250次。有时候，我查看具体爬行记录时，这些爆发式爬行基本上不会超过五分钟。有一次，我的站不知是哪个会事，百度蜘蛛在两分钟内爬行了1800多次，我当时就有点纳闷，百度蜘蛛机器人的运算速度可真是惊人。不过我现在基本上知是哪个会事了，由于蜘蛛机器人，它爬行一段时间过后，蜘蛛机器人在去运算程序，看是否是原来收录过的，是否是原创什么的，是否应该收录等等。二、确认式爬行确认式爬行方式百度也是在9月底才开始试行，那么什么是确认式爬行呢，就是指你网站更新一个内容过后，百度第一次爬行过后，一定不会给你放出收录来，百度蜘蛛还要进行第二次爬行在运算、比较计算的，假如以为你这个更新内容有必要收录，百度蜘蛛会进行第三次爬行，正常情况下百度蜘蛛不会进行第四次爬行。第三次确认过后，百度蜘蛛就会慢慢的给你放出收录。这种确认式爬行方式，就有点类似与谷歌的爬行方式。百度蜘蛛机器人爬行首页的方式还是同原来一样，一天不知要爬行多少次首页，其它页面，假如百度以为有必要进行计算的话，就会进行第二次确认爬行。比如我的站吧，我天天更新的内容，只要是百度蜘蛛机器人爬行了三次的，基本上都会放出收录来。爬行两次了的，都不会放出来。爬行四次的基本上没有看到过。三、稳定式爬行稳定式爬行，指的是天天24小时，每一个小时的爬行量相差不大。稳定式爬行往往是对新站才会出现，对于百度以为你站是成熟期的，假如出现了这种爬行方式，你可一定要小心了，这种爬行方式，你的站多半会被降权。第二天就能看出来，首页的快照日期，一定不会给你更新的。比如我的站aabc.cn，每一个小时内的爬行量，从图表中看出来都相差无几。所以这个站的首页基本上不会出现24小时快照。天天我更新的内容一样会收录一些。就比如一个人做任何事式的，没有了激情，也就没有了爆发力，当然不会卖力干事的，不卖力干事，你说效果会有多好。以上说了这么多，大家可能有疑问了，百度蜘蛛来没有，我怎么知道，这个很简单你可以去查看服务器的记录日志。你假如查看不了记录日志的话，看一下网站后台有没有记录蜘蛛爬行记录的。给大家推荐一款源码露珠CMS，这个建站源码后台能比较清楚的记录各大搜索机器人的痕迹，有各个机器人来访的时间，来访的页面，对来访的具体数据作了分析，进行24小时时间段分析，对各个频道的分析，对你所加的内容的版块进行分析。对各大搜索机器人喜欢你网站的哪个频道，哪个版块都进行了分析，同时也给你提出了补救其它频道和版块的建议，哪个时间加内容收录最快等等。综上所述，百度蜘蛛对每一个网站的爬行规律是不一样的，只有我们自己认真的比对分析，才能总结出更加完美的更新网站的方式，只有我们把握了百度蜘蛛的一些规律，我们更新内容才能有的放矢。

7，如何查看百度蜘蛛路径

查看百度蜘蛛爬行记录的方法：第一，前往空间服务器，下载网站日志。第二，打开网站日志文件，搜索：baiduspider。百度（baidu）爬虫名称：baiduspider第三，鉴别百度蜘蛛的真伪。由于很多站长工具会模拟百度蜘蛛的名称来爬抓网站，因此，需要我们鉴别百度蜘蛛的真伪。鉴别方法：开始—运行—输入 cmd ，用命令nslookup +ip只要是百度的ip段，代码中会有出现：name：baiduspider，如果没有出现，那就不说不是真的百度ip段第四，可以通过日志工具来查看网站日志。例如：光年日志。

8，如何识别百度蜘蛛如何识别百度蜘蛛网

seo如何正确识别百度蜘蛛一、如何正确识别Baiduspider手机ua新的移动ua:Mozilla/5.0(Linux；u；安卓4.2.2；zh-cn；)AppleWebKit/534.46(KHTML，像壁虎一样)版本/5.1手机Safari/10600.6.3(兼容；baiduspider/2.0；)PCua:Mozilla/5.0(兼容；baiduspider/2.0；)之前用“”标识的网站请注意！您需要修改识别方法。识别Baiduspider的移动ua的新的正确方法如下:1.通过关键词“安卓”或“移动”识别，判断为移动接入或抓取。2.通过关键词“Baiduspider/2.0”判断为百度爬虫。另外需要强调的是，对于要禁用的机器人，如果禁用的代理是Baiduspider，那么在PC端和移动端都会生效。也就是PC和移动Baiduspider都不会抓取被禁对象。之所以要强调这一点，是因为我发现了一些代码适配站点(同一个url，PCua打开时是PC页面，移动ua打开时是移动页面)，想通过设置机器人的代理禁令，只让移动Baiduspider抓取。但是由于PC端和移动端Baiduspider的代理都是百度蜘蛛，所以这种方式非常不可取。二、如何识别百度蜘蛛百度蜘蛛可谓是站长的座上宾，但我们曾经遇到过这样提问的站长:我们如何判断疯狂抓取我们网站内容的蜘蛛是不是百度的？其实站长可以通过DNS查IP来判断一个蜘蛛是否来自百度搜索引擎。根据linux/windows/os等不同平台上验证方法的不同，验证方法如下:1.在linux平台下，可以使用hostip命令解密ip，判断是否来自Baiduspider。Baiduspider的主机名以*.baidu.com或*.baidu.jp的格式命名，如果不是*.baidu.com或*.baidu.jp，就是冒名顶替。2.在windows平台或IBMOS/2平台下，可以使用nslookupip命令来逆向ip解决方案，以确定它是否来自Baiduspider。打开命令处理器，输入nslookupxxx.xxx.xxx(ip地址)解析ip，从而确定是否被Baiduspider抓取。Baiduspider的主机名以*.baidu.com或者*.baidu.jp的格式命名，如果不是*.baidu.com或者*.baidu.jp就是冒名顶替。3.在macos平台下，可以使用dig命令解析ip来判断是否来自Baiduspider。打开命令处理器，输入digxxx.xxx.xxx.xxx(ip地址)解析ip，确定是否被Baiduspider抓取。Baiduspider的主机名以*.baidu.com或者*.baidu.jp的格式命名，如果不是*.baidu.com或者*.baidu.jp就是冒名顶替。3.什么是BaiduspiderIP？很多站长即使知道如何判断百度蜘蛛，还是会不停的问“百度蜘蛛IP多少钱”。我们理解站长的意思，就是想把百度蜘蛛的IP加入白名单，只允许白名单下的IP抓取网站，避免被收录。但是我们不建议站长这么做。虽然百度蜘蛛确实有切换真实IP的IP池，但我们不能保证整个IP池不变。所以我们建议站长经常阅读日志，发现恶意蜘蛛后将其列入黑名单，保证百度的正常抓取。同时我们再次强调，通过IP来区分百度蜘蛛的属性是很可笑的。所谓的“沙盒蜘蛛”和“降权蜘蛛”从来就不存在。搜索引擎蜘蛛是怎样抓取网页的呢？搜索引擎用来爬行和访问页面的程序被称为蜘蛛，也叫爬虫。搜索引擎命令它到互联网上浏览网页，从而得到互联网的大部分数据(因为还有一部分暗网，他是很难抓取到的)然后把这些数据存到搜索引擎自己的数据库中。自己发帖或者外推产生的URL如果没有搜索引擎蜘蛛爬行，那么该搜索引擎就不会收录该页面，更不用说排名了。r而蜘蛛池程序的原理，就是将进入变量模板生成大量的网页内容，从而吸大批的蜘蛛，让其不停地在这些页面中抓取，而将我们需要收录的URL添加在蜘蛛站开发的一个特定版块中。这样就能使用我们需要收录的URL有大量的蜘蛛抓取爬行，大大提升了页面收录的可能性。所谓日发百万外链就是这样来的，一个普通的蜘蛛池也需要至少数百个域名。而据我所知高酷蜘蛛池大概有2000个独立域名，日均蜘蛛200W。是比较庞大的一个蜘蛛池了。r以上就是蜘蛛池的原理，那么如何搭建蜘蛛池?1.多IP的VPS或服务器(根据要求而定)r多IP服务器，建议美国服务器，最好是高配配，配置方面(具体看域名数量)不推荐使用香港服务器，带宽小，容易被蜘蛛爬满。重要的是服务器内存一定要大，之前我们就遇到过，前期刚做的时候，用的内存比较小，蜘蛛量一大的话，立马就崩了。r2.一定数量的域名(根据数量而定)r可购买闲置的二手的域名，域名便宜的就好，好点的蜘蛛池，至少准备1000个域名吧，蜘蛛池目的为吸引蜘蛛，建议使用后缀为CNCOMNET之类的域名，域名计费以年为计费，成本不算太大，域名根据效果以及您的链接数量逐渐增加，效果会翻倍增长。也可在之前购买的域名上解析一部分域名出来，继续增加网站，扩大池子，增加蜘蛛量。r3.变量模版程序(成本一般千元左右)r可自己开发，如果不会的，也可在市场上购买程序变量模版,灵活文章以及完整的网站元素引外链,CSS/JS/超链接等独特的技巧吸引蜘蛛爬取!让每个域名下内容都变的不一样!都知道百度对于网站重复内容的打击态度，所以必须保持每个站的内容不要出现重复，所以变量程序就显得尤为重要。r4.程序员(实力稍好点的)r需满足，网站内容的采集以及自动生成，我们前期采集了不少词条，自动组合文章，前期阶段，一天五十万文章的生成量，所以对服务器是一个很大的压力。最好程序员要懂服务器管理维护之类的知识，很重要。r可以看出，蜘蛛池的成本其实不算低，数千个域名，大的服务器，程序员，对于一般站长来说，搭建蜘蛛池成本偏高，性价比不高。建议租用蜘蛛池服务，网上也有高酷蜘蛛池、超级蜘蛛池等在线的蜘蛛池。SEO、外推、个人站长可以关注一下。r蜘蛛池的作用?1.蜘蛛池的效果有哪些r答：可以快速让你的站的连接得到搜索引擎的爬行r2.蜘蛛池可以提高网站权重吗?r答：本身搜索引擎爬行和给予权重需要N天，因为第一个的原因，他可以快速的给予带回数据中心，也就是说本来应该需要N天爬行的页面，现在快速爬行了。但是是否会接着进行计算要看很多因素，比如你网站自身权重、页面质量、页面推荐??r3.蜘蛛池的效果增加新站收录吗r答：一定程度上抓取的页面多了，收录会有一定比例的增加。r

9，如何看百度蜘蛛是否有来过

判断蜘蛛有没有来过自己的网站可以查看IIS日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到WebLog的文件夹，具体步骤如下：1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.Ctrl+F查找baidu.com/search特征字符(这里以百度蜘蛛为例)通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享IP空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.希望看在我说了这么多的份上，给个采纳！！谢谢

这还是很简单的嘛，IIS日志可以查看的

百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.Ctrl+F查找baidu.com/search

蜘蛛挂机吧，现在不能用了，有时间限制的

10，怎样知道百度蜘蛛是否来过

通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。1、网站刚上线，看搜索引擎蜘蛛的抓取情况；如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。2、网站异常，对比日志中蜘蛛的行为情况；正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。如果蜘蛛爬取量明显减少，是否突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。3、解决网站被封问题时，日志情况。网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

判断蜘蛛有没有来过自己的网站可以查看iis日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到weblog的文件夹，具体步骤如下：1.打开ftp登陆软件(这里以flashfxp为例),登陆你的空间ftp。登陆进ftp后,你会发现在根目录下有一个weblog的文件夹(注:不同的idc空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含log字符的都是日志文件夹)2.打开weblog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.ctrl+f查找baidu.com/search特征字符(这里以百度蜘蛛为例)通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享ip空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.希望看在我说了这么多的份上，给个采纳！！谢谢