怎么查看搜索蜘蛛，LinuxNginx如何查看搜索引擎蜘蛛爬虫的行为

来源：整理时间：2024-05-12 04:49:48 编辑：网络营销手机版

本文目录一览

1，LinuxNginx如何查看搜索引擎蜘蛛爬虫的行为
2，怎么查询网站蜘蛛爬行记录
3，怎么知道搜索引擎的蜘蛛来爬过我的网站
4，怎样知道百度蜘蛛是否来过

1，LinuxNginx如何查看搜索引擎蜘蛛爬虫的行为

默认的路径是你安装时候指定的如果用的lnmp之类的安装包你可以在shell下whereisnginx找到相应的路径之后在nginx下的conf文件夹里看配置文件，日志文件如果记录了话在配置文件里有路径的～

LinuxNginx如何查看搜索引擎蜘蛛爬虫的行为

2，怎么查询网站蜘蛛爬行记录

看空间的log日志，各大搜索引擎的蜘蛛都有名字：百度的叫baiduspider;谷歌的叫Googlebot;微软的叫bingbot;搜狐的叫Sogou web spider;腾讯的叫Sosospider;

查询iis日记然后根据代码分析蜘蛛的状况

怎么查询网站蜘蛛爬行记录

3，怎么知道搜索引擎的蜘蛛来爬过我的网站

每个网络蜘蛛都有自己的名字，在抓取网页的时候，都会向网站标明自己的身份。网络蜘蛛在抓取网页的时候会发送一个请求，这个请求中就有一个字段为User－agent，用于标识此网络蜘蛛的身份。例如Google网络蜘蛛的标识为GoogleBot，Baidu网络蜘蛛的标识为BaiDuSpider，Yahoo网络蜘蛛的标识为Inktomi Slurp。如果在网站上有访问日志记录，网站管理员就能知道，哪些搜索引擎的网络蜘蛛过来过，什么时候过来的，以及读了多少数据等等。查看IIS日志IIS日志的默认目录就是%systemroot%\system32\logfiles\

你看记事本的日志出现 get 就说明蜘蛛抓取了这个页面了哦

怎么知道搜索引擎的蜘蛛来爬过我的网站

4，怎样知道百度蜘蛛是否来过

通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。1、网站刚上线，看搜索引擎蜘蛛的抓取情况；如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。2、网站异常，对比日志中蜘蛛的行为情况；正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。如果蜘蛛爬取量明显减少，是否突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。3、解决网站被封问题时，日志情况。网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

判断蜘蛛有没有来过自己的网站可以查看iis日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到weblog的文件夹，具体步骤如下：1.打开ftp登陆软件(这里以flashfxp为例),登陆你的空间ftp。登陆进ftp后,你会发现在根目录下有一个weblog的文件夹(注:不同的idc空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含log字符的都是日志文件夹)2.打开weblog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.ctrl+f查找baidu.com/search特征字符(这里以百度蜘蛛为例)通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享ip空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.希望看在我说了这么多的份上，给个采纳！！谢谢