一聚教程网:一个值得你收藏的教程网站

最新下载

热门教程

WordPress博客如何记录搜索引擎蜘蛛爬行痕迹

时间:2013-07-20 编辑:简简单单 来源:一聚教程网

WordPress博客记录seo/seo.html" target="_blank">搜索引擎蜘蛛爬行痕迹插件:

1、搜索引擎蜘蛛爬行记录器Spider Tracker插件可以记录百度、谷歌、雅虎、必应、搜狗、搜搜6种搜索引擎的蜘蛛爬行痕迹,并生成统计图表,可以清晰的看到,近6日的各种搜索引擎的蜘蛛数量,以及当日的哪些时间,蜘蛛来过站里,又抓取了哪些网址。

2、wp-log-robots 插件大小仅3KB,wp-log-robots是一个记录搜索引擎蜘蛛爬虫活动记录的WordPress插件,插件主文件只有一个 wp-log-robots.php 。关键它的统计数据不用添加到数据库中,而是以文本文件记录下来的。比如你的博客地址是:http://www.111com.net,那么机器人日志文件的存放位置是:/robots_log.txt 。我们只要把这个地址添加到搜藏夹,就可以方便的查看各个搜索引擎的抓取情况。

在博客后台插件-安装插件-搜索“wp-log-robots”-点击现在安装,然后再插件页面启用该插件,不需要设置,就会开始记录搜索引擎机器人的爬行记录。(提示:插件刚启动的时候robots_log.txt 文件还没有建立,是个404页面,要等有搜索引擎来过之后,才会建立这个文件。)

WordPress博客记录搜索引擎蜘蛛爬行痕迹代码:

1.首先,在wordpress主题根目录建立一个robots.php文件,写入以下内容:

支持搜索引擎如下
可以记录Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!
php代码如下
复制代码 代码如下:

 代码如下 复制代码

function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Google';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baidu';
}
if (strpos($useragent, 'msnbot') !== false){
return 'Bing';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoo';
}
if (strpos($useragent, 'sosospider') !== false){
return 'Soso';
}
if (strpos($useragent, 'sogou spider') !== false){
return 'Sogou';
}
if (strpos($useragent, 'yodaobot') !== false){
return 'Yodao';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="www.111com.net.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");
fclose($data);
}
//http://www.111com.net收集整理
?>

 


将其上传于你的主题目录内。

2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。

查看源代码打印帮助1 include(’robots.php’) ?>


程序原理:通过对蜘蛛标识符(如Baiduspider、Googlebot)的判断,记录蜘蛛爬行时间,并生成日志文件robotslogs.txt于根目录。

热门栏目