北京SEO精灵告诉你Google蜘蛛抓取页面的相关知识:
有人常常问为什么别人的网页在Google上能收到好几页，而我的为什么就那么几页或者根本没有呢？看到别人的能被搜索到你是不是很羡慕呢？那我问你一下，你知道Google是怎么抓取你的网站页面的吗？为什么一些新的网站在一夜之内就会小时的无影无踪?
其实，google和百度一样，有自己的抓取页面的工具，百度有百度蜘蛛，而google有两种网络爬虫即“主目录搜索蜘蛛”和“新抓取蜘蛛”。主爬虫的任务是抓取新的页面，只要一个页面的索引更新后，主爬虫就会爬过来，进行抓取工作，一个月之后，如果这个页面没有进行新的索引更新，那么这个页面就会在google中消失google幽灵现象是时下很热门的话题。但不管怎样，还是有很多固定不变的东西的。第一，幽灵页面的排名并不等于你的索引页面的排名。第二，在每月新数据库建立之前，必须将幽灵登陆页从数据库中移走。但是，这只是暂时的移走。如果你的索引登陆页有这样的，你的目标是让你的页面在google上赢得排名。因此你必须将它移走，所谓移走就是你要对它进行更新。排名本身就与网站更新有关，基本上更新越快，也就排得越靠前。所以你要有规律的进行更新，最好是每天进行更新。但新页排名有很强的不稳定性。新页排名要想转化为真正排名需要经过一段时间。
还有一种情况。如果一个新网页首先被“主抓取”蜘蛛抓取（这通常发生在一月的下旬），那么这个网页只等一个月的时间就可以进入“主索引”。
网站设计者和拥有者如果不了解Google抓取新网页的过程，他们的工作将难以开展。网页排名可能一路飙升，名列前十名，让人欣喜若狂，也可能陡然狂降，甩出二百名开外，令人垂头丧气。抓住 Google抓取新网页的过程规律
一个新网页没有被Google主目录收取，直到：
1. 该网页被Google主目录搜索蜘蛛抓取。
2. 该网页在被Google主目录搜索蜘蛛抓取之后，须经过一段更新时间。
只有以上两条全都满足，新网页被Google主目录确确实实抓取到，新网页上的排名才有可能转化成真正排名 。
Google有两种抓取形式
1. 主抓取
2. 新抓取
一个新的网页首先被“新抓取”蜘蛛抓取。但也有特例的时候。在Google月更新刚刚完成那一段时间之后，一个网页通常被“主抓取”蜘蛛抓取。每月更新一般在每个月的20号到28号之间，能够持续几天。
为了区分两种蜘蛛的差异，我们可以先来看一下一组IP 地址。
1. “主抓取”蜘蛛= 216.239.46.*
2. “新抓取”蜘蛛= 64.68.82.*
为了进一步解释明白新网页发生的Google幽灵现象，我们假设该网页首先被“新抓取”蜘蛛抓取。在Google两个月更新之间，“新抓取”蜘蛛来抓取新网页。在主抓取期间，通过链接新网页能够被抓 取。新抓取期间，情况也是一样。
尽管这个网页没有经过此次更新，也没有收录在Google主目录里，但是抓取之后，搜索蜘蛛开始衡量该网页内容和质量，并把该网页收录在搜索结果里。这次衡量是十分不稳定的，易受外界影响，经常发生变化。
当每月定期更新来临时，这些网页会产生波动。每月定期更新就是Google波动。但是，您需要记住，“主抓取”蜘蛛没有阅读该网页，所以这个网页没有加入主索引中。所以，当每月更新结束后，这个新 网页仍被看作是新网页但是不久以后，“主抓取”蜘蛛将会阅读这个新网页，在下个月更新之后，该页面才能被收录进主索引。这需要经历一段时间。在此之前，Google不显示任何导入链接，这个网页的排名也因此多变、不稳定。
让我们总结一下：
如果一个新网页首先被一个“新抓取”蜘蛛抓取，然后被“主抓取”蜘蛛抓取，这个网页需要经过两次月更新。换句话说，这个新网页需要经过两个月才能被主索引收录，在被主索引收录之后，才可能获取稳定的排名。
这期间新网页可能在Google搜索结果页中出现，也可能消失，这种不稳定的情况完全是正常的。
还有一种情况。如果一个新网页首先被“主抓取”蜘蛛抓取（这通常发生在一月的下旬），那么这个网页只等一个月的时间就可以进入“主索引”。
网站设计者和拥有者如果不了解Google抓取新网页的过程，他们的工作将难以开展。网页排名可能一路飙升，名列前十名，让人欣喜若狂，也可能陡然狂降，甩出二百名开外，令人垂头丧气。抓住 Google抓取新网页的过程规律，网络英雄们将不再迷茫，有的放矢将不会是单纯的梦想。
北京SEO精灵专业SEO研究小组成员！
