每天盯着后台的抓取统计,那条线平平的,像心电图上没了生命迹象。
谷歌蜘蛛来过几次?上周三次,这周两次。收录的文章还卡在一百多篇不动。新发的内容,半个月过去了,谷歌连看都不看一眼。那种感觉就像在沙漠里喊话,明知道没人听见,还是得继续喊。
后来我问自己一个问题,这个问题改变了一切:凭什么让谷歌相信我这儿有料?
搜索引擎的蜘蛛程序,本质上就是个自动化访客。它来不来,来得多勤,取决于一个简单逻辑——你这里有没有值得拿的东西。不是你觉得值不值,是它算法判断的值不值。
我开始做三件事,没花钱,没买外链,就靠调整思路。三个月后,谷歌蜘蛛的抓取频次从每天不到十次,涨到了两百多次。
第一件事,把网站结构翻了个底朝天。
之前我的网站像一间堆满杂物的仓库,东西不少,但想找个螺丝刀得翻半天。蜘蛛进来也是这样,爬着爬着就迷路了。层级太深,链接混乱,有些页面要点击四五次才能到。蜘蛛也是有耐心的,它爬不动就走了。
我重新梳理了结构。首页放最新内容,重要栏目页放在二级目录,每个页面距离首页不超过三次点击。内链系统性地做起来,相关文章互相链接,形成一个网络而不是一条死路。蜘蛛进来后,顺着链接能一直爬下去,爬完一篇还有下一篇,像逛超市一样,通道通畅,货架整齐。
第二件事,把内容更新频率和规律性固定下来。
蜘蛛喜欢新鲜货,这谁都知道。但很多人忽略了规律性更重要。今天发十篇,明天停一周,蜘蛛来的时候扑个空,下次就不爱来了。我定了个死规矩,每天固定时间发一篇,雷打不动。不多发,但绝不间断。
一个月后,蜘蛛开始摸清规律。它发现每天早上九点,这儿准有新东西。于是它的爬行时间逐渐调整到这个时段,来了之后正好撞上新内容。久而久之,抓取频次自然上去了。这不是玄学,是程序的行为模式——算法会优化爬行效率,挑最容易抓到新内容的时机来。
第三件事,也是最关键的一件,提升已收录页面的更新频率。
很多站长盯着发新内容,却忘了老页面。实际上,谷歌衡量一个网站活性,看的不仅是新内容产出,还有旧内容是否在持续维护。那些三个月没人碰的老文章,在谷歌眼里跟废墟没区别。
我开始翻旧账。每篇旧文章都重新过一遍,补充新数据,替换过时信息,优化表达方式。甚至有些只是修改几个关键词,更新个日期。重点是让谷歌发现,这片地方一直有人在打理,不是发完就跑的垃圾站。
效果很快显现。之前收录后就不怎么来的蜘蛛,开始频繁光顾老页面。因为它发现那些页面总是在变,有查看的价值。抓取预算有限的情况下,谷歌更愿意把资源投给那些会变化的页面,而不是一成不变的老古董。
这三件事做完后,最让我意外的是另一个副产品——用户体验也上来了。网站结构清晰了,访客停留时间变长,跳出率下降。内链引导他们看更多内容,不再点进来就关。那些更新过的老文章,甚至带来了比新内容更多的流量。
后来跟一个做SEO的朋友聊起这事,他说你这是把网站做成了蜘蛛的食堂,不是路边摊。蜘蛛来一次就能吃饱,下次自然还想来。那些只发内容不管结构的,就像在路上撒了点面包屑,蜘蛛捡两口就没了,不值得常来。
想想确实如此。谷歌蜘蛛就是个挑剔的食客。你的网站能不能吸引它反复光顾,取决于你能不能持续提供新鲜、易得、有价值的东西。这跟做给真人看本质上是一回事,只不过你面对的是程序,得用程序听得懂的方式表达诚意。
现在每天打开抓取统计,那条线起伏着,像心跳恢复了。新内容发布后,几小时内蜘蛛就来了。收录量翻了几倍,流量也跟着上来。整个过程没用什么黑帽技术,没买什么快速收录工具,就是把网站做成蜘蛛愿意常来逛逛的地方。
说到底,蜘蛛池不是一个技术概念,是一个信任概念。你让谷歌信任你值得被频繁抓取,它自然就来了。
