先确认是不是真的不收录
很多人说"百度不收录我的网站",但你去百度站长工具一看,其实收录了只是site命令查不到。百度现在site命令的数据不准,要看百度站长工具里面的索引量数据。索引量有数据说明收录了,site查不到只是显示延迟。
如果索引量确实是0,那就是真的没收录。新站不收录很正常,百度对新站有1到2周的考察期。但如果你的站上线一个月了还不收录,那就有问题了,得排查原因。
第一招 主动提交URL
百度不会主动来抓你的网站,你得告诉它你网站存在。方法:第一,在百度站长工具里提交网站验证,然后提交sitemap.xml。第二,用百度推送API主动推送新页面的URL。每次发布新文章就推送一次。第三,用百度的自动推送代码,加在网页底部,用户访问页面的时候自动通知百度。
二七广场附近一家做医疗美容的网站,上线3周没收录。我给加了自动推送代码,又手动提交了sitemap,第二天就开始收录了。之前不收录的原因很简单——百度根本不知道这个网站存在。
第二招 内容质量是收录的前提
百度现在对内容质量的把控越来越严。低质量的内容即使被收录了也可能很快被删掉。什么样的内容百度愿意收录:原创、字数800以上、排版清晰、有图有文、用户停留时间长。
什么内容百度不愿意收录:采集来的内容、伪原创(换词换段落)、字数太少(200字以下)、纯图片没文字、内容跟网站主题不相关。
郑州管城区一家做家政服务的公司,网站上全是采集的文章,一篇都没收录。后来我让他自己写,每天写一篇关于家政服务的实操经验分享,每篇1000字左右。写了20篇,收录了18篇。采集的100篇一篇都没收,原创的20篇收了18篇,质量比数量重要得多。
第三招 外链引导爬虫来抓
百度爬虫是怎么发现你网站的?一是通过你提交的URL,二是通过其他网站上的链接爬过来的。如果你的网站没有任何外部链接指向,百度爬虫发现你的概率就很低。
给新站引蜘蛛的方法:在权重高的平台发文章带网站链接。比如在新浪博客发一篇文章,文末带上你网站链接;在知乎回答一个问题,参考资料里写上你网站URL;在B2B平台注册个账号,公司简介里放网站链接。这些高权重平台百度爬虫天天去抓,顺着链接就爬到你网站来了。
友情链接交换也有效,但新站没人愿意跟你换。你可以先买几个权重2到3的友情链接,等自己有权重了再换。一个友情链接的价格每月30到100元,买3到5个就够了。
第四招 网站结构别给爬虫设障碍
有时候不收录不是内容的问题,是网站结构的问题。百度爬虫来了但爬不进去,自然没法收录。常见障碍:用JavaScript渲染页面(爬虫执行不了JS)、用iframe嵌套内容(爬虫不抓iframe)、登录才能看内容(爬虫不会登录)、URL参数太复杂(爬虫怕陷入死循环)。
检查方法:用百度站长工具的"抓取诊断"功能,看看百度爬虫抓到的内容跟你页面实际内容一不一致。如果不一致,说明爬虫抓取有问题。用robots.txt检查工具确认没有误封页面。
第五招 robots.txt和死链检查
robots.txt是告诉爬虫哪些页面可以抓哪些不可以抓的。有些网站robots.txt写错了,把整站都封了,百度当然不收录。检查robots.txt确保没有Disallow: / 这种全站封禁的写法。
死链也会影响收录。如果百度爬虫频繁遇到404页面,会降低对你网站的抓取频率。用百度站长工具的死链提交功能,把死链提交给百度让它别再抓了。同时修复重要的死链,做301跳转到对应的新页面。
说白了收录这件事就是让百度知道你、让百度来抓你、让百度愿意收你。主动提交解决"知道"的问题,外链引导解决"来抓"的问题,内容质量和网站结构解决"愿意收"的问题。五个方面都做到位了,收录不是难事。别被忽悠了去买什么快速收录服务,百度官方明确说了没有快速收录这种东西。