动态链接和静态链接同时被收录怎么办？Robots协议怎么用？

小白蜀黍在上个月的时候把网站设置了伪静态，当时是为了生成.htaccess文件，然后操作301重定向，把www网址跳转到不带www的网址，因为小白蜀黍自己在体验的时候发现www网址和不带www的网址进入网站后页面会有大小的差异，所以做了301重定向。

但是在完成伪静态设置后小白蜀黍发现了一个问题，百度收录的网站，链接还是动态的，而点击动态的链接，进入后只会跳到主页，并不能跳转到文章，期初的时候也没管，想着反正过段时间收录就正常了，现在过去1个月了，360收录倒是很正常，百度收录虽然有增加，但是的收录动态链接和静态链接同时存在。后来看网站上说要把每个网站做301重定向，问题是这么多网站，咋个做啊，想想就很头大。昨天想想这样不行，还是做301重定向吧，然后想网上搜搜批量301重定向的方法，却发现了一个可以用Robots协议阻止百度蜘蛛抓取动态链接的方式。

首先，小白蜀黍网页的动态链接是这样的：https://xiaobaiss.com/?id=3

静态链接是这样的：https://xiaobaiss.com/post/3.html

虽然现在搜索引擎可以识别和收录动态链接，但是相对而言，静态链接对搜索引擎而言更加友好，而且当有很多不同链接指向同一个页面时会让搜索引擎觉得网页重复内容较多，所以就要告诉百度蜘蛛不要抓取动态链接。

那么如何通过robots协议来解决呢，像小白蜀黍这种建站的小白，随便改个东西都要百度很久，robots怎么搞，靠谱不，在哪里搞也不知道啊，先百度Robots看看到底是个啥：Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。所以小白蜀黍看完后觉得这玩意可行，那就按这个搞吧。

robots.txt如何创建？实际上自己创建个robots.txt文件就行，不放心的也可以通过站长之家等平台的robots.txt生成工具进行生成。

小白蜀黍的robots.txt文件里的内容是下面这样的

User-agent: *

Disallow: /?id

Sitemap: https://xiaobaiss.com/sitemap.xml

创建后把文件上传到网站根目录就行了，Disallow即为需要禁止抓取的内容，小白蜀黍添加了网站根目录下/?id的所有链接都不要访问。添加Sitemap是为了告诉百度蜘蛛你的网站地图文件，方便抓取。

上传完成后可以去百度站长平台的Robots进行更新和检测，检查自己的Robots协议是否生效。

来源：小白蜀黍，转载请保留出处和链接！

本文链接：https://xiaobaiss.com/post/139.html