robots.txt文件如何编写?

以下是网友分享的robots.txt文件编写规则,感觉还可以。

User-agent: *
Disallow: /*.php$
Disallow: /*.php?*
Disallow: /*.asp$
Disallow: /*.asp?*
Disallow: /?*
Disallow: /*?*
Disallow: /#*
Disallow: /*#*

作用:禁止收录主动/被动/bug导致的带参数网址 和 不明内外链指向权重分散,提高SEO竞争力。

 

使用方法,直接在原来的robots.txt文件里复制粘贴加上即可。

本文链接:SEO站长网 » robots.txt文件如何编写?