怎么屏蔽所有搜索引擎蜘蛛？

LisaDrymn

我记得之前好像在哪个帖子看到过，忘记保存了。

有没有屌大的fqd知道怎么屏蔽的:lol

ztl1981

1. <IfModule mod_rewrite.c>RewriteEngine On#Block spiderRewriteCond %{HTTP_USER_AGENT} "SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC]RewriteRule !(^robots\.txt$) - [F]</IfModule>

复制代码

不知道这个行不行，创建.htaccess 文件到站点根目录

东方无翼

User-agent: *
Disallow: /


网站添加这个robots.txt 就可以了。