一、分析网站访问日志，找到垃圾爬虫的域名或者机器人英文名称并提取其中关键词，如：opensiteexplorer、semrush、seostar、mj12bot、webmeup-crawler、dataforseo、seznam等。 ...
一、分析网站访问日志，找到垃圾爬虫的域名或者机器人英文名称并提取其中关键词，如：opensiteexplorer、semrush、seostar、mj12bot、webmeup-crawler、dataforseo、seznam等。
二、根据你Apache服务器实际情况，正确选择并打开httpd（未开启虚拟主机的情况下）、httpd-ssl（开启了虚拟主机和https协议的情况下）、httpd-vhosts配置文件（开启了虚拟主机，未开启https协议的情况下），在您的相应的站点中加入以下代码（以后不定期分析网站访问日志，以便及时更新添加垃圾爬虫）：
# 屏蔽垃圾爬虫访问抓取 <Directory "d:/web/xxx/"> SetEnvIfNoCase User-Agent ".*(opensiteexplorer|semrush|seostar|mj12bot|webmeup-crawler|dataforseo|seznam)" BADBOT Order allow,deny Allow from all deny from env=BADBOT </Directory>
三、保存您修改的配置文件，重启Apache，屏蔽垃圾爬虫抓取网站信息生效。
