使用CDN的User-Agent反爬虫(附名单)

发布于 2020-04-01  112 次阅读


这几天发现CDN上的钱去的有点快,后台一查,有爬虫在后台爬了几千次,还是自己不认识的。因此如果你有用CDN的话,可以用CDN的User-Agent反爬虫。

这里以又拍云为例,CDN后台 - 访问控制 - User-Agent防盗链

20200404083757.png

20200404083809.png

20200404083714.png

附下一些恶意爬虫的名单:

*FeedDemon*
*BOT/0.1(BOTforJCE)*
*CrawlDaddy*
*Java*
*Jullo*
*Feedly*
*UniversalFeedParser*
*ApacheBench*
*Swiftbot*
*YandexBot*
*AhrefsBot*
*jikeSpider*
*MJ12bot*
*ZmEuphpmyadmin*
*WinHttp*
*EasouSpider*
*HttpClient*
*MicrosoftURLControl*
*YYSpider*
*jaunty*
*oBot*
*Python-urllib*
*IndyLibrary*
*FlightDeckReportsBot*
*LingueeBot*
*DotBot*
*SemrushBot*

参考:Nginx反爬虫: 禁止某些User Agent抓取网站

本文标题:《使用CDN的User-Agent反爬虫(附名单)》

本文链接:https://wnag.com.cn/1184.html

特别声明:除特别标注,本站文章均为原创,本站文章原则上禁止转载,如确实要转载,请电联:wangyeuuu@qq.com,尊重他人劳动成果,谢过~


正因为有要好好实现的梦想,所以今天也要好好加油。