1. 根據(jù) IP 訪問頻率封禁 IP
2. 設(shè)置賬號登陸時長，賬號訪問過多封禁
設(shè)置賬號的登錄限制，只有登錄才能展現(xiàn)內(nèi)容
設(shè)置賬號登錄的時長，時間一到則自動退出
3. 彈出數(shù)字驗(yàn)證碼和圖片確認(rèn)驗(yàn)證碼
爬蟲訪問次數(shù)過多，彈出驗(yàn)證碼要求輸入
4. 對 API 接口的限制
每天限制一個登錄賬戶后端 api 接口的調(diào)用次數(shù)
對后臺 api 返回信息進(jìn)行加密處理

nginx反爬設(shè)置

站點(diǎn)配置文件

因?yàn)閡ser-agent帶有Bytespider爬蟲標(biāo)記，這可以通過Nginx規(guī)則來限定流氓爬蟲的訪問，直接返回403錯誤。
修改對應(yīng)站點(diǎn)配置文件（注意是在server里面）
添加紅色部分

server {
  listen 80 default_server;
  listen [::]:80 default_server;
  index index.html index.htm index.nginx-debian.html;
  server_name _;
  location / {
    try_files $uri $uri/ =404;
  }
  #forbidden Scrapy
  if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
    return 403;
  }
  #forbidden UA
  if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|python-requests|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
    return 403;
  }
  #forbidden not GET|HEAD|POST method access
  if ($request_method !~ ^(GET|HEAD|POST)$) {
    return 403;
  }
}

附錄：UA收集

FeedDemon             內(nèi)容采集
BOT/0.1 (BOT for JCE) sql注入
CrawlDaddy            sql注入
Java                  內(nèi)容采集
Jullo                 內(nèi)容采集
Feedly                內(nèi)容采集
UniversalFeedParser   內(nèi)容采集
ApacheBench           cc攻擊器
Swiftbot              無用爬蟲
YandexBot             無用爬蟲
AhrefsBot             無用爬蟲
YisouSpider           無用爬蟲（已被UC神馬搜索收購，此蜘蛛可以放開?。?jikeSpider            無用爬蟲
MJ12bot               無用爬蟲
ZmEu phpmyadmin       漏洞掃描
WinHttp               采集cc攻擊
EasouSpider           無用爬蟲
HttpClient            tcp攻擊
Microsoft URL Control 掃描
YYSpider              無用爬蟲
jaunty                wordpress爆破掃描器
oBot                  無用爬蟲
Python-urllib         內(nèi)容采集
Python-requests       內(nèi)容采集
Indy Library          掃描
FlightDeckReports Bot 無用爬蟲
Linguee Bot           無用爬蟲
使用python驗(yàn)證

python驗(yàn)證

使用requests模塊



使用urllib模塊



返回403就表示起作用了。

b'\r\n\r\n\r\n
403 Forbidden\r\n
nginx\r\n\r\n\r\n'




三、整站防護(hù)設(shè)置






層：robots.txt

robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的個文件。
注意：它只是做了協(xié)議規(guī)定，是否允許將爬取的數(shù)據(jù)收錄，不影響網(wǎng)頁訪問。
備注：對于手動寫爬蟲技術(shù)人員而言，一般都是直接忽略掉的。
 
如果不允許所有的爬蟲蜘蛛訪問，內(nèi)容如下：

User-agent: *
Disallow: /




第二層：useragent特征攔截

因?yàn)閡ser-agent帶有Bytespider爬蟲標(biāo)記，這可以通過Nginx規(guī)則來限定流氓爬蟲的訪問，直接返回403錯誤。
具體操作，請查看上面的nginx配置。
備注：這樣可以防止一部分爬蟲訪問，以及初級爬蟲人員。
 

第三層：JS發(fā)送鼠標(biāo)點(diǎn)擊事件

有些網(wǎng)站，你從瀏覽器可以打開正常的頁面，而在requests里面卻被要求輸入驗(yàn)證碼或者是重定向到其他的頁面。
原理：當(dāng)點(diǎn)擊登錄時，觸發(fā)js加密代碼，復(fù)雜的加密算法參數(shù)+時間戳+sig值，后臺進(jìn)行 參數(shù)+時間的限制。驗(yàn)證成功后，才可以登錄。
 
備注：爬蟲高手需要模擬瀏覽器行為，加載js代碼以及圖片識別，才能正常登陸。
 

第四層：后臺接口限制

1. 根據(jù) IP 訪問頻率封禁 IP(注意：頻率要控制好，否則容易誤傷。)
2. 設(shè)置賬號登陸時長，賬號訪問過多封禁。
    設(shè)置賬號的登錄限制，只有登錄才能展現(xiàn)內(nèi)容設(shè)置賬號登錄的時長，時間一到則自動退出
3.彈出數(shù)字驗(yàn)證碼和圖片確認(rèn)驗(yàn)證碼
    爬蟲訪問次數(shù)過多，前端彈出驗(yàn)證碼要求輸入
4.對 API 接口的限制
    每天的登錄賬戶，請求后端 api 接口時，做調(diào)用次數(shù)限制。對后臺 api 返回信息進(jìn)行加密處理
 
通過這4層設(shè)置，就可以有效的保護(hù)數(shù)據(jù)的安全了。

【版權(quán)聲明】:本站內(nèi)容來自于與互聯(lián)網(wǎng)(注明原創(chuàng)稿件除外),供訪客免費(fèi)學(xué)習(xí)需要。如文章或圖像侵犯到您的權(quán)益，請及時告知，我們第一時間刪除處理！謝謝！