大數據時代，數據是市場競爭的重要資源，因此利用網絡爬蟲惡意爬取數據的事件頻繁發(fā)生。今年上半年，某銀行電子結算中心承建的線上征信平臺“某某融”，就遭到了惡意爬蟲的瘋狂“洗劫”。

某金融征信平臺疑似遭爬蟲瘋狂“洗劫”

“某某融”平臺是中小微企業(yè)信用信息和融資對接平臺，目的是實現資金供需雙方線上高效對接，提高企業(yè)金融服務的可得性、覆蓋率和滿意度，目前已接入207家銀行機構的1.3萬個網點，注冊企業(yè)155萬家。

根據相關規(guī)定，“某某融”平臺向轄內各商業(yè)銀行免費提供信息查詢服務，但只允許商業(yè)銀行以人工訪問方式進行逐條信息查詢。然而，“某某融”平臺的技術人員卻發(fā)現，每天一到凌晨，系統后臺就出現了大量的查詢請求，并持續(xù)整個后半夜，但到底是誰在查詢卻對不上號。

很顯然，這并不是正常的用戶行為，更像是利用自動化工具的惡意爬蟲行為。一旦被惡意爬蟲盯上，平臺很可能會遭遇敏感數據泄露，導致大量企業(yè)和用戶利益受損，影響金融機構的公眾威望。此外，大量爬蟲惡意數據請求會不斷霸占業(yè)務服務器性能，影響平臺的正常運行，從而導致用戶體驗下降，為平臺的安全運營帶來了極大的挑戰(zhàn)。

為此，“某某融”平臺火速搬來了救兵——業(yè)內知名的Bots自動化攻擊防護專業(yè)廠商瑞數信息，誓要抓出潛伏在黑暗中的惡意爬蟲。

瑞數信息“反爬蟲”之戰(zhàn)

瑞數信息第一時間為“某某融”平臺部署了一款“反爬蟲利器”——瑞數動態(tài)應用保護系統 Botgate。

此系統以瑞數信息獨創(chuàng)的“動態(tài)防護”技術為核心，不基于任何特征、規(guī)則及閾值的方式進行防護，能夠有效識別和防御自動化攻擊。具體而言，有4大技術能力：

動態(tài)令牌：對當前頁面內的合法請求地址授予一定時間內有效的動態(tài)令牌，并為每個客戶端生成不依賴于設備特征的唯一標識。令牌的動態(tài)變換，加上客戶端唯一標識，就如同身份證一樣難以偽造，可以阻攔非法的自動化攻擊請求。

人機識別：通過動態(tài)令牌、客戶端環(huán)境檢測、客戶端行為識別等方式，驗證瀏覽器/APP的真實性，檢查動作的真實性，實現對訪問客戶端的人機識別，從而阻攔自動化攻擊行為。

代碼混淆封裝：靈活運用Web代碼混淆、JS混淆、前端反調試、Cookie混淆、中間人檢測等多種功能，對頁面邏輯、代碼、內容關鍵元素等進行混淆封裝，對自動化攻擊進行動態(tài)干擾，防止業(yè)務被逆向分析。

威脅透視：利用獨有的全程式業(yè)務威脅感知和智能分析技術，以及內置的通用自動化威脅模型，準確透視細粒度的機器人行為，為精準判定自動化攻擊提供有效威脅數據。

基于動態(tài)應用保護系統Botgate，瑞數信息很快發(fā)現“某某融”平臺的不動產、備案等系統，在一個月的時間內遭遇了570多萬起自動化惡意爬蟲行為，已占據了正常請求的近1/4。

進一步分析發(fā)現，惡意爬蟲為了登錄賬號，利用了弱密碼、暴力破解等方式，并大量使用自動化工具，非法查看敏感數據。

檢測數據顯示，爬蟲賬號高達172個，異常IP有90個。其中，涉及簡單腳本的IP 90個，重放攻擊的IP 72個，破解行為的IP 48個，調試行為的IP 25個，高級自動化工具的IP 13個。

從非工作時間業(yè)務查詢行為看，凌晨0點至6點期間存在產權查冊發(fā)起頁面加載、發(fā)起產權查冊查詢、產權查冊歷史查詢記錄、查看產權查冊明細的行為。

總體而言，“某某融”平臺已被惡意爬蟲“洗劫”，面臨著賬號濫用、自動化工具濫用、非工作時間高頻訪問、業(yè)務邏輯被逆向分析、敏感數據被濫用等多重業(yè)務安全問題。

對此，瑞數信息根據“某某融”平臺業(yè)務需求，定制了靈活的防護策略：既可以針對異常IP和行為進行自動化攔截、按比例攔截，也可以對頻繁訪問請求做延遲，或發(fā)起二次動態(tài)挑戰(zhàn)，還可以限定特定IP超過一定時間不能訪問等等，在保護數據安全的同時也不影響業(yè)務的正常運轉。

整治金融爬蟲需要“動態(tài)安全”新技術

“某某融”平臺爬蟲事件其實并非個例。惡意數據爬蟲攻擊是自動化攻擊請求中占比最大的一類，金融、互聯網、政企、醫(yī)療衛(wèi)生、教育等行業(yè)，都遭受著持續(xù)不間斷的爬蟲訪問。瑞數信息《2022 Bots自動化威脅報告》顯示，2021年根據瑞數信息監(jiān)測到的惡意爬蟲攻擊達到1000億+以上。

近年來，隨著互聯網金融服務體系的快速增長，越來越多的金融業(yè)務構建在Web、H5、App、API、微信和小程序等多種業(yè)務渠道上，應用敞口風險暴露面隨之增大，各類變化多端的爬蟲攻擊也趁虛而入，導致企業(yè)數據泄露風險加劇。

據瑞數信息技術專家介紹，在金融行業(yè)，交易、支付、信貸、營銷等業(yè)務場景都是爬蟲攻擊的重災區(qū)。比如，爬取企業(yè)征信報告，盜取用戶個人網銀、交易支付記錄、信用卡賬單等，都是為了獲取敏感數據以博取高額利潤。

盡管爬蟲帶來了巨大的業(yè)務安全風險，但為何金融行業(yè)的惡意爬蟲屢禁不止？

瑞數信息技術專家表示，爬蟲技術多年來一直在不斷演進，不僅精通各種代碼語言，甚至在使用機器學習等AI技術，不斷挑戰(zhàn)著現有防護體系，由此帶來了三大防護難點：

第一，惡意爬蟲使用了大量高級自動化工具，能夠不斷變化自身來源，以多源低頻的方式，繞過傳統規(guī)則庫；

惡意爬蟲能夠偽造UA信息，不斷變化環(huán)境信息，騙過傳統特征庫；

第三，惡意爬蟲使用了高度擬人化的武器庫，通過資源鏈接、相互調用，能夠發(fā)起模擬真人的操作行為，迷惑現有的風控規(guī)則。

瑞數信息技術專家指出，爬蟲技術的快速迭代升級，導致依賴規(guī)則、特征的傳統安全技術和風控技術都無力應對，金融機構必須尋求新的技術方案才能對抗新的爬蟲技術。正因如此，“動態(tài)安全”作為一種顛覆傳統安全被動式防御的新技術，創(chuàng)新地提出動態(tài)防御、主動防御概念，成為新時代反爬蟲的理想選擇。

作為“動態(tài)安全”技術的首創(chuàng)者，瑞數信息推出的第一款產品就是“瑞數動態(tài)應用保護系統Botgate”，由于能夠高效甄別偽裝和假冒正常行為的各類已知和未知自動化攻擊，并能夠進行有效的阻斷防護，因此Botgate稱得上是一款高效反爬蟲的利器。

除此之外，瑞數信息還將“動態(tài)安全”技術和AI技術融合起來，涵蓋了機器學習、智能人機識別、智能威脅檢測、全息設備指紋、智能響應等AI技術，對客戶端到服務器端所有的請求日志進行全訪問記錄，持續(xù)監(jiān)控并分析流量行為，實現精準攻擊定位和追蹤溯源，并對潛在和更加隱蔽的攻擊行為進行更深層次的分析和挖掘，這將更加精準、持續(xù)的對抗惡意爬蟲帶來的自動化攻擊。

結語

金融服務數據正受到空前的關注，對數據的爭奪所引發(fā)的安全對抗也愈加激烈。面對惡意爬蟲技術的不斷升級，金融機構亟需轉向以“動態(tài)安全”為核心的新安全技術，提高對自動化工具訪問的識別能力，提升自身系統的數據安全能力，建立起數據反爬的銅墻鐵壁。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！