引言：

　　螞蟻金服在過去十五年重塑支付改變生活，為全球超過十二億人提供服務(wù)，這些背后離不開技術(shù)的支撐。在2019杭州云棲大會上，螞蟻金服將十五年來的技術(shù)沉淀，以及面向未來的金融技術(shù)創(chuàng)新和參會者分享。我們將其中的優(yōu)秀演講整理成文并將陸續(xù)發(fā)布在“螞蟻金服科技”公眾號上，本文為其中一篇。

　　正文：

　　十幾年來，螞蟻金服一直在解決用技術(shù)重塑金融服務(wù)的問題，在解決這個問題的過程中涉及到兩個方向的技術(shù)領(lǐng)域，第一就是解決怎么把錢從一個帳戶移到另一個帳戶，這個過程中出現(xiàn)海量、安全、可用性問題怎么解決，我們的答案就是多地容災(zāi)、高可用的分布式架構(gòu);第二，新的數(shù)字金融時代到來，如何更多更好的利用數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展，也就是數(shù)據(jù)智能技術(shù)。本文將會分享螞蟻在數(shù)據(jù)智能方面的一些進(jìn)展，以及我們的思考。

　　首先，我們看一下金融數(shù)據(jù)智能有哪些需求，和傳統(tǒng)的大數(shù)據(jù)有什么不一樣的地方：

　　實時性要求高，實時數(shù)據(jù)以兩倍以上的速度增長，在線決策越來越多，不再是把數(shù)據(jù)離線做決策再部署到線上;

　　計算場景復(fù)雜多樣，以前可能是一個簡單的聚合，逐漸進(jìn)化到用規(guī)則做決策，基于圖、基于機(jī)器學(xué)習(xí)等決策，整個計算的形式越來越多樣化;

　　數(shù)據(jù)鏈路長，研發(fā)調(diào)試效率低，當(dāng)你要做全鏈路數(shù)據(jù)研發(fā)的時候，從頭到尾會經(jīng)歷十幾個系統(tǒng)，對整體的數(shù)據(jù)研發(fā)提出了很大的挑戰(zhàn);

　　計算及存儲高可用，包括跨城市的容災(zāi)，高可靠的計算服務(wù);

　　數(shù)據(jù)安全、監(jiān)管合規(guī)、風(fēng)險防控， 需要做嚴(yán)格的數(shù)據(jù)安全和隱私保護(hù)，特別在監(jiān)管層面要合規(guī)。

　　過去十幾年，計算技術(shù)不斷演進(jìn)，從大規(guī)模數(shù)據(jù)倉庫批計算，到實時計算和流計算，再到交互式分析，一方面能解決一部分問題，另一方面給我們帶來了新的挑戰(zhàn)。比如，多種計算模式帶來多次研發(fā)的效率問題，多套系統(tǒng)帶來多樣存儲需求的成本問題，以及不同容災(zāi)和數(shù)據(jù)安全要求帶來的復(fù)雜度問題等。

　　為了解決計算多樣性帶來的問題，我們需要一個更為開放的計算架構(gòu)。

　　螞蟻金服開放計算架構(gòu)

　　做一套系統(tǒng)解決一切問題是技術(shù)人員很自然的想法，但難點是怎么定義這個系統(tǒng)的邊界。我們認(rèn)為，計算和業(yè)務(wù)本身是緊密連接的，業(yè)務(wù)的需求變化很有可能需要探索越來越多的計算模式。所以我們的實踐是這樣的開放計算架構(gòu)，它在不同層面上做了統(tǒng)一，以兼容不同的計算模式。

　　首先是統(tǒng)一存儲層，將各個存儲系統(tǒng)打通進(jìn)行數(shù)據(jù)共享，這樣一來就可以根據(jù)計算需求做定制化的優(yōu)化，內(nèi)部數(shù)據(jù)自動回流。

　　第二是統(tǒng)一數(shù)據(jù)安全規(guī)范，在統(tǒng)一存儲上實現(xiàn)統(tǒng)一元數(shù)據(jù)管理及接入，并且數(shù)據(jù)血緣互通，統(tǒng)一鑒權(quán)及數(shù)據(jù)訪問權(quán)限體系，統(tǒng)一數(shù)據(jù)安全等級和隱私保護(hù)體系。

　　第三是統(tǒng)一編程模型，基于標(biāo)準(zhǔn)SQL和擴(kuò)展，做業(yè)務(wù)研發(fā)的時候面對的是下層抽象出來的數(shù)據(jù)，真正做面向數(shù)據(jù)的編程，不需要關(guān)注用交互式分析還是其它計算模式，也不需要關(guān)注數(shù)據(jù)是如何存儲的。這樣做數(shù)據(jù)研發(fā)以及寫業(yè)務(wù)邏輯的時候可以提升效率。這方面我們做了很多的探索，目標(biāo)就是當(dāng)你在做SQL研發(fā)的時候可以降低兩個數(shù)量級，原來可能要寫幾萬行代碼，現(xiàn)在只寫幾百行。

　　經(jīng)過這些統(tǒng)一我們形成了如上的架構(gòu)，這個架構(gòu)可以根據(jù)新的技術(shù)進(jìn)一步擴(kuò)展。

　　開放計算架構(gòu)下的AI引擎

　　AI計算是開放架構(gòu)下重要的能力，我們需要打造更加靈活智能的AI引擎。

　　目前絕大多數(shù)公司的人工智能系統(tǒng)，會遵循這樣一個架構(gòu)：有一個數(shù)據(jù)倉庫或集群進(jìn)行數(shù)據(jù)清洗和預(yù)處理，然后取出一個表，和數(shù)據(jù)標(biāo)注一起在一個模型平臺上進(jìn)行訓(xùn)練，訓(xùn)練出來的模型最后再部署到線上去進(jìn)行預(yù)測。這整個流程經(jīng)過了多個系統(tǒng)，所以這個數(shù)據(jù)事實上可能會有多份存儲，加上模型的傳輸也會花費比較多的時間，你很難做到真正的實時性，這里面用戶也往往需要研發(fā)多個平臺和組件才能滿足需求。

　　開放架構(gòu)下可以插入AI引擎，我們在SQL層和深度學(xué)習(xí)引擎都做了一些工作。SQLFLow相當(dāng)于用SQL描述你對應(yīng)用的需求，底層會直接針對SQL產(chǎn)生出機(jī)器學(xué)習(xí)的任務(wù)來訓(xùn)練模型。

　　ElasticDL我們剛剛在9月11日宣布開源(頭條附上超鏈接https://www.toutiao.com/i6735349206833168903/)，它是基于TensorFlow的一個彈性調(diào)度的AI引擎。當(dāng)你資源緊張或者發(fā)生錯誤時，仍然可以進(jìn)行高效的AI訓(xùn)練。同時它讓AI的訓(xùn)練變得更加簡單，可以在命令行直接訓(xùn)練Keras模型。通過這些工具，我們希望讓AI的訓(xùn)練和整個使用過程更加的簡潔。

　　關(guān)于SQLFlow和ElasticDL想了解更多可以可以查看他們的開源主頁sqlflow.org 和 elasticdl.org

　　在開放性的架構(gòu)下，事實上也不需要做引擎的改變，一般的模式是，當(dāng)有一個新的引擎或工具可以直接拿過來使用，使用完了覺得需要優(yōu)化，就在上面迭代提升。

　　開放計算架構(gòu)下的金融級圖計算

　　在金融領(lǐng)域里，金融場景大量依賴于圖數(shù)據(jù)，我們需要強(qiáng)大的圖計算能力，那么開放計算架構(gòu)如何支持圖計算呢?

　　上圖是螞蟻整個圖計算發(fā)展的歷程，四年以前我們從做圖數(shù)據(jù)產(chǎn)品開始，到做離線全圖的迭代計算引擎，然后做流圖融合的引擎，然后是高速的圖緩存，以及到現(xiàn)在把圖相關(guān)的所有東西聚合起來，做成一站式的圖平臺。

　　首先第一個是金融級分布式圖數(shù)據(jù)庫GeaBase，解決的問題是，當(dāng)你有海量的圖數(shù)據(jù)，數(shù)據(jù)之間有關(guān)系的時候，提供強(qiáng)一致、高容量的存儲。它和現(xiàn)有的一些圖數(shù)據(jù)庫最大的區(qū)別是，很多現(xiàn)有的圖數(shù)據(jù)庫都是把所有數(shù)據(jù)收起來做一個計算，這是最簡單的做法，但會導(dǎo)致性能瓶頸，我們做的是把計算下發(fā)到worker以實現(xiàn)分布式的高性能。同時GeaBase可以根據(jù)用戶的業(yè)務(wù)需求去選擇需要什么樣的一致性。

　　然后是大規(guī)模全圖計算，采用了自適應(yīng)的分區(qū)策略來降低資源門檻，因為很多圖計算里面都是需要把全圖加載到內(nèi)存里面，然后進(jìn)行迭代，這種情況一些超大圖對內(nèi)存的需求量非常高，所以我們做了一些優(yōu)化希望降低資源的使用率。同時我們也能夠更靈活的支持更多的圖算法，以及能夠做非常大規(guī)模高效圖關(guān)系的挖掘，這個也已經(jīng)在內(nèi)部的風(fēng)控場景落地。

　　然后還有在線流圖融合，螞蟻研發(fā)了業(yè)界首個實時多模融合計算框架。起因是我們發(fā)現(xiàn)，在業(yè)務(wù)中有很多時候有數(shù)據(jù)進(jìn)來，同時要進(jìn)行很多的圖計算，計算完結(jié)果以后再輸出，這在業(yè)界也是比較前沿的探索課題，我們做到了在海量大圖上同時能夠做很多層的計算。

　　基于對圖計算的強(qiáng)烈需求，我們做了一個高性能的圖緩存，里面的關(guān)鍵技術(shù)是基于無沖突的Hash函數(shù)，以及對于圖數(shù)據(jù)結(jié)構(gòu)的壓縮。大家可以看下圖中的效果，我們最高可以壓縮到原始數(shù)據(jù)的五分之一，性能為業(yè)界優(yōu)秀同類產(chǎn)品的2-5倍。

　　當(dāng)有了這么多系統(tǒng)后，我們遇到的問題是，在一個場景下需要針對多個引擎做研發(fā)，所以我們開發(fā)了一站式平臺AntGraph，為從開發(fā)調(diào)試到生產(chǎn)上線整個流程提供便利。我們把所有的訪問統(tǒng)一到一個Graph SQL下面，關(guān)于這個我們也在進(jìn)行一些額外的探索，因為到底SQL是不是最適合于Graph語言是有爭議的，但我們可以用SQL部分描述性的功能再加上一些擴(kuò)展，可以完成我們想要的功能。

　　經(jīng)過前面針對圖計算能力的研發(fā)后，我們擁有多個圖計算引擎，同時為了優(yōu)化客戶體驗，在上層也用SQL語言進(jìn)行統(tǒng)一。這樣我們的開放計算架構(gòu)就擁有了強(qiáng)大的圖計算能力。

　　開放計算架構(gòu)下的融合計算

　　經(jīng)過前面的研發(fā)，開放計算架構(gòu)里有了大量的計算引擎，雖然在上層進(jìn)行了統(tǒng)一，但這種情況往往不是最優(yōu)的選擇。當(dāng)我們對已有的計算模式已經(jīng)有把握，了解的比較清楚的時候，有沒有可能對它們進(jìn)行更多的優(yōu)化?很多情況下用戶需要的是要多種模式融合起來的計算，有時候需要流加上圖，有時候需要流加機(jī)器學(xué)習(xí)加其他的東西，我們給出的答案就是融合計算引擎。

　　融合計算在底層基于Ray，Ray是螞蟻金服聯(lián)合 UC Berkeley 大學(xué)推進(jìn)的新一代計算引擎，融合計算通過一套引擎解決復(fù)雜場景問題，通過動態(tài)計算及狀態(tài)共享提高效率，實現(xiàn)研發(fā)、運行時、容災(zāi)一體化。

　　融合計算已經(jīng)在螞蟻若干場景中落地，包括：

　　動態(tài)圖推導(dǎo)，流+圖計算，性能上可以1秒內(nèi)完成6層迭代查詢，用于實時反套現(xiàn)、欺詐識別;

　　金融在線決策，流+分布式查詢+在線服務(wù)，性能上數(shù)據(jù)生產(chǎn)到分布式查詢一秒內(nèi)，用于金融網(wǎng)絡(luò)監(jiān)控、機(jī)構(gòu)渠道路由等;

　　在線機(jī)器學(xué)習(xí)，流+分布式機(jī)器學(xué)習(xí)，性能上實現(xiàn)秒級數(shù)據(jù)樣本到模型更新，用于智能營銷、實時推薦、流控等。

　　融合計算并不會取代其它的引擎，而是作為補(bǔ)充，用于部分合適的場景。通過上面的分享可以看到，這套架構(gòu)可以容納各種不同種類和作用的計算引擎，這也是開放二字的意義，如果未來有一個新的引擎，或者業(yè)務(wù)對數(shù)據(jù)有新的需求，完全可以插入自己的引擎直接使用。

　　最后總結(jié)一下螞蟻金服對數(shù)據(jù)智能未來的整體愿景，我們希望未來的存儲是可以打通的，所有的引擎是可以插拔、融合的，上層希望有標(biāo)準(zhǔn)的數(shù)據(jù)訪問模式，所有的這一套組合在一起，我們把它叫做Big Data Base。我們認(rèn)為，大數(shù)據(jù)經(jīng)過過去十多年的發(fā)展，一定會進(jìn)化到下一個階段，對數(shù)據(jù)的增刪改查會像數(shù)據(jù)庫一樣簡單。

　　另外一個層面，Big Data Base還意味著可以在一個體系中很方便的使用包含機(jī)器學(xué)習(xí)、圖計算以及未來各種各樣的計算引擎。這套開放計算架構(gòu)中的很多組件我們已經(jīng)開源，這個大的體系我們還在研發(fā)過程中，未來會和大家分享更多的細(xì)節(jié)，希望大家能夠一起參與進(jìn)來，把金融的數(shù)據(jù)智能領(lǐng)域推到下一個階段。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。