站長資訊網(wǎng)人工智能和機器學習仍然是全球持續(xù)增長的領域之一，近年來涌現(xiàn)出越來越多本科生或者非人工智能專業(yè)出身的工程師，他們努力學習和使用技術來改進產(chǎn)品，幾乎每天都有新的機器學習技術和框架發(fā)布。這篇文章將討論領英如何規(guī)模化利用技術，幫助更多工程師提升機器學習的效率。近日，領英中國機器學習研發(fā)經(jīng)理李子在IEEE數(shù)據(jù)挖掘國際會議(ICDM)上分享了領英是如何規(guī)?；_展機器學習，介紹領英的核心產(chǎn)品以及如何利用技術幫助更多工程師提升機器學習的效率。
Pro-ML提升機器學習效率
不過，F(xiàn)eature Marketplace也面臨著挑戰(zhàn)：如何確保工程師能夠得到他們所需要的么，比如在線和離線特征是一致的。如果做了大量離線實驗，收集好的特征用于建模，那么這個模型可能會表現(xiàn)得很好，但不能保證在線的時候這個特征是穩(wěn)定的，如果不穩(wěn)定，那模型性能可能會下降。事實上，這種事故在過去幾年屢見不鮮。為了解決這個問題，領英構(gòu)建了一個工具稱為Frame。Frame是一個基于相同配置和相同公共庫離線和在線生成特征的平臺，保證了離線和在線的一致性。領英向工程師提供操作細節(jié)，工程師只需要在Quasar模型中指定特征的名稱，就可以保證在線和離線獲取特征的一致性。
特征集齊后就需要算法。領英支持深度學習、決策樹算法、Generalized Linear Mixed Model (GLMix)等多種算法。在深度學習的場景中，領英使用Tensorflow;在決策樹算法的場景中使用XGBoost，兩者都是第三方庫。對于GLMix，領英研發(fā)并開源了一個機器學習庫叫做Photon。GLMix模型大大提高了職位推薦系統(tǒng)的性能，成功使職位申請數(shù)量增加了20%。
根據(jù)特征和算法，領英構(gòu)建了Photon Connect訓練引擎，把上述所有組件連接起來。Photon Connect用Frame來訪問特征，并將特征與標簽數(shù)據(jù)連接起來，然后將數(shù)據(jù)傳輸至Quasar模型進行特征轉(zhuǎn)換。在這個階段，Quasar模型的參數(shù)是未知的，領英利用Quasar模型進行特征轉(zhuǎn)換，然后使用算法來學習這些參數(shù)。學習到的參數(shù)會插入到Quasar模型中。這樣，一個Quasar模型建模就完成了，它可以直接部署到線上服務中。
Health Assurance Layer保證算法順利運行
模型訓練和部署完成后，最后一個問題是：當模型實際運行的時候，如何保持它能夠正常運行呢?根據(jù)過去的經(jīng)驗教訓，在開發(fā)的早期階段越重視這個問題，越容易在實際運行時保證模型正常運行。因此，在模型探索和訓練等早期階段，領英的Health Assurance Layer提供了一系列工具，用于持續(xù)監(jiān)控和驗證。有人可能會問，在實際運行中，所有在線特征都可用嗎?特征更新的速度是否足夠快?實際上，如果出現(xiàn)任何異樣， Health Assurance Layer 將通知相應的工程師，他們會介入進行調(diào)試。Health Assurance Layer為工程師提供了一系列工具，幫助他們快速鎖定問題。
贊(0) 