Apache SystemML 是由 IBM 開發(fā)并開源的優(yōu)化大數(shù)據(jù)機(jī)器學(xué)習(xí)平臺,為使用大數(shù)據(jù)的機(jī)器學(xué)習(xí)提供了最佳的工作場所。 它可以在 Apache Spark上運(yùn)行,會自動縮放數(shù)據(jù),逐行確定代碼是否應(yīng)在驅(qū)動程序或 Apache Spark 群集上運(yùn)行。 (推薦學(xué)習(xí):phpstorm)
SystemML 是聲明式機(jī)器學(xué)習(xí) (DML),包含線性代數(shù)原語,統(tǒng)計(jì)功能和 ML 指定結(jié)構(gòu),可以更容易也更原生的表達(dá) ML 算法。
算法通過 R 類型或者 Python 類型的語法進(jìn)行表達(dá)。DML 通過提供靈活的定制分析表達(dá)和獨(dú)立于底層輸入格式和物理數(shù)據(jù)表示的數(shù)據(jù)顯著提升數(shù)據(jù)科學(xué)的生產(chǎn)力。
其次,SystemML 提供自動優(yōu)化功能,通過數(shù)據(jù)和集群特性保證高效和可伸縮。SystemML 可以在 MapReduce 或者 Spark 環(huán)境運(yùn)行。
SystemML 與眾不同的是:
(1) 可定制算法
(2) 多個(gè)執(zhí)行模式,包括單個(gè),Hadoop 批量和 Spark 批量,
(3) 自動優(yōu)化
SystemML 先進(jìn)的機(jī)器學(xué)習(xí)主要基于兩方面:
SystemML 語言,聲明式機(jī)器學(xué)習(xí) (DML)。SystemML 包含線性代數(shù)原語,統(tǒng)計(jì)功能和 ML 指定結(jié)構(gòu),可以更容易也更原生的表達(dá) ML 算法。算法通過 R 類型或者 Python 類型的語法進(jìn)行表達(dá)。
DML 通過提供靈活的定制分析表達(dá)和獨(dú)立于底層輸入格式和物理數(shù)據(jù)表示的數(shù)據(jù)顯著提升數(shù)據(jù)科學(xué)的生產(chǎn)力。
其次,SystemML 提供自動優(yōu)化功能,通過數(shù)據(jù)和集群特性保證高效和可伸縮。SystemML 可以在 MapReduce 或者 Spark 環(huán)境運(yùn)行。