騰訊Angelv1.0 官方正式版

Angel是騰訊第三代的計算平臺，使用Java和Scala語言開發(fā)，面向機器學習的高性能分布式計算框架，它采用參數(shù)服務(wù)器架構(gòu)，解決了上一代框架的擴展性問題，支持數(shù)據(jù)并行及模型并行的計算模式，能支持十億級別維度的模型訓(xùn)練。

基本簡介：

Angel 是一個基于參數(shù)服務(wù)器（Parameter Server）理念開發(fā)的高性能分布式機器學習平臺，它基于騰訊內(nèi)部的海量數(shù)據(jù)進行了反復(fù)的調(diào)優(yōu)，并具有廣泛的適用性和穩(wěn)定性，模型維度越高，優(yōu)勢越明顯。Angel 由騰訊和北京大學聯(lián)合開發(fā)，兼顧了工業(yè)界的高可用性和學術(shù)界的創(chuàng)新性。

Angel 的核心設(shè)計理念圍繞模型。它將高維度的大模型合理切分到多個參數(shù)服務(wù)器節(jié)點，并通過高效的模型更新接口和運算函數(shù)，以及靈活的同步協(xié)議，輕松實現(xiàn)各種高效的機器學習算法。

Angel 基于 Java 和 Scala 開發(fā)，能在社區(qū)的 Yarn 上直接調(diào)度運行，并基于 PS Service，支持 Spark on Angel，未來將會支持圖計算和深度學習框架集成。

技術(shù)特點：

Angel還采用了多種業(yè)界最新技術(shù)和騰訊自主研發(fā)技術(shù)，如SSP（Stale synchronous Parallel）、異步分布式SGD、多線程參數(shù)共享模式HogWild、網(wǎng)絡(luò)帶寬流量調(diào)度算法、計算和網(wǎng)絡(luò)請求流水化、參數(shù)更新索引和訓(xùn)練數(shù)據(jù)預(yù)處理方案等。這些技術(shù)使Angel性能大幅提高，達到常見開源系統(tǒng)Spark的數(shù)倍到數(shù)十倍，能在千萬到十億級的特征維度條件下運行。

在系統(tǒng)易用性上，Angel提供豐富的機器學習算法庫及高度抽象的編程接口、數(shù)據(jù)計算和模型劃分的自動方案及參數(shù)自適應(yīng)配置，同時，用戶能像使用MR、Spark一樣在Angel上編程，我們還建設(shè)了拖拽式的一體化的開發(fā)運營門戶，屏蔽底層系統(tǒng)細節(jié)，降低用戶使用門檻。另外，Angel還支持深度學習，它支持Caffe、TensorFlow和Torch等業(yè)界主流的深度學習框架，為其提供計算加速。

版本特性：

Angel 1.0.0 新特性：

1.ParameterServer 功能

基于 Matrix/Vector 的模型自動切分和管理，兼顧稀疏和稠密兩種格式

支持對 Model 進行 Push 和 Pull 操作，可以自定義復(fù)雜的 psFunc

提供多種同步控制機制（BSP/SSP/ASP）

2. 開發(fā)運行

語言支持：系統(tǒng)基于 Scala 和 Java 開發(fā)，用戶也可以自由選擇

部署方便：可以直接在 Yarn 社區(qū)版本中運行，也支持本地調(diào)試模式

數(shù)據(jù)切分: 自動切分讀取訓(xùn)練數(shù)據(jù)，默認兼容了 Hadoop FS 接口

增量訓(xùn)練：訓(xùn)練過程中會自動 Checkpoint，而且支持加載模型后，增量訓(xùn)練

3.PS Service

只啟動 PSServer 和 PSAngent，為其他分布式計算平臺提供 PS 服務(wù)

基于 PS-Service，不需要修改 Spark 核心代碼，直接開發(fā) Spark-on-Angel 算法，該模式無縫支持 Breeze 數(shù)值運算庫

4. 算法庫

集成 Logistic Regression，SVM，KMeans，LDA，MF，GBDT 等機器學習算法

多種優(yōu)化方法，包括 ADMM，OWLQN，LBFGS 和 GD

支持多種損失函數(shù)、評估指標，包含 L1、L2 正則項

5. 算法優(yōu)化

LDA 采用了 F+LDA 算法用于加速采樣的速度，同時利用流式參數(shù)獲取的方法減少網(wǎng)絡(luò)參數(shù)獲取的延遲

GBDT 使用兩階段樹分裂算法，將部分計算轉(zhuǎn)移到 PS，減少網(wǎng)絡(luò)傳輸，提升速度