京東數(shù)科自研聯(lián)邦學(xué)習(xí)平臺(tái)Fedlearn正式推出
FedLearning是一個(gè)由自己開發(fā)的聯(lián)邦學(xué)習(xí)平臺(tái),其目標(biāo)是在滿足數(shù)據(jù)隱私安全和監(jiān)督要求的前提下,更好地挖掘數(shù)據(jù)價(jià)值,實(shí)現(xiàn)多贏機(jī)器學(xué)習(xí),使人工智能系統(tǒng)更有效、更準(zhǔn)確地使用自己的數(shù)據(jù)。
FedLearning平臺(tái)有三個(gè)主要特點(diǎn)。首先,在數(shù)據(jù)和模型隱私方面,本地?cái)?shù)據(jù)和模型參數(shù)不是在不同的參與者之間直接交換,而是交換更新參數(shù)所需的中間值。同時(shí),為了避免從這些中間值中恢復(fù)數(shù)據(jù)信息,通過(guò)增加擾動(dòng)來(lái)保護(hù)這些值,以確保數(shù)據(jù)和模型的隱私和安全性。其次,在通信方面,引入了集中式數(shù)據(jù)交換的概念,使數(shù)據(jù)交換與參與者無(wú)關(guān)。最后,采用異步計(jì)算框架,大大提高了模型訓(xùn)練的速度。
FedLearning平臺(tái)將密碼學(xué)、機(jī)器學(xué)習(xí)、塊鏈和其他聯(lián)邦學(xué)習(xí)算法結(jié)合起來(lái),構(gòu)建了一套安全、智能和高效的鏈接平臺(tái)。在各組織的數(shù)據(jù)不需要向外傳輸?shù)那疤嵯拢Y(jié)合多方組織數(shù)據(jù),實(shí)現(xiàn)了聯(lián)合建設(shè)模型等多方數(shù)據(jù)的聯(lián)合使用場(chǎng)景,并取得了額外的效果。與傳統(tǒng)的數(shù)據(jù)共享和交換方法相比,F(xiàn)edLearning平臺(tái)創(chuàng)新性地提出了并行加密算法、異步計(jì)算框架、創(chuàng)新的聯(lián)邦學(xué)習(xí)等技術(shù)框架,在保證數(shù)據(jù)安全的前提下提高了學(xué)習(xí)效率,并逐步實(shí)現(xiàn)了對(duì)1億級(jí)數(shù)據(jù)的集成能力。
在JD.com數(shù)學(xué)系開發(fā)FedLearning平臺(tái)的過(guò)程中,實(shí)現(xiàn)了基于內(nèi)核的非線性聯(lián)邦學(xué)習(xí)算法,在安全性方面,該方法不傳輸原始樣本和梯度信息,充分保護(hù)了數(shù)據(jù)的隱私;在快速性方面,該方法采用了第一次雙隨機(jī)梯度下降,大大提高了計(jì)算速度,充分利用了計(jì)算資源,并通過(guò)增加干擾提高了數(shù)據(jù)的安全保護(hù),形成了"解決多黨垂直聯(lián)邦學(xué)習(xí)的安全核心學(xué)習(xí)算法"((FederatedDoublyStochasticKernelLearningforVerticallyPartitionedData).")。
彭南波,JD 智能模特主管。Com 的數(shù)學(xué)科學(xué)風(fēng)險(xiǎn)管理中心說(shuō):"在 JD。COM 的風(fēng)險(xiǎn)控制" 聯(lián)邦模箱 " 產(chǎn)品業(yè)務(wù)實(shí)踐,比傳統(tǒng)的聯(lián)合建模取得了更好的效果。一方面,聯(lián)邦學(xué)習(xí)理論上可以得到最優(yōu)解,即通過(guò)梯度降迭代過(guò)程可以實(shí)現(xiàn)聯(lián)邦之間的特征組合和交叉建模,從而解決諸如異或等非線性問題。另一方面,由于它可以保護(hù)數(shù)據(jù)的隱私和安全性,不需要限制建模樣本的數(shù)量,這樣聯(lián)邦學(xué)習(xí)就可以使用更多的數(shù)據(jù)建模,在大數(shù)據(jù)的基礎(chǔ)上更有效地發(fā)現(xiàn)數(shù)據(jù)規(guī)律,從而提高模型的效果。
目前,京東的金條和白條業(yè)務(wù)模式已經(jīng)完全實(shí)現(xiàn)了從傳統(tǒng)建模到聯(lián)邦建模的升級(jí),并且在聯(lián)邦模型下提高了模型的風(fēng)險(xiǎn)識(shí)別能力和流量轉(zhuǎn)換率。除了在風(fēng)險(xiǎn)控制方面的應(yīng)用外,JD.com 開發(fā)的聯(lián)邦學(xué)習(xí)平臺(tái) FedLearning 平臺(tái)也廣泛應(yīng)用于 Ai+ 智能城市領(lǐng)域。
此外,京東數(shù)學(xué)部憑借在金融服務(wù)、數(shù)字營(yíng)銷等領(lǐng)域積累的豐富實(shí)踐經(jīng)驗(yàn),形成多情景解決方案,通過(guò)聯(lián)邦學(xué)習(xí)可以實(shí)現(xiàn)多場(chǎng)景解決方案升級(jí),結(jié)合每個(gè)客戶的情況,提供更高程度的定制服務(wù)。目前,已經(jīng)實(shí)施了多種不同類型的合作項(xiàng)目。
從底層代碼到算法,再到平臺(tái)構(gòu)建,JD。COM 數(shù)學(xué)系始終堅(jiān)持自主研發(fā)和創(chuàng)新,一路穩(wěn)健。薄麗峰說(shuō):" 我們希望依靠數(shù)字科技強(qiáng)大的人工智能技術(shù)背景,通過(guò) FedLearning 平臺(tái)的科技能力幫助用戶和行業(yè)實(shí)現(xiàn)‘連接’,實(shí)現(xiàn)各種規(guī)模企業(yè)的授權(quán)和增長(zhǎng),這也是我們作為聯(lián)邦學(xué)習(xí)應(yīng)用程序的領(lǐng)導(dǎo)者的使命。
-
安卓首家!榮耀上線DeepSeek-R1
-
對(duì)話金旗獎(jiǎng)獲獎(jiǎng)企業(yè):潘多拉飲食集團(tuán)2024金旗獎(jiǎng)復(fù)盤訪談
-
招商蛇口旗下伊敦新春開門紅丨滿房映初心 溫情暖人間
-
即熱式熱水器核心技術(shù)再突破——德國(guó)寶創(chuàng)新科技定義品質(zhì)生活新標(biāo)桿
-
四大熱賣熱水器同場(chǎng)競(jìng)技,德國(guó)寶即熱式綜合優(yōu)勢(shì)顯著
-
九章云極DataCanvas免費(fèi)提供100度算力包,極速部署不蒸餾滿血版DeepSeek-R1!
-
AlphaGPT 與DeepSeek強(qiáng)強(qiáng)聯(lián)合,打造更好用的法律AI產(chǎn)品