欧美,精品,综合,亚洲,好吊妞视频免新费观看,免费观看三级吃奶,一级a片女人自慰免费看

 首頁 > 新聞 > 國內(nèi) >

海量分析,數(shù)據(jù)掘金—中興通訊金融行業(yè)大數(shù)據(jù)方案

2015-02-04 09:02:25   作者:   來源:CTI論壇   評(píng)論:0  點(diǎn)擊:


  近年來移動(dòng)互聯(lián)網(wǎng)發(fā)展迅猛,數(shù)據(jù)迅速膨脹,全球步入大數(shù)據(jù)時(shí)代。大數(shù)據(jù)時(shí)代下,金融邊界不斷延伸,部分具有互聯(lián)網(wǎng)大數(shù)據(jù)功能的公司也逐漸向金融行業(yè)滲透。以阿里巴巴為代表的互聯(lián)網(wǎng)公司攜大數(shù)據(jù)技術(shù)打造的互聯(lián)網(wǎng)金融產(chǎn)品大舉進(jìn)入金融行業(yè),來勢洶洶。傳統(tǒng)金融企業(yè)亟需大數(shù)據(jù)技術(shù)支撐去發(fā)現(xiàn)和驅(qū)動(dòng)新的業(yè)務(wù),應(yīng)對(duì)來自互聯(lián)網(wǎng)金融的挑戰(zhàn)。

  基于金融行業(yè)安全、自主、高效的特點(diǎn),金融行業(yè)的大數(shù)據(jù)解決方案有如下需求:

  • 自主掌控:基于成熟數(shù)據(jù)庫,可以完全掌握源代碼,技術(shù)成熟經(jīng)過驗(yàn)證,可自主維護(hù),安全性高;
  • 安全可靠:基于集群技術(shù),不存在單點(diǎn)故障;
  • 性能卓越:具備高效數(shù)據(jù)處理能力,海量并發(fā)連接;SQL解析優(yōu)化與存儲(chǔ)分離;
  • 線性擴(kuò)展:通過線性擴(kuò)展提升性能,可根據(jù)業(yè)務(wù)量靈活調(diào)整系統(tǒng);
  • 成本可控:有效降低成本,控制IT支出,數(shù)據(jù)存儲(chǔ)基于廉價(jià)硬盤,使用廉價(jià)服務(wù)器,舍棄傳統(tǒng)昂貴的數(shù)據(jù)庫;
  • 易于開發(fā):對(duì)外提供SQL和API豐富接口,數(shù)據(jù)持久化對(duì)應(yīng)用透明,保持對(duì)通用數(shù)據(jù)庫最大兼容性,數(shù)據(jù)分布對(duì)應(yīng)用透明,降低開發(fā)難度。

  基于以上分析,中興通訊基于Hadoop以及開源數(shù)據(jù)庫技術(shù),結(jié)合在大數(shù)據(jù)項(xiàng)目中的實(shí)踐經(jīng)驗(yàn),推出面向金融行業(yè)的GoldenData大數(shù)據(jù)解決方案(見圖1)。

  中興通訊GoldenData大數(shù)據(jù)解決方案針對(duì)金融行業(yè)特點(diǎn),在安全、開放、調(diào)度、部署、資源隔離、可管理等方面做了開創(chuàng)性工作。

  • 兼顧效率的安全機(jī)制

  在保證安全防護(hù)等級(jí)的前提下,為了不影響平臺(tái)的處理效率,中興通訊大數(shù)據(jù)平臺(tái)采用管理手段、硬件防護(hù)、軟件加固三位一體的整體安全解決方案。通過技術(shù)手段解決權(quán)限控制、數(shù)據(jù)加解密、事后審計(jì)、誤操作恢復(fù)的問題,通過硬件防護(hù)、管理手段解決身份認(rèn)證的問題。

  • 標(biāo)準(zhǔn)的開放接口和開發(fā)環(huán)境

  提供標(biāo)準(zhǔn)的開放接口和開發(fā)環(huán)境,支持第三方快速完成應(yīng)用開發(fā)。對(duì)上層應(yīng)用提供兼容SQL、WebService等接口,方便與現(xiàn)有IT系統(tǒng)的集成;對(duì)下層數(shù)據(jù)分布式海量數(shù)據(jù)集采組件,支持多種數(shù)據(jù)源接口:HDFS、Hbase、Hive、ZooKeeper、Sqoop、MR等,屏蔽Hadoop底層技術(shù),提供標(biāo)準(zhǔn)API接口。

  • 多種調(diào)度機(jī)制

  獨(dú)立VIP調(diào)度隊(duì)列:為了確保特定的任務(wù)可以相對(duì)獨(dú)立運(yùn)行,不受其他任務(wù)干擾,需要單獨(dú)開設(shè)一個(gè)VIP隊(duì)列。

  特色的任務(wù)翻牌機(jī)制:金融行業(yè)每個(gè)任務(wù)都有自己固定的運(yùn)行時(shí)間和計(jì)劃,對(duì)于失敗的任務(wù)或過了時(shí)間卻不滿足運(yùn)行條件的任務(wù),需要一個(gè)固定的翻牌機(jī)制,確保任務(wù)在合適的時(shí)機(jī)得到正確的運(yùn)行。

  集群流控:在線集群為了保證客戶請(qǐng)求得到實(shí)時(shí)響應(yīng),在必要的條件下,對(duì)新請(qǐng)求直接拒絕從而確保已有請(qǐng)求獲得充分的資源,確保在線集群的及時(shí)響應(yīng)。

  • 獨(dú)創(chuàng)在線集群獨(dú)立部署

  在線應(yīng)用和基礎(chǔ)應(yīng)用物理部署隔離,確保普通應(yīng)用不干擾在線應(yīng)用;通過Hfile文件實(shí)現(xiàn)兩個(gè)集群間的數(shù)據(jù)遷移,減輕在線應(yīng)用集群負(fù)擔(dān);統(tǒng)一管理多套集群,并可對(duì)多套集群運(yùn)行指標(biāo)進(jìn)行縱向?qū)Ρ取?/p>

  • 資源隔離

  數(shù)據(jù)隔離:平臺(tái)上同時(shí)運(yùn)行多個(gè)應(yīng)用程序,從應(yīng)用數(shù)據(jù)輸入、程序運(yùn)行、應(yīng)用運(yùn)行中間數(shù)據(jù),到程序結(jié)果都通過權(quán)限做隔離,避免應(yīng)用程序之間出現(xiàn)數(shù)據(jù)干擾。

  避免過度空間占用:配置應(yīng)用級(jí)別HDFS使用配額,避免某應(yīng)用程序占用過多空間。

  避免超長占用計(jì)算資源:支持MapReduce程序運(yùn)行時(shí)間預(yù)判,通過測試環(huán)境和歷史數(shù)據(jù)自動(dòng)評(píng)估運(yùn)行時(shí)長,如果實(shí)際運(yùn)行超過預(yù)估時(shí)間50%則進(jìn)行告警。

  • 統(tǒng)一管理

  中興通訊大數(shù)據(jù)產(chǎn)品提供統(tǒng)一管理。中興通訊面向ICT的組件化大數(shù)據(jù)平臺(tái),專注于保障大數(shù)據(jù)業(yè)務(wù)的最終用戶使用體驗(yàn)、促進(jìn)大數(shù)據(jù)業(yè)務(wù)的快速成長,至頂向下為大數(shù)據(jù)業(yè)務(wù)生態(tài)系統(tǒng)中涉及的各類管理對(duì)象提供統(tǒng)一的平臺(tái)管理保障。

  中興通訊GoldenData大數(shù)據(jù)平臺(tái)產(chǎn)品在金融銀行和全球運(yùn)營商等市場具有多個(gè)成熟商用案例,具備良好的技術(shù)積累和豐富的工程現(xiàn)網(wǎng)實(shí)施經(jīng)驗(yàn)。中興通訊愿在大數(shù)據(jù)時(shí)代下幫助客戶華麗轉(zhuǎn)型,實(shí)現(xiàn)數(shù)據(jù)掘金、價(jià)值共享。

分享到: 收藏

專題