欧美,精品,综合,亚洲,好吊妞视频免新费观看,免费观看三级吃奶,一级a片女人自慰免费看

您當(dāng)前的位置是:  首頁(yè) > 新聞 > 國(guó)內(nèi) >
 首頁(yè) > 新聞 > 國(guó)內(nèi) >

青云QingCloud :常見的or定制的對(duì)象存儲(chǔ)應(yīng)用場(chǎng)景都在這了

2017-06-16 09:33:14   作者:   來源:CTI論壇   評(píng)論:0  點(diǎn)擊:


  前不久,青云QingCloud 楊錦濤 (Osier Yang) 在 QingCloud 實(shí)踐課堂·深圳站上分享了《QingStor 對(duì)象存儲(chǔ)開發(fā)實(shí)踐》,他從產(chǎn)品視角和場(chǎng)景視角詳細(xì)介紹了 QingStor 對(duì)象存儲(chǔ),分享了關(guān)于 QingStor 對(duì)象存儲(chǔ)產(chǎn)品的核心價(jià)值、系統(tǒng)架構(gòu)及應(yīng)用場(chǎng)景、在私有云和公有云的用戶案例、以及其 SDK 和產(chǎn)品體系未來的發(fā)展。全文 3388 字,建議閱讀時(shí)間 13 分鐘。
  QingStor 對(duì)象存儲(chǔ)產(chǎn)品核心價(jià)值
\
  QingStor 對(duì)象存儲(chǔ)的使命是解決非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),它具有以下幾個(gè)特點(diǎn):
  1. 海量。一方面是指數(shù)量的海量,另一方面是指容量的海量。
  2. 通用。QingStor 對(duì)象存儲(chǔ)是一個(gè)通用的非結(jié)構(gòu)化存儲(chǔ),作為 Public Service 提供給用戶,它可以不用考慮用戶的業(yè)務(wù)場(chǎng)景具體是什么,會(huì)產(chǎn)生什么類型的數(shù)據(jù)。
  3. 平臺(tái)。一方面是從狹義的角度來理解,QingStor 對(duì)象存儲(chǔ)會(huì)提供給用戶 API 及 SDK。從廣義的角度來理解的話,QingStor 對(duì)象存儲(chǔ)會(huì)構(gòu)建很多工具在其本身及相關(guān)周邊之上,以此走向用戶的具體業(yè)務(wù)。
  QingStor 對(duì)象存儲(chǔ)全局架構(gòu)
\
  QingStor 對(duì)象存儲(chǔ)是多區(qū)域架構(gòu),由 Global 管控 Zone (區(qū)域),Zone 可以任意多個(gè),在每個(gè) Zone 下面有任意多個(gè) Bucket (存儲(chǔ)空間),在 Bucket 之下有 Object,Object 的類型各種各樣。整個(gè)存儲(chǔ)對(duì)象分為四級(jí),從架構(gòu)上來看趨于一個(gè)扁平的結(jié)構(gòu)。從全局的角度來說,對(duì)象存儲(chǔ)可以作為一個(gè)容量無限擴(kuò)展的系統(tǒng),因?yàn)榭梢杂袩o限個(gè) Zone。
  QingStor 對(duì)象存儲(chǔ)高度可擴(kuò)展的區(qū)域架構(gòu)
\
  區(qū)域架構(gòu)包含以下幾個(gè)子系統(tǒng):
  • 第一個(gè)是接入子系統(tǒng),它負(fù)責(zé)直接面對(duì)來自用戶的請(qǐng)求,它是無狀態(tài)的,因此可無限水平擴(kuò)展。
  • 第二個(gè)是索引子系統(tǒng),在對(duì)象存儲(chǔ)系統(tǒng)的設(shè)計(jì)里,索引層次非常重要,因?yàn)槠浯鎯?chǔ)的是海量數(shù)據(jù),因此會(huì)產(chǎn)生海量的索引數(shù)據(jù),比如,每一個(gè)文件都有其元數(shù)據(jù)信息,每一個(gè)文件的存儲(chǔ),都會(huì)涉及到存放位置的記錄。
  為此,QingStor 對(duì)象存儲(chǔ)做了一個(gè)類似分布式關(guān)系型數(shù)據(jù)庫(kù)的系統(tǒng),該數(shù)據(jù)庫(kù)和真正的分布式數(shù)據(jù)庫(kù)唯一的區(qū)別是不支持分布式事務(wù)。因?yàn)樵趯?duì)象存儲(chǔ)的場(chǎng)景下,沒有必要支持分布式事務(wù),但整個(gè)索引子系統(tǒng)可以做到無限的水平擴(kuò)展。
  • 第三個(gè)是存儲(chǔ)子系統(tǒng)。QingStor 對(duì)象存儲(chǔ)做了多集群調(diào)度的方案,其目的是為了讓存儲(chǔ)容量能夠無限地?cái)U(kuò)展,因?yàn)榉植际较到y(tǒng),尤其是分布式存儲(chǔ)中,當(dāng)一個(gè)集群增長(zhǎng)到一定程度時(shí),集群的運(yùn)維程度或者說可維護(hù)性都會(huì)降低。
  同時(shí),在多集群調(diào)度的架構(gòu)設(shè)計(jì)下,底層的存儲(chǔ)集群可以很容易做異構(gòu),比如說,用戶有一些業(yè)務(wù)場(chǎng)景是存取非常頻繁,還有一些是訪問比較低頻,甚至有一些是數(shù)據(jù)接近于冷存儲(chǔ),而這些場(chǎng)景在多集群調(diào)度的架構(gòu)設(shè)計(jì)下,很容易實(shí)現(xiàn)。
  • 第四個(gè)是調(diào)度子系統(tǒng),負(fù)責(zé)調(diào)度多個(gè)集群,其對(duì)每一個(gè)存儲(chǔ)集群進(jìn)行各種維度的實(shí)時(shí)地監(jiān)控,監(jiān)控?cái)?shù)據(jù)被用來做調(diào)度的決策因子,在用戶上傳文件時(shí),由調(diào)度子系統(tǒng)來決策它應(yīng)該存儲(chǔ)到哪里。
  接入子系統(tǒng)、索引子系統(tǒng)、及存儲(chǔ)子系統(tǒng)都可以無限水平地?cái)U(kuò)展,調(diào)度子系統(tǒng)本身無擴(kuò)展性需求。因此,通過這樣的架構(gòu),QingStor 對(duì)象存儲(chǔ)的每一個(gè)區(qū)域可以達(dá)到容量無限可擴(kuò)展及文件數(shù)量無限的目的。
  QingStor 對(duì)象存儲(chǔ)應(yīng)用場(chǎng)景
  對(duì)象存儲(chǔ)作為應(yīng)用數(shù)據(jù)的持久化存儲(chǔ)
\
 
  上圖為對(duì)象存儲(chǔ)作為應(yīng)用數(shù)據(jù)的持久化存儲(chǔ)架構(gòu)圖,包括負(fù)載均衡、應(yīng)用服務(wù)器,遇到結(jié)構(gòu)化的數(shù)據(jù)庫(kù)存儲(chǔ)到關(guān)系型數(shù)據(jù)庫(kù),非結(jié)構(gòu)化的數(shù)據(jù)往對(duì)象存儲(chǔ)里存。該場(chǎng)景的結(jié)構(gòu)非常簡(jiǎn)單,但卻非常通用,可同時(shí)應(yīng)用到一些青云之外的場(chǎng)景,比如在私有場(chǎng)景下部署了 QingStor 對(duì)象存儲(chǔ),但是沒有部署 QingCloud IaaS,這種使用方式仍然適用。
  企業(yè)各類數(shù)據(jù)的備份和歸檔
\
  QingStor 對(duì)象存儲(chǔ)兼容 AWS S3 接口,在這種場(chǎng)景下很多企業(yè)級(jí)備份軟件,例如 CommVault、英方 i2dot,都可以通過 QingStor 對(duì)象存儲(chǔ) AWS S3 兼容的通道,將數(shù)據(jù)備份到 QingStor 對(duì)象存儲(chǔ)上。
  QingStor 對(duì)象存儲(chǔ)為了幫助用戶完成實(shí)時(shí)數(shù)據(jù)增量的備份,開源了 qsctl 這樣的工具。今年QingStor 對(duì)象存儲(chǔ)會(huì)進(jìn)一步通過渠道、合作伙伴來對(duì)接更多家做數(shù)據(jù)備份和歸檔的廠商。
  企業(yè)網(wǎng)盤和文檔管理的存儲(chǔ)后端
\
  對(duì)象存儲(chǔ)解決的是底層系統(tǒng)的問題,它面向的是開發(fā)者,而企業(yè)網(wǎng)盤解決了很多上層邏輯的問題。也就是說,企業(yè)網(wǎng)盤是面向人的,企業(yè)網(wǎng)盤中做文件的共享、協(xié)作、打標(biāo)簽、收藏等等這樣的功能對(duì)象存儲(chǔ)不會(huì)提供。對(duì)象存儲(chǔ),一個(gè)空間中往往用戶可能會(huì)放十億、二十億、上百億的文件,這些文件如果人類去管控的話,幾乎不可能。
  隨著 AppCenter 的發(fā)布,QingStor 對(duì)象存儲(chǔ)推出了一款基于開源的網(wǎng)盤系統(tǒng) NextCloud 制作而成的 APP,用戶可以借助這個(gè) APP 很快地部署一個(gè)企業(yè)級(jí)網(wǎng)盤應(yīng)用。
  對(duì)象存儲(chǔ)和 CDN 加速服務(wù)的整合
\
  從對(duì)象存儲(chǔ)這個(gè)行業(yè)發(fā)展的趨勢(shì)來看,對(duì)象存儲(chǔ)的未來一定是外延的,這個(gè)外延是指向用戶去延伸。對(duì)象存儲(chǔ)本身是集中的系統(tǒng),雖然它有多區(qū)域的部署模型,但是本質(zhì)上是一個(gè)集中式的存儲(chǔ)系統(tǒng)。而對(duì)象存儲(chǔ)向外延伸的第一站便是 CDN。
  去年,青云QingCloud 開發(fā)了融合的 CDN,所謂的融合 CDN 是我們要將接入到系統(tǒng)中的各家第三方的 CDN 廠商統(tǒng)一地調(diào)度。融合 CDN 的好處是:
  • 第一,地域覆蓋更廣。每一家 CDN 覆蓋的線路、地域、運(yùn)營(yíng)商都不同,但是如果說把它們統(tǒng)一地調(diào)度起來,我們的覆蓋率會(huì)很高。
  • 第二,通過智能的調(diào)度算法,提供更低價(jià)格的 CDN 服務(wù),幫助用戶在延時(shí)上獲得更好的體驗(yàn),此兩點(diǎn)為融合 CDN 的核心使命。
  同時(shí)青云QingCloud 還在做自建的 CDN,它分為兩方面:一是公有云上會(huì)投入運(yùn)營(yíng),二是在私有云場(chǎng)景下也有用戶有 CDN 的需求。比如客戶在私有云的場(chǎng)景下用了我們的對(duì)象存儲(chǔ),它的辦公室可能遍布全國(guó),它想盡可能地節(jié)省流量。也就是說,在私有云的場(chǎng)景下,青云QingCloud 會(huì)把 CDN 逐漸地產(chǎn)品化,推向市場(chǎng)。
  靜態(tài)網(wǎng)站托管
\
  青云QingCloud 鼓勵(lì)用戶在青云之上做這種動(dòng)靜分離的部署,靜態(tài)的數(shù)據(jù)放在對(duì)象存儲(chǔ)里,通過靜態(tài)網(wǎng)站托管的方式和外掛 CDN 的方式做加速;剩下的動(dòng)態(tài)資源,可以以結(jié)構(gòu)化數(shù)據(jù)的形式,在關(guān)系型數(shù)據(jù)庫(kù)如: MongoDB、MySQL 上存儲(chǔ),并且可以和大數(shù)據(jù)分析業(yè)務(wù)進(jìn)行集成。
  視頻存儲(chǔ)和處理
\
  該案例基于一個(gè)私有云客戶,它的原理很簡(jiǎn)單,客戶的業(yè)務(wù)場(chǎng)景里有很多攝像頭,實(shí)時(shí)地進(jìn)行視頻監(jiān)控。監(jiān)控?cái)z像頭每天產(chǎn)生的數(shù)據(jù)量非常大,如果用戶在本地存下來,然后再上傳,本地存儲(chǔ)的成本就會(huì)很高。所以,首先要解決的一個(gè)問題是視頻流的實(shí)時(shí)傳輸。上圖中視頻服務(wù)器,它首先是接視頻流,然后做一些相應(yīng)的處理(如轉(zhuǎn)碼),最終把數(shù)據(jù)存在 QingStor 對(duì)象存儲(chǔ)中。
  對(duì)象存儲(chǔ)和大數(shù)據(jù)平臺(tái)無縫集成\
  QingStor 對(duì)象存儲(chǔ)和青云QingCloud 的大數(shù)據(jù)平臺(tái),例如 Hadoop、Spark、Elasticsarch、Hive,全都可以進(jìn)行無縫地集成,它集成的方式也是通過 AWS S3 的兼容。同時(shí),我們也在為大數(shù)據(jù)平臺(tái)開發(fā)插件,以將 QingStor 對(duì)象存儲(chǔ)的 Bucket 作為大數(shù)據(jù)平臺(tái)的原生存儲(chǔ)。
  對(duì)象存儲(chǔ)數(shù)據(jù)遷移方案
\
  數(shù)據(jù)遷移方案其實(shí)也是很多用戶關(guān)心的一個(gè)問題,針對(duì)存儲(chǔ)在其他對(duì)象存儲(chǔ)平臺(tái)上和存在自己的數(shù)據(jù)中心里面的數(shù)據(jù),QingStor 對(duì)象存儲(chǔ)提供了以下兩種遷移方式:
  • 一是被動(dòng)遷移,在 QingStor 對(duì)象存儲(chǔ)上創(chuàng)建了一個(gè) Bucket,可以給這個(gè) Bucket 設(shè)置一個(gè)屬性,指向一個(gè)外部的源站。當(dāng)訪問 QingStor 對(duì)象存儲(chǔ) Bucket 里的數(shù)據(jù)時(shí),如果它不存在,就會(huì)源站去拉取并存儲(chǔ)到 QingStor 對(duì)象存儲(chǔ) Bucket 中,該功能稱作“外部鏡像”。
  • 二是主動(dòng)遷移,以命令行工具 qscamel 完成,qscamel 可主動(dòng)地將數(shù)據(jù)從指定的 URL 拉取到 QingStor 對(duì)象存儲(chǔ)的 Bucket 中。被動(dòng)遷移和主動(dòng)遷移可配合使用,以對(duì)源站數(shù)據(jù)完成全部遷移。
  對(duì)象存儲(chǔ)作為輿情系統(tǒng)的海量數(shù)據(jù)保存場(chǎng)所
\
  該案例是 QingStor 對(duì)象存儲(chǔ)作為輿情系統(tǒng)的海量數(shù)據(jù)存儲(chǔ)的實(shí)際應(yīng)用,首先通過爬蟲爬取網(wǎng)頁(yè),將關(guān)系型的數(shù)據(jù)存在 QingCloud 的 RDB 里,將非結(jié)構(gòu)化的數(shù)據(jù)存在 QingStor 對(duì)象存儲(chǔ)里,同時(shí)用 Spark 對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析。分析完產(chǎn)生的數(shù)據(jù)可以回填,如果是結(jié)構(gòu)化的數(shù)據(jù),繼續(xù)回填到青云的結(jié)構(gòu)化數(shù)據(jù)服務(wù)里,產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù),回填至 QingStor 對(duì)象存儲(chǔ)。最終,在展示層通過 CDN 加速做分發(fā)。
  SDK
\
  QingStor 對(duì)象存儲(chǔ)覆蓋了七種語言的 SDK(注:截至目前,QingStor 對(duì)象存儲(chǔ)新增 .Net SDK、Scala SDK)
  QingStor 對(duì)象存儲(chǔ)產(chǎn)品體系
\
        1、點(diǎn)播/直播
  視頻、短視頻作為人們溝通的新型媒介,它會(huì)很長(zhǎng)一段時(shí)間持續(xù)地存在,整個(gè)直播行業(yè)最終會(huì)趨于理性化。
        2、Event  Bus
  舉例來講,假設(shè)我是一個(gè)用戶,上傳一個(gè)圖片到對(duì)象 Bucket 中。我想完成一個(gè)需求是,凡是以 .JPG 為后綴的文件均打一個(gè)水印,這個(gè)需求看起來簡(jiǎn)單,其實(shí)會(huì)涉及到規(guī)則的匹配、事件的觸發(fā)、事件入隊(duì)列、事件訂閱、時(shí)間處理等環(huán)節(jié)。QingStor 對(duì)象存儲(chǔ)支持官方的數(shù)據(jù)服務(wù) (音視頻的處理、圖形圖像的處理)、第三方的數(shù)據(jù)處理、及用戶自定義的數(shù)據(jù)處理。
  其中用戶自定義的數(shù)據(jù)處理存在一個(gè)特征,和操作系統(tǒng)里的進(jìn)程類似,進(jìn)程可分為兩類:一類是長(zhǎng)時(shí)間運(yùn)行的進(jìn)程,另一類是生命周期比較短的進(jìn)程。用戶自定義數(shù)據(jù)處理中的特征生命周期就比較短,因此需要一個(gè)彈性的運(yùn)行時(shí)環(huán)境。
  3、大數(shù)據(jù)
  大數(shù)據(jù)分為兩個(gè)階段:
  • 第一個(gè)階段通過 AWS S3 的方式完成第一步的集成;
  • 第二步把對(duì)象存儲(chǔ)做成大數(shù)據(jù)平臺(tái)的 NativeStorage。
  4、Open  Source
  QingStor 對(duì)象存儲(chǔ)產(chǎn)品從去年開始為一些開源項(xiàng)目或者工具添加我們的插件,這樣做的目的有兩個(gè):
  • 一是推行對(duì)象存儲(chǔ)的接口,這個(gè)接口是一個(gè)廣義上的說法,包括我們 API、SDK;
  • 二是 QingStor 對(duì)象存儲(chǔ)產(chǎn)品會(huì)在 Open  Source 領(lǐng)域持續(xù)不斷地構(gòu)建生態(tài)。
  5、Portal
  Portal 的產(chǎn)品定位是幫助用戶做對(duì)象存儲(chǔ)的日志系統(tǒng)、監(jiān)控系統(tǒng)、用戶管理系統(tǒng)、對(duì)象存儲(chǔ)里的常用監(jiān)控指標(biāo)(Object 信息等)、告警系統(tǒng),把這些系統(tǒng)集成進(jìn)來,以圖形化的方式交付給用戶,尤其是私有云用戶,會(huì)非常關(guān)心。
  6、存儲(chǔ)網(wǎng)關(guān)
  存儲(chǔ)網(wǎng)關(guān)的一個(gè)非常重要的產(chǎn)品使命是存儲(chǔ)分層,用戶看到的是一個(gè)本地 NAS 設(shè)備,但較冷的數(shù)據(jù)會(huì)被異步地往遠(yuǎn)端的 QingStor 對(duì)象存儲(chǔ)里備份,近而達(dá)到冷熱數(shù)據(jù)分層的目的。也因此,存儲(chǔ)網(wǎng)關(guān)在讓用戶在幾乎無性能影響感知的情況下,將基于文件系統(tǒng)接口的應(yīng)用所產(chǎn)生的數(shù)據(jù)源源不斷的存儲(chǔ)到 QingStor 對(duì)象存儲(chǔ)中來。
  獲取更多對(duì)象存儲(chǔ)的應(yīng)用實(shí)例、解決企業(yè)中數(shù)據(jù)同步的問題、探尋對(duì)象存儲(chǔ)如何與大數(shù)據(jù)分析業(yè)務(wù)無縫集成、和 QingStor 對(duì)象存儲(chǔ)研發(fā)工程師直接交流。
  這一切,盡在 QingCloud Insight 2017
  QingCloud Insight 2017 云計(jì)算峰會(huì)將于 2017 年 7 月 28 日 - 29 日在北京國(guó)際飯店會(huì)議中心盛大舉行。屆時(shí),青云QingCloud 將發(fā)布一系列重要產(chǎn)品和功能,承接企業(yè)核心生產(chǎn)系統(tǒng),并攜手人工智能、IoT 及區(qū)塊鏈領(lǐng)域的前沿技術(shù)所有者與領(lǐng)先的應(yīng)用提供商共同發(fā)布「云+ 應(yīng)用」的聯(lián)合解決方案,重新詮釋「云之基石」的全新定義,助您的業(yè)務(wù)加速進(jìn)入智能與數(shù)據(jù)時(shí)代。
  7 月 28 - 29 日,讓我們相約北京國(guó)際飯店 - 建國(guó)國(guó)際會(huì)議中心 ,點(diǎn)擊“閱讀原文”立即報(bào)名,一起洞見未來!

專題