2016年，網(wǎng)易杭州研究院（以下簡稱“杭研”）成立十周年之際，我們推出系列訪談文章，針對親歷杭研核心技術(shù)體系變遷的數(shù)位技術(shù)大牛發(fā)問，揭秘網(wǎng)易云背后的技術(shù)脈絡(luò)、研發(fā)思想和技術(shù)人成長的故事。本期的受訪嘉賓，是網(wǎng)易杭州研究院執(zhí)行院長汪源。本篇介紹了杭研成立的背景和初衷，杭研技術(shù)體系的演進(jìn)，當(dāng)前的應(yīng)用進(jìn)展，和未來的一些重點(diǎn)工作。除了云計(jì)算的實(shí)踐經(jīng)驗(yàn)，汪源還解析了網(wǎng)易大數(shù)據(jù)實(shí)踐的思路和成果，并分享了企業(yè)實(shí)施大數(shù)據(jù)的關(guān)鍵步驟。

　　十年前在什么樣的情況下成立的杭研，當(dāng)時(shí)的初衷是什么？

　　汪源：網(wǎng)易的傳統(tǒng)業(yè)務(wù)板塊包括郵箱、門戶、游戲等，到2005-2006年的時(shí)候，很多創(chuàng)新的互聯(lián)網(wǎng)業(yè)務(wù)形態(tài)開始出現(xiàn)，包括博客（如MSN Space）、在線相冊（如Flickr）等，丁總（網(wǎng)易CEO丁磊）認(rèn)為互聯(lián)網(wǎng)領(lǐng)域?qū)⒊霈F(xiàn)很多值得探索、孵化的業(yè)務(wù)創(chuàng)新方向，網(wǎng)易需要在原有的業(yè)務(wù)板塊之外，重新建立一個(gè)面向創(chuàng)新業(yè)務(wù)孵化、探索的獨(dú)立組織，所以成立了網(wǎng)易杭州研究院。

　　成立之后，杭研做的第一個(gè)業(yè)務(wù)就是博客，博客能夠讓所有的網(wǎng)民都可以發(fā)表自己的觀點(diǎn)，代表Web 2.0時(shí)代的誕生。另外，我們還做了在線相冊。在這些探索中，我們發(fā)現(xiàn)新的Web 2.0業(yè)務(wù)形態(tài)對技術(shù)的要求相比Web 1.0有了質(zhì)的飛越，需要如海量數(shù)據(jù)管理等基礎(chǔ)軟件的支撐，因?yàn)樗�有網(wǎng)民帶來的數(shù)據(jù)量，相比之前門戶網(wǎng)站至少有兩個(gè)數(shù)量級以上的提升。所以，杭研的第二個(gè)職責(zé)，就是為網(wǎng)易接下來的互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展籌備基礎(chǔ)軟件技術(shù)，構(gòu)建一個(gè)現(xiàn)代化的互聯(lián)網(wǎng)知識體系和技術(shù)體系。

　　經(jīng)過了十年的迭代，現(xiàn)在杭研技術(shù)體系的全貌是什么樣子？

　　汪源：網(wǎng)易目前的技術(shù)體系可以總結(jié)為如下七個(gè)方面：

　　形成這個(gè)體系，這十年來重大技術(shù)變革的時(shí)間節(jié)點(diǎn)和革新的契機(jī)有哪些？

　　汪源：杭研在不同時(shí)期的研發(fā)重心與整個(gè)互聯(lián)網(wǎng)環(huán)境的變化基本是一致的，當(dāng)然網(wǎng)易因?yàn)轶w量的緣故，比一般的互聯(lián)網(wǎng)公司能夠更早地感受到新的技術(shù)需求。

　　基于這些技術(shù)，杭研今年推出了網(wǎng)易云，根據(jù)網(wǎng)易對產(chǎn)品品質(zhì)的一貫要求，這表明了我們對技術(shù)積累較高的滿意度，那么能否說我們目前的技術(shù)儲備已經(jīng)很完善了？

　　汪源：技術(shù)體系其實(shí)永遠(yuǎn)是不可能完善的，因?yàn)闃I(yè)務(wù)發(fā)展會不斷提出新的需求，而且一個(gè)龐大的技術(shù)體系中也會存在很多可以優(yōu)化的地方。但是，有兩個(gè)事實(shí)表明我們整個(gè)技術(shù)體系是很成功的：

 

　　現(xiàn)在，我們將這個(gè)技術(shù)體系逐步產(chǎn)品化、商業(yè)化，對外提供網(wǎng)易云服務(wù)，而我們的云服務(wù)也很好地支撐了很多外部客戶的業(yè)務(wù)。

　　這套體系之所以能夠支撐整個(gè)網(wǎng)易互聯(lián)網(wǎng)業(yè)務(wù)，您的主要經(jīng)驗(yàn)是什么？

　　汪源：這其中有兩個(gè)方面的原因。

　　業(yè)界認(rèn)為云計(jì)算為大數(shù)據(jù)的處理提供了基礎(chǔ)，對于杭研來說，云計(jì)算很好地支撐了網(wǎng)易的互聯(lián)網(wǎng)業(yè)務(wù)，那么我們的大數(shù)據(jù)體系如何發(fā)揮作用？

　　汪源：我們的技術(shù)通常都是幫助應(yīng)用，在網(wǎng)易這樣的互聯(lián)網(wǎng)公司里面，大數(shù)據(jù)的應(yīng)用層最主要的是兩種模式：

　　一是服務(wù)的智能化，讓大數(shù)據(jù)實(shí)時(shí)參與業(yè)務(wù)流程，通過大數(shù)據(jù)，讓用戶體驗(yàn)更好。個(gè)性化推薦是一個(gè)典型的案例，通過個(gè)性化推薦提供不同的服務(wù)內(nèi)容給不同的用戶；再如反垃圾技術(shù)，用來給郵件自動分類，準(zhǔn)確分出是正常郵件、訂閱郵件還是垃圾郵件。

　　二是決策的科學(xué)化�；�于數(shù)據(jù)的決策、運(yùn)營，如產(chǎn)品功能、模塊是否存在問題，哪些模塊比較受歡迎，哪些模塊不太受歡迎，都根據(jù)數(shù)據(jù)結(jié)果做設(shè)計(jì)和調(diào)整；產(chǎn)品的用戶群有什么典型的特征，也可以通過大數(shù)據(jù)來做分析，得出用戶群的畫像、用戶群的行為分析結(jié)果，提供給產(chǎn)品經(jīng)理、產(chǎn)品策劃作為決策依據(jù)；在市場營銷上，哪個(gè)渠道帶來的效果更好，也是根據(jù)數(shù)據(jù)的情況來調(diào)整。目前，網(wǎng)易的金融、教育、電商、游戲等業(yè)務(wù)都有大數(shù)據(jù)的支撐。

　　汪源：大數(shù)據(jù)應(yīng)用需要優(yōu)秀的大數(shù)據(jù)系統(tǒng)的支持。我們圍繞Hadoop、Spark、Impala等大量開源大數(shù)據(jù)的框架構(gòu)建自己的大數(shù)據(jù)平臺，降低數(shù)據(jù)開發(fā)的門檻，集中管理我們的數(shù)據(jù)資產(chǎn)。要降低數(shù)據(jù)開發(fā)門檻，首先要做的是讓數(shù)據(jù)集成變的容易，一個(gè)業(yè)務(wù)的數(shù)據(jù)通常是分布在業(yè)務(wù)MySQL、Oracle等數(shù)據(jù)庫中、分散在成百上千臺的服務(wù)器的日志中，或者是存在于文件中。如何批量或者實(shí)時(shí)地把數(shù)據(jù)收集起來，并同步到大數(shù)據(jù)系統(tǒng)里面，是大數(shù)據(jù)的第一步。所以杭研自己做了很多大數(shù)據(jù)平臺子產(chǎn)品，比如有一個(gè)產(chǎn)品叫做Data Stream，負(fù)責(zé)把海量的線上日志數(shù)據(jù)和MySQL、Oracle等數(shù)據(jù)庫的數(shù)據(jù)實(shí)時(shí)同步到大數(shù)據(jù)平臺的中。 其次，我們通過可視化界面和SQL簡化數(shù)據(jù)處理過程， 使得普通的服務(wù)端開發(fā)人員也能很快上手?jǐn)?shù)據(jù)開發(fā)。網(wǎng)易有很多大型產(chǎn)品，每個(gè)大型產(chǎn)品都有大量數(shù)據(jù)表，所以沒有一個(gè)人能完全知道每張數(shù)據(jù)表的作用，當(dāng)然更不知道每個(gè)字段的含義，不知道數(shù)據(jù)表的計(jì)算過程。為管理這些數(shù)據(jù)資產(chǎn)，首先，我們的平臺得提供好的數(shù)據(jù)組織方式，使得數(shù)據(jù)使用人員能夠找到高質(zhì)量的數(shù)據(jù)，促進(jìn)數(shù)據(jù)在產(chǎn)品間共享，推動數(shù)據(jù)價(jià)值挖掘。其次，平臺還要提供細(xì)粒度的權(quán)限控制和操作審計(jì)，確保數(shù)據(jù)使用安全。

　　企業(yè)利用大數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展，您還有哪些比較好的經(jīng)驗(yàn)可以分享？

　　汪源：企業(yè)在實(shí)施大數(shù)據(jù)，第一步就是剛才說的，要考慮數(shù)據(jù)集成問題。第二步，應(yīng)該要有很熟悉業(yè)務(wù)領(lǐng)域的人，梳理數(shù)據(jù)的模式，梳理數(shù)據(jù)倉庫的ETL、建模等工作，才能使后續(xù)的大數(shù)據(jù)應(yīng)用有一個(gè)比較好的數(shù)據(jù)倉庫基礎(chǔ)。比如一個(gè)產(chǎn)品，原始數(shù)據(jù)是日志、數(shù)據(jù)庫的數(shù)據(jù)，通過數(shù)據(jù)集成技術(shù)集成到大數(shù)據(jù)平臺里面來，都是可以訪問的，假設(shè)這個(gè)產(chǎn)品要基于大數(shù)據(jù)做5件事情，這個(gè)時(shí)候不應(yīng)該直接由5個(gè)人分頭做這五件事情，應(yīng)該先由1-2個(gè)人針對這個(gè)數(shù)據(jù)做一個(gè)很好的數(shù)據(jù)倉庫的建模設(shè)計(jì)，把核心的主題、Feature梳理出來，為后面的5個(gè)人提供幫助，不然這5個(gè)人需要做很多重復(fù)性的工作和很多重復(fù)性的計(jì)算。

　　第三，敏捷BI是非常重要的。當(dāng)前利用數(shù)據(jù)提升服務(wù)和決策能力的理念已經(jīng)深入人心，整個(gè)組織的不同角色都要從不同角度關(guān)注數(shù)據(jù)，老板、高層、中層甚至基層都有可能需要用數(shù)據(jù)來做工作的分析和決策，整個(gè)大數(shù)據(jù)的使用場景在組織中是分布式存在的，所以需要企業(yè)大數(shù)據(jù)分析能力很好地賦能，讓組織中的各個(gè)角色都能夠比較方便地獲得想要的大數(shù)據(jù)分析能力。大數(shù)據(jù)具有“3V”的特點(diǎn)，并且數(shù)據(jù)往往是分散在不同的業(yè)務(wù)系統(tǒng)，傳統(tǒng)BI 使用門檻高，以IT人員為中心，業(yè)務(wù)人員要把需求提交給IT人員，IT人員排班、建立數(shù)據(jù)模型、制作報(bào)表，往往要幾天甚至幾周，無法做到實(shí)時(shí)指導(dǎo)決策；如果IT人員對需求理解錯(cuò)誤，或者業(yè)務(wù)根據(jù)當(dāng)前報(bào)表要做進(jìn)一步的分析，這個(gè)過程還要循環(huán)，業(yè)務(wù)上錯(cuò)失良機(jī)的概率就更大了。

　　對于這樣的挑戰(zhàn)，網(wǎng)易已經(jīng)有了解決方案，我們研發(fā)的敏捷BI工具網(wǎng)易有數(shù)，具有數(shù)據(jù)可視化、實(shí)時(shí)多維分析的能力，在網(wǎng)易內(nèi)部已經(jīng)有很多的應(yīng)用。敏捷BI以業(yè)務(wù)人員為中心，更理解業(yè)務(wù)和需求的業(yè)務(wù)人員可以自助分析，結(jié)果是多贏的：IT部門可以在管控權(quán)限的基礎(chǔ)上從大量枯燥的提數(shù)需求中解放出來；業(yè)務(wù)部門可以根據(jù)業(yè)務(wù)情況進(jìn)行實(shí)時(shí)分析，根據(jù)分析結(jié)果調(diào)整業(yè)務(wù)，再根據(jù)數(shù)據(jù)來驗(yàn)證調(diào)整的結(jié)果；管理者可以隨時(shí)隨地了解經(jīng)營數(shù)據(jù)狀況。這種結(jié)果也是傳統(tǒng)大中型企業(yè)數(shù)字化轉(zhuǎn)型所需要的，我們將會輸出這方面的能力，助力他們數(shù)字化轉(zhuǎn)型。

　　您如何看待杭研未來發(fā)展面臨的挑戰(zhàn)？

　　汪源：杭研面臨的主要挑戰(zhàn)是商業(yè)化層面。杭研的基礎(chǔ)，主要在于工程技術(shù)方面，也有一些產(chǎn)品方面的技術(shù)，但面向企業(yè)級市場的商業(yè)化能力是我們的弱項(xiàng)，這是我們面臨的一個(gè)很大的挑戰(zhàn)。應(yīng)對這個(gè)挑戰(zhàn)有兩條路，一是仔細(xì)選擇特定的行業(yè)、領(lǐng)域，有針對性地構(gòu)建比較強(qiáng)的面向企業(yè)的商業(yè)化團(tuán)隊(duì)和能力，包括銷售、售前咨詢、交付實(shí)施、售后服務(wù)等方面的能力，但是我們不會鋪開來做，只選擇一些網(wǎng)易比較擅長的領(lǐng)域，或者自認(rèn)為能夠聚焦、專注做的領(lǐng)域。其次，就是我們的產(chǎn)品要和第三方合作伙伴進(jìn)行開放合作，共創(chuàng)云上精彩世界。

　　網(wǎng)易技術(shù)商業(yè)化最典型的是網(wǎng)易云，丁總說網(wǎng)易云要解放程序員，您認(rèn)為我們現(xiàn)在距離這個(gè)目標(biāo)還有多遠(yuǎn)？

　　汪源：解放程序員，就是讓程序員從那些低級、繁瑣的工作中解脫出來，做一些有價(jià)值、有創(chuàng)造力的工作。通過技術(shù)的手段，把底層基礎(chǔ)的重復(fù)性工作封裝成現(xiàn)成可用的解決方案，就達(dá)到解放程序員的目的。其實(shí)網(wǎng)易技術(shù)體系一直都在解放程序員，我們非常關(guān)注這件事情。比如我們在做一個(gè)大數(shù)據(jù)的Benchmark，傳統(tǒng)的Benchmark是比拼性能的，但我們是用來比較哪種大數(shù)據(jù)編程模型的編程效率最高，而不是運(yùn)行效率最高，這就是典型的重視解放程序員的思路。

　　至于說解放到多大的程度，我們確實(shí)有一些統(tǒng)計(jì)數(shù)據(jù)。比如整個(gè)前端開發(fā)，使用網(wǎng)易大前端的技術(shù)框架，工作效率可以提高1倍；如果程序員不僅僅指開發(fā)，還包括運(yùn)維，我們也針對云計(jì)算對運(yùn)維效率的提升做過統(tǒng)計(jì)，包括創(chuàng)建主機(jī)、部署數(shù)據(jù)庫、發(fā)布上線等20多個(gè)常見工作，使用云計(jì)算平臺，相比之前使用物理環(huán)境，通常可以節(jié)約80%的工作量。這些側(cè)面不是主觀感知，是我們花了比較多的精力，從具體數(shù)據(jù)統(tǒng)計(jì)得到的結(jié)論，是可以說明問題的。但是解決了這些問題之后，還有很多解放程序員的事情可以繼續(xù)做，而程序員會越來越走向更高附加值的工作，可以直接和業(yè)務(wù)掛鉤。

　　從另一個(gè)角度來看，機(jī)器運(yùn)行效率可以通過硬件升級、軟件優(yōu)化等方式解決，而硬件成本越來越低，但人力成本會越來越高，所以重點(diǎn)關(guān)注提高人的勞動效率，而不是機(jī)器運(yùn)算效率，也符合商業(yè)規(guī)律。所以我們不僅解放網(wǎng)易的程序員，也要通過網(wǎng)易云解放別人家的程序員。

　　談到“共創(chuàng)云上精彩世界”，未來還要做哪些事情？

　　汪源：網(wǎng)易云不同于一些典型的IaaS云，是有很多場景化的能力的。要把網(wǎng)易云做好，讓這些場景化的能力落到實(shí)處，更加需要和合作伙伴一起開拓市場。這些典型的場景化能力，可以集成到合作伙伴面向某個(gè)業(yè)務(wù)的解決方案中去。通過場景化的能力跟合作伙伴之間有一個(gè)集成的關(guān)系，形成網(wǎng)易云的一個(gè)生態(tài)構(gòu)建，最終獲得市場成功。生態(tài)不是我們獨(dú)家的想法，但我們更加強(qiáng)調(diào)生態(tài)中我們不尋求主導(dǎo)地位。我們的產(chǎn)品線和網(wǎng)易找業(yè)務(wù)場景、找應(yīng)用的風(fēng)格一脈相承，自然而然形成一種格局，未來會越來越強(qiáng)調(diào)這種格局，通過比較擅長的場景化能力輸出，來實(shí)現(xiàn)網(wǎng)易云業(yè)務(wù)的成長。

　　大數(shù)據(jù)方面也可以做類似的事情。比如敏捷BI工具網(wǎng)易有數(shù)，我們正在致力于讓它能夠和不同行業(yè)的集成商、軟件提供商做一個(gè)很好的集成，讓數(shù)據(jù)可視化能力可以集成到各個(gè)面向業(yè)務(wù)的解決方案中去，因?yàn)榫W(wǎng)易不可能把所有行業(yè)解決方案都做出來，也沒有必要做，關(guān)鍵是把核心敏捷BI平臺做好，之后就跟很多生態(tài)合作伙伴來合作。