近日,據國外媒體報道,EMC旗下的Greenplum部門專注于數據分析軟件的開發(fā),Kaggle則是一家專注于統(tǒng)計歸納人才發(fā)現(xiàn)和部署的公司。二者如今展開了合作,力圖打造一個大數據工程師市場。這樣,一家沒有全職數據科學家的企業(yè)如今也可以把數據分析的工作眾包出去。
Kaggle會舉辦全球范圍的數據科學家競賽活動。Greenplum的客戶可以通過一款叫做Chorus的產品來搜索和查看這些參賽者的個人檔案。然后,各企業(yè)可以挑選出合適的數據分析師,按小時支付酬勞為自己的企業(yè)解決數據問題。
Kaggle數據競賽主題覆蓋面很廣,從宇宙暗物質發(fā)現(xiàn)到債券價格預測都有。除了解決特定的數據問題之外,Kaggle還能甄選出那些擅長解決問題的人。然后Kaggle針對一些大公司舉辦一些數據競賽,然后挑選出最為優(yōu)秀的數據人才進行簽約。Kaggle會收取一定的費用。
目前為止,Kaggle的注冊參賽者達55000人次,任何參賽者都可注冊受雇于Greenplum客戶的項目。由于本周二才剛發(fā)布,因此目前還不清楚多少人想要參與此項目。
Kaggle CEO安東尼-古德魯姆(Anthony Goldbloom)表示,“這種方式既能幫助企業(yè)解決問題,又能為數據師們找到雇主。此外,對我們的業(yè)務也有好處。現(xiàn)在的一些參與者由熱情吸引而來。如果還能夠幫他們賺取一定金錢,將會吸引更多的人參與進來。”
Kaggle會為一些大型項目舉辦私下的競賽。古德魯姆期待Greenplum客戶需求能夠簡單一點。比如保險公司通常會尋求改善職工獎金系統(tǒng)的方法。針對特定項目舉辦競賽,Kaggle會收取每小時300美元到500美元不等的費用和一定的傭金。
Greenplum聯(lián)合創(chuàng)始人兼高級產品副總裁Scott Yara表示,公司目前已經有25名專職數據科學家,但是還遠遠不夠。“市場空缺很難填補。即使是世界上最大的公司也有很大的數據人才需求。”
Greenplum和Kaggle此次的合作可能是應對市場上數據科學家短缺的一種解決方法。去年,麥肯錫全球研究院(Mckinsey Global Institute)指出,由于企業(yè)搜集的大數據正在以爆炸式的速度增長,美國市場對于熟練數據分析師的需求量達19萬人,而對精通數據的管理人才需求量則達到150萬人。
還有一些其他的大數據解決方案,包括打造基于算法和更好用戶界面的交易平臺市場來進行數據自動化流程處理。目前,在一些大公司和小型創(chuàng)業(yè)公司中這兩種方式都有所使用。