毫無疑問,騰訊雲正不斷將把騰訊多年來的能力沉澱對外開放,賦能千萬企業,這一次是大數據。
在9月11日騰訊全球數字生態大會大數據專場上,騰訊雲一口氣公佈了1+6款大數據核心應用產品。
要知道,在過去的十多年時間裏,騰訊大數據經歷了由外部採購到自研再到對外輸送能力的快速迭代和發展,目前產品矩陣已經覆蓋運維、開發、應用三大層面,無論是作為基礎設施的彈性分佈式計算、神盾聯邦計算,場景開發的商業智能分析、雲搜等,還是作為大數據應用服務的雲圖、燈塔增長平台等,目前都以騰訊雲產品和服務的形式,面向開發者和企業開放。
騰訊雲副總裁劉煜宏透露,騰訊雲大數據平台的算力彈性資源池達500萬核,每日分析任務數達1500萬,每日實時計算次數超過40萬億,能支持超過一萬億維度的數據訓練。
此時,正是檢驗騰訊雲大數據產品能力的最好時候。
一場疫情帶來的大數據產業機遇
而2020年的新冠疫情嚴重暴露了很多企業的數字化支撐能力不足,很多企業都倉促將業務轉移到線上,但由於過去積累不足,並未取得很好的效果。
哪些能力是需要補足的?騰訊研究院今年4月的一份調研數據顯示,有50%的企業認為大數據是數字化轉型過程中首要關注的一項技術。
騰訊雲大數據產品副總經理雷小平表示,企業構建大數據能力的核心有三點:一是平台的統一,大數據涵蓋的範圍非常廣,每個組件只能解決一小部分,導致整體對大數據平台的維護和升級的複雜度極其高;二是異構算力,大數據的算力佔到了企業IT採購的50%以上;三是企業級安全,對企業經營影響非常大。
為此,騰訊雲推出了全新全鏈路數據開發平台WeData,以解決從數據集成到開發調度到部署測試長鏈條上的問題。
具體來説,WeData提供了涵蓋數據即席分析、數據任務可視化編排、運維等在內的全鏈路數據開發能力。將主要解決三個問題:一是元數據統一,做到不同平台的數據打通;二是數據開發的統一,從數據集成、開發、測試、發佈、調度,都能在一個平台內統一;三是數據治理的統一,包括數據血緣、數據地圖、數據的質量等。
例如,通過在雲端構建統一元數據管理服務,涵蓋技術元數據和業務元數據的管理,並打通了彈性MapReduce(EMR)、CDW雲數倉、MySQL雲數據庫、對象存儲等在內元數據,以便於企業數據在不同雲端數據設施之間進行無縫流轉的同時,還能保障其元數據的一致性和可維護性。
目前,WeData已經進入內測階段,預計下半年正式公佈並開源出來。
除了全鏈路數據開發平台WeData之外,在更細分的場景上,騰訊雲大數據推出流計算服務Oceanus、雲數據倉庫CDW、ES、彈性MapReduce、神盾聯邦計算以及企業畫像等6項重磅能力發佈和升級。
針對大數據開發場景,
正式發佈流計算服務Oceanus,面向大數據實時計算領域,可應用於實時點擊流分析、物聯網監控、實時推薦、實時金融風控等場景。
全新發布雲數據倉庫CDW,則可以幫助中小企業快速構建數據倉庫,對於常見的運維操作進行高度封裝,屏蔽底層複雜的邏輯細節,同時提供多維度全方位智能化的監控體系。
全新升級“明星產品”ES,新增自研中文分詞系統,準確度和性能均達到行業領先水平。
在大數據基礎設施層,
全新升級彈性MapReduce,能夠實現企業大數據構建成本降低30%。MapReduce實現異構算力的融合,能夠在計算高峯期通過雲原生的彈性資源或者在線業務的空閒資源快速補充算力。
全新發布神盾聯邦計算,可以零門檻進行企業間的數據融合計算。
在大數據應用服務上,
全新升級企業畫像,提供企業營銷、企業風控、企業扶持、產業分析等四個方向的解決方案,助力政府管理、企業拓客和金融機構規避風險。
WeData如何快速落地?
以上解決方案,不難看出騰訊雲對企業大數據應用痛點有着清晰的認知。
然而,數據開發領域,類似的產品並不鮮,相較之下,具體到場景中,WeData解決了哪些問題?又會有怎樣的發展邏輯?
騰訊雲大數據產品副總經理雷小平在接受雷鋒網採訪時表示,
“WeData首先滿足的肯定是企業客户的核心訴求,我們也會聚焦兩類羣客户體:
一類是過去使用大數據比較淺層次,可能就使用了數據報表功能的企業,但現在希望能夠利用這些數據做更多的探索,如用户分析。
還有一類是此前可能已經部署了一些大數據相關應用,希望投入更多精力在數據價值上的企業,但這類企業所構建的數據平台的維護和升級成本極高。”
據瞭解,騰訊QQ音樂首先基於WeData產品進行了大數據能力的重構。
在重構之前,所有的數據分析能力都是基於Spark構建,所有報表的延時也都是小時級。在將熱數據全部升級到Clickhouse,並通過WeData進行數據開發工作,重構完成之後數據決策能力從小時級別提升到秒級。
但不同的是,在接觸到真正的外部政企客户,很多訴求很難説在騰訊內部就能遇到,如跨源、跨域、跨類型、跨IDC的數據分析需求等。為觀察到這些客户訴求並給出可落地的解決方案,騰訊雲大數據基礎平台總經理陳鵬向雷鋒網舉了一個實際場景:
“騰訊雲產研團隊會有專門的類似售前的架構師,可真正第一線瞭解客户需求。比方説,客户對運營有某些特定訴求,內部就會將這部分能力作為高優先級進行產品化,然後迭代賦能給外部。
在這個過程中,可能會遇到外部客户所能接受的集羣規模調度在幾十台的量級,如何保證這套協同既能支撐騰訊內部大規模調度又能支撐外部客户低成本部署的問題,其實非常考驗整體架構的的能力。”
直接跳過騰訊之前踩的坑,讓企業有更多時間關注業務價值,可以説是騰訊雲WeData的核心目標。
雷鋒網總結
可以看到整個大數據的演進已經從過去比較多地關心存儲計算能力,發展到了現在,能夠將存儲計算封裝起來往場景開發和應用服務的方向演進。
這其實也是騰訊雲大數據平台接下來的發展方向。據透露,騰訊大數據平台將會在數據安全、智能化、統一平台三大方向重點發力。
正如雷曉平在採訪中最後對WeData的未來期待所描述的那樣:目前大數據開發平台並沒有統一的標準和協議,這導致每個企業用户在平台遷移成本上非常高,WeData主打開源和開放,同時我們也希望將它做成一個生態。
將技術落實到場景中,將研究相關成果開放出來,從WeData身上我們看到了騰訊雲對企業用户真正開始瞭解的一面。
(雷鋒網)