OceanBase刷新世界紀錄,支付寶再闖“無人區”

一直以來,在信息技術最核心的三大件“芯片、操作系統、數據庫”上,市場格局穩定,由英特爾、微軟、甲骨文等科技巨頭推動行業和技術發展。 

老牌巨頭優勢巨大,但在中國這個爆發式增長需求的市場,技術亟待更新突破。於是,以阿里為代表的科技公司,開始從零研發,走上這條極其艱辛的自研技術創新之路。這其中,數據庫領域尤為艱難,技術挑戰大,研發成本和不確定性風險高,面臨太多的困難挑戰。 

專注分佈式關係數據庫的OceanBase團隊,甚至一度瀕臨解散。 

而在2020年5月20日這天,作為支付寶完全自主研發的金融級分佈式關係數據庫,OceanBase把名字赫然刻在了TPC組織的官網上,而緊隨其後的記錄還是自己(2019年10月創造過新紀錄)。 

OceanBase刷新世界紀錄,支付寶再闖“無人區”

這一次,OceanBase再破世界記錄,性能分數首次突破億級大關達到7.07億tpmC,相比去年提升近11倍。(雷鋒網注:tpmC值在國內外被廣泛用於衡量計算機系統的事務處理能力,為"每分鐘內系統處理的新訂單個數"的英文縮寫) 

這標誌着OceanBase成為全球最快數據庫,實現了數據庫這一基礎技術的革命性突破,也是自研技術對世界IT技術作出的重要貢獻。 

OceanBase突破背後,一路艱辛,沒有捷徑。 

一年二刷TPC-C榜單,OceanBase顛覆了什麼? 

首先認識TPC。TPC 是由數十家會員公司創建的非盈利組織,成立於1988年,總部設在美國,圖靈獎得主 Jim Gray 是奠基人。 

TPC-C是全球最具公信力的聯機交易處理數據庫的功能與性能結合的測試標準,金融、電信、政府等關鍵領域的客户一般參照 TPC-C 結果來衡量各個數據庫廠商的事務處理能力。通俗來講,TPC-C測試是對於商業數據庫想要證明自身實力的一個硬性門檻,被譽為“數據庫領域的世界盃”。 

但是一直以來,TPC-C榜單都是老牌巨頭在競爭,尤其是Oracle、微軟和IBM為首的數據庫廠商和硬件廠商長期霸榜。 

因為通過測試,確實太難了。無論是數據庫從業者還是高校教師,都夢想着排進這個榜單。 

誕生於2010年的OceanBase最初是用在支付寶上,它又被稱為“超級會計師”,可以在一秒內同時記數萬筆帳,並且不出一點錯。經過長時間積累,2019年10月,OceanBase一舉打破Oracle“壟斷”9年之久的TPC-C評測的世界紀錄,tpmC高達6088萬之後,自研數據庫首次在世界舞台上有了自己的聲量。 

OceanBase刷新世界紀錄,支付寶再闖“無人區”

支付寶OceanBase再次登頂TPC-C榜單

而此次通過最新測試,OceanBase成為唯一超千個節點並通過TPC-C測試的分佈式數據庫,成績較去年更勝一籌。更重磅的是,其性能分數首次突破億級大關達到7.07億tpmC,相比去年提升近11倍。 

從關係數據庫的角度看,在這麼大體量下,通過測試已經非常困難,保持系統性能更加困難。1500多個數據庫節點,5000多萬個倉庫以及對應數量的客户端,並進行8個多小時的持續壓測,對整個系統是極大的考驗。 

而我們之所以説OceanBase實現了突破和顛覆,關鍵就在於其採用了新一代分佈式設計技術,顛覆了傳統數據庫集中式處理技術架構。 

如何理解? 

一般而言,傳統數據庫只能通過提升單機性能來提升整體性能,難以滿足市場持續擴張的數據處理需求。OceanBase通過分佈式擴展集羣實現擴展能力的大幅提升,並通過分佈式選舉技術、事務技術充分保證業務場景的一致性,實現整體性能的數量級提升。 

在本次測試時,數據庫機器規模擴大到1557台且單機倉庫數增長到3.6萬,總數據規模達到了近6PB,最大單表掃描數據總行數超過20萬億行(TPC-H最大的測試是100TB)。 

除了性能優勢,在兼容性上,OceanBase較傳統數據庫也有創新,其可高度兼容Oracle和Mysql,支持一鍵快速遷移,並提供雲上的完整生態服務,解決了授權費用貴、硬件成本高、架構與運維複雜、遷移難度大等傳統數據庫難題。 

用10年,OceanBase做到別人做不到的事 

螞蟻金服高級研究員、OceanBase 創始人陽振坤始終認為:

“直到今天,生產系統中沒有一個商業數據庫有分佈式,除了OceanBase,這是我們做到了別人做不到的事。” 

縱觀當今全球數據庫應用情況,關係數據庫依然是主流,而集中式系統依然大行其道,甲骨文、IBM、微軟源源不斷從中獲得收入。 

此前,分佈式數據庫長期存在於理論中並沒有在生產中實現,雖然成本可以降低,但缺點亦十分突出:普通PC機單個來看都達不到金融級別的穩定性,如果其中一台機器罷工,容易產生多米諾骨牌效應般的坍塌效應(這個短板被視為世界級難題)。 

而OceanBase解決分佈式數據庫穩定性的方式之一,是將每一份數據同時備份三份,存放在三台不同的機器上。其原理是,一台PC機出故障的概率如果是千分之一,兩台同時壞的概率可能就是百萬分之一,三台同時壞的概率則是十億分之一。 

早年,在阿里的眾多業務中,無論是淘寶還是支付寶,集中式的關係數據庫都扮演着十分關鍵的角色,不可能擺脱它。但是,市面上的商業數據庫在高擴展、高併發和低成本上遠遠無法滿足淘寶和支付寶的高成長速度,且遇到業務激增時IOE投資要放大幾百倍甚至幾千倍。 

“誰都買不起了”。阿里勢必需要考慮切換軌道——在2009年啓動“去IOE”。“去IOE”工程的戰略價值何在?一般被認為有三點:架構靈活支撐業務飛速發展;基礎工程技術和人才的積累;大幅降低成本。 

在數據庫領域,儘管彼時市面上非關係數據庫競相湧入,開源數據庫侷限性比較大,兩者對巨頭的關係數據庫的衝擊可以用蚍蜉撼樹來形容——阿里決定走自研關係數據庫的道路。 

儘管“自研”策略備受爭議,遇到各種反對,但一旦江河解凍,就會勢如劈竹,無法阻擋。OceanBase衝在了最前面,做起了先鋒。2010年5月,阿里邀請陽振坤加盟淘寶,由此拉開了 OceanBase的自主研發之路。

OceanBase刷新世界紀錄,支付寶再闖“無人區”

  • 2010 年:創始人陽振坤加入阿里巴巴,OceanBase 正式立項;

  • 2014 年:OceanBase 0.5 版本發佈,替代 Oracle 在支付寶交易系統上線,負擔“雙十一”10% 流量;

  • 2015 年:網商銀行成立,OceanBase 成為全球首個應用於金融核心業務系統的分佈式關係數據庫;

  • 2016 年:OceanBase 1.0 版本在支付寶賬務系統上線,支撐 12 萬筆 / 秒支付峯值;

  • 2017 年:支付寶首次把所有核心數據鏈路搬到 OceanBase 上。同年,OceanBase在多家商業銀行上線;

  • 2019 年:OceanBase 獲得 TPC-C 基準測試排名榜首;

  • 2020 年:OceanBase以7.07億tpmC的成績打破去年TPC-C基準測試紀錄。

據瞭解,OceanBase早年第一個客户是淘寶收藏夾。 

當時的淘寶收藏夾業務高速發展,數據庫訪問量飛快增長,服務器數量需要翻一倍甚至幾倍才能應對業務需求。陽振坤主動提出可以用OceanBase,把服務器的數量降低一個數量級。 

OceanBase刷新世界紀錄,支付寶再闖“無人區”

很多年前OceanBase團隊的一張合影 

在淘寶收藏夾吃完OceanBase這隻螃蟹後,確實取得了不錯的效果,也由此,OceanBase在內部獲得了更多信任。但由於找不到更多願意使用的業務,陽振坤和他的夥伴們經歷了一段低谷期,用高德總裁劉振飛(2009年組建淘寶技術保障部)的話來説,回想起來當時都是折磨、痛苦和眼淚,今天説起來可以算是傳奇和笑話了。 

OceanBase團隊在2012年走到了最困難的時候,數度瀕臨解散。 

2012 年底,集團把 OceanBase 整個團隊調到了支付寶。支付寶屬於金融領域,面臨的數據庫挑戰會比其他業務更大,這相當於給了 OceanBase 團隊一次從頭開始的機會。 

2013年夏天,支付寶開始“去IOE”,希望能夠把Oracle數據庫換掉。陽振坤主動向當時的螞蟻金服CTO程立推薦了OceanBase,並得到了認可。此後OceanBase在阿里內部得到更多場景試煉,並逐步做到核心系統。 

從“小我”到融入“海洋” 

從瀕臨解散到浴火重生,OceanBase 走了快十年,它用了漫長的旅途進入了“無主之地”(自研分佈式關係數據庫),沒有前人走過;它解決了自研信息技術三大軟肋(芯片、操作系統、數據庫)之一的數據庫難題,完全自主研發、安全可控。 

它已經向所有人證明了通用的分佈式關係數據庫是能夠做成的,而且能真正應用在生產系統中。 

當我們從頭來看陽振坤跟OceanBase團隊定下的策略,不得不感嘆想法的“超前”:走標準化!做一個通用的關係數據庫產品!他們不僅僅要在公司內部使用它,還要實現外部商用——這帶來的挑戰就是投入更多人力和時間,以滿足市面上所有功能需求。 

這就像“OceanBase”這個名字的寓意一樣:從一開始就立志做一個像海洋一樣的海量數據庫,征途就是星辰大海。 

大音希聲大象無形,走向通用走向標準化,這件酷酷的事,支付寶做到了,而且把整個TPC-C測試變成了一種普惠的測試,為今後更廣泛應用打下基礎。 

當然,OceanBase早已經走出淘寶和支付寶的處女地,更多企業願意擁抱它。

OceanBase刷新世界紀錄,支付寶再闖“無人區”

目前OceanBase已服務大量金融、電信等行業企業,如建設銀行、南京銀行、西安銀行、人保健康險、蘇州銀行、廣東農信、網商銀行等多家商業銀行和保險機構。全球前四名的支付平台,兩家的核心繫統都在使用OceanBase數據庫。 

回首過往,之所以OceanBase能做成,能從當年的淘寶收藏夾走到支付寶,走進今天金融場景甚至更多領域,不僅是阿里,也是時代給了它一個好的發展機會。可以説,其高光有着行業和時代的必然性。 

今天,阿里巴巴/支付寶內部有數以萬計的數據庫,總有一些業務由於數據量和自身業務需求等因素,可以先試用自研技術,再一步步地將數據庫做到關鍵系統。就是遵循這樣的邏輯,加之敢冒風險的勇氣,OceanBase乃至阿里的雲計算業務都能在阿里自然而然“長出來”,造就一段經典商業案例。 

OceanBase刷新世界紀錄,支付寶再闖“無人區”

踩在過去的肩膀上,迎接未來的數據爆發,OceanBase會摘到更豐盛的果實。讓中國數據庫技術服務全球,是OceanBase的初心,相信OceanBase未來會在更大海洋中發揮價值,與人類共享科技成果。(雷鋒網雷鋒網)

版權聲明:本文源自 網絡, 於,由 楠木軒 整理發佈,共 4172 字。

轉載請註明: OceanBase刷新世界紀錄,支付寶再闖“無人區” - 楠木軒