有贊是一個商家服務公司,提供全行業全場景的電商解決方案。在有贊,大量的業務場景依賴對實時數據的處理,作為一類基礎技術組件,服務著有贊內部幾十個業務產品,幾百個實時計算任務,其中包括交易數據大屏,商品實時統計分析,日誌平台,調用鏈,風控等多個業務場景,本文將介紹有贊實時計算當前的發展歷程和當前的實時計算技術架構。
1.實時計算在有贊發展
從技術棧的角度,我們的選擇和大多數互聯網公司一致,從早期的 Storm,到 JStorm, Spark Streaming 和最近興起的 Flink。從發展階段來說,主要經歷了兩個階段,起步階段和平台化階段;下面將按照下圖中的時間線,介紹實時計算在有贊的發展歷程。