Gartner BI與數據分析魔力象限是大數據技術領域最具影響力的分析報告之一,作為一名有著20年從業經驗的大數據行業人員,每年研讀報告中的技術與商業趨勢已經成為一種職業習慣。
我本人以及公司都從中受益良多,相信也一定會給各位關心大數據行業技術與發展的朋友們帶來一些參考,以下分享一些令我印象深刻的重點信息:
敏捷BI在北美市場已經是不二之選。
在北美,早些年是IBM Cognos、OracleOBIEE、SAPBO等一些傳統BI產品佔據市場主流,隨著商業智能的發展,Tableau、Qlikview等敏捷BI產品開始興起,到現在Tableau、Power BI等敏捷BI產品成為了主流。
我們從「Gartner 2018 BI與數據分析魔力象限」中可以看出,敏捷BI產品的出現,已經扭轉了商業智能的市場格局,並且成為了市場的不二之選。
敏捷BI魔力象限圖變化不大,但更好的廠商會在21世紀的第二個十年出現並成為領導者。
《Gartner 2018 BI與數據分析魔力象限》中提到了一些關鍵技術趨勢,如增強分析、數據擴展性和模型複雜度、嵌入功能等關鍵技術,而Tableau、Qlikview它們在這些關鍵技術的研發投入,以及研發的進度等,目前還是未知的。
由於他們在這些領域的進展尚未給企業創造價值,也就沒有在商業智能領域形成強大的競爭力。但是這些關鍵技術會真正的去改變數據分析的下一個10年,然而下一個10年的BI領導廠商是否依舊是Tableau、Qlikview,目前還無法判斷。
因此,我預測在將來,可能會出現兩三家創新型BI廠商,他們將在關鍵性技術領域取得重大突破,從而更好幫助客戶進行數據分析。
我預測創新型BI廠商可能在21世紀第二個10年,也就是2020年出現,成為行業領導者。
AI將成為商業智能的重要組成部分。
從本質上來講,數據分析的目標是幫助客戶從數據當中獲取洞察力,創造價值,而AI作為商業智能中的關鍵技術,它圍繞的目標並沒有發生變化,還是怎麼樣幫助到客戶,尤其是對於企業中的絕大多數業務人員,通過AI幫助他們從數據當中獲取洞察、實現更精準的趨勢預測和輔助決策,提高企業競爭力以及提升企業的運營效率。
在國內,永洪科技是第一個推出本土市場的AI平台,在AI的技術研發上會持續投資,我們堅信這些關鍵技術的投入會讓我們更好的幫助到各行各業客戶。
業務人員將成為商業智能的核心用戶群體。這在5年以前是難以想像的,但現在已經變成了現實。
五年前,主要還是IT人員在做數據建模和數據分析,再推送給業務人員。最近兩年,我們代表永洪科技與各行各業的客戶探討商業智能,並已經與上千家中大型企業形成了實質性的合作。
我觀察到了一個明顯的趨勢——自服務BI成為國內的中大型企業面向業務人員的首選數據分析工具,比如能源、電信這些行業,他們對自服務分析看得越來越重,而且不斷有採購的需求。
雖然業內有很多號稱支持自服務分析的平台或產品,但是背後還需要做很多工作,例如如何處理用戶的錯誤點擊、如何規避無IT背景用戶使用大數據時的不正當操作給平台帶來巨大的消耗和衝擊、如何確保企業最重要的資產即數據的安全和管控、以及如何確保高並發下整個平台的穩定性等難題。
我們的一站式大數據分析平台Yonghong Z-Suite較好地解決了以上困境,成為了眾多企業業務人員的日常數據分析工具。
中國BI產品將會進入全球市場,在這一領域我們走在前面。
中國的商業智能領域是一個充分競爭的市場,它不具備行業保護,也沒有形成很大的壟斷,我們從成立的第一天,就開始跟IBMcognos、OracleBIEE、SAPBO等BI廠商去競爭,到後來我們又開始跟Tableau、Qlikview、PowerBI等企業競爭。
要超越同行,一是產品功能足夠強大;二是要持續在研發領域投入並形成優勢;三是要有非常強的市場和行業洞察和服務能力,一定要為客戶創造價值。
而永洪在產品、研發、服務、市場等方面投入了大量的人力、物力和財力。除此之外,我們還在AI、Big Data、一體機等領域持續不斷地加大技術上的研發以及資金投入。
在國內,Yonghong是第一個推出敏捷BI平台的企業,是第一個推出自服務數據分析平台的企業,也是第一個推出本土AI平台的企業。我們連續三年被主流媒體和權威機構認定為最佳敏捷BI廠商,已經取得了初步的認可,來自各行業的客戶非常認同永洪的技術積累、業務積累和行業洞察。
我們相信在這個領域會有越來越多的中國BI產品走進全球市場,數百家中國五百強和世界五百強和領袖企業選擇永洪作為數據技術的合作夥伴。我們在這一領域走在前面,這是一個長跑,還需要在未來持續投入,幫助客戶從數據中獲取洞察,為客戶創造價值。
以下是《Gartner 2018 BI與數據分析魔力象限》報告原文,歡迎大家解讀。
基於雲部署的現代商業智能與數據分析平台正在逐步佔據主流市場。隨著市場上產品的易用性和智能分析方面的創新,數據與分析領導者開始升級傳統解決方案,擴大新供應商的產品組合。
到2020年,智能分析是一種包括自然語言搜索、智能數據預處理、自動化深入分析和以可視化為基礎的數據挖掘功能的分析方式,它將成為推動商業智能、分析數據科學以及機器學習平台和嵌入式分析購買市場的主要驅動力量。
到2020年,現代商業智能和數據分析平台將會因為智能數據挖掘能力的不同而體現出差異化,擁有智能數據挖掘能力的平台的用戶量將達到非此類平台兩倍的增長率,而這也會給客戶帶來兩倍的商業價值的提升。
到2020年,自然語言處理和人工智慧技術將成為90%的現代BI平台的標準性能。
到2020年,50%的分析問題將通過使用搜索、自然語言處理和語音的方式生成,或者將被自動生成。
到2020年,一些平台將為用戶提供內部和外部的數據目錄,與無法提供這些數據目錄的企業相比,他們將幫助客戶通過對數據分析的投資實現兩倍的商業價值。
到2020年,公民數據科學家的數量將比數據科學家的數量增長快五倍。
以可視化為基礎的數據挖掘技術決定了現代商業智能(BI)與數據分析平台的特徵屬性。傳統平台的分裂浪潮始於2004年,現代商業智能與數據分析市場從IT為中心的記錄系統(SOR)轉向以業務為中心的現象已成為主流。
現代商業智能與數據分析平台的工具具備簡單、易用的特性,並且支持全面的分析工作流程。在分析前期,新平台不需要IT人員大量參與到預先準備數據模型的工作中來,在某些情況下,平台會自動生成可復用的數據模型(請參閱《現代商業智能與數據分析平台的技術綜述》)。
獨立的內存列引擎有助於探索,同時也可以快速建立原型。現代商業智能與數據分析平台可以選擇性地從傳統的IT建模數據結構中獲取信息,以促進整個組織的管理和可復用性。許多組織可以通過敏捷的方式擴展IT模型化結構,並將其與新的多結構化數據源結合,從而幫助組織開展現代化工作。
與此同時,其他組織可以使用現代商業智能與數據分析平台中的分析引擎作為傳統數據倉庫的替代品。這種方法通常只適用於數據源有限、數據量相對較小的中小型組織。數據湖和邏輯數據倉庫使用量的增加也與現代商業智能與數據分析平台的能力相匹配,可以接受這些輕度模型數據源。
Gartner 在2016年重新修訂了BI和分析平台的魔力象限,反映了此間長達十年的巨大轉變。多年來,向現代敏捷和商業主導分析的過渡現在已成為主流,並呈兩位數的增長態勢; 與此同時,自2015年以來,傳統商業智能的支出一直在下降,在當時,Gartner曾首次定義了這兩個細分市場。
最初,現代商業智能與數據分析市場的大部分增長都是由業務用戶推動的,通常是通過個人或業務部門的小額採購實現。然而,隨著這個市場的成熟,IT越來越多地(隨著商業用戶的影響力)參與主導擴展部署,作為擴大自助服務分析範圍的一種方式。
商業智能與數據分析的擁擠市場中,包括了從大型的技術廠商到由大量風險投資支持的創業公司等參與者。傳統商業智能平台的供應商已經發展出新功能,包括現代的基於視覺的數據挖掘與管控等。
與此同時,新的供應商繼續發展最初被關注的敏捷性功能,將其擴展、發布和共享到更高的管理和擴展平台。客戶的理想選擇是在單一平台上同時擁有側重於可預測性並具有穩定性目標,以及探索性的,涉及實驗來解決新問題,並針對不確定性領域進行優化的兩種模式,並且能在兩種模式之間實現跳轉。
隨著以可視化為基礎的數據挖掘技術對傳統商業智能造成破壞性影響,第三波破壞已經開始以智能分析技術的形式出現,機器學習可以為日益增多的海量數據提供新見解。以智能分析為特色的供應商能夠更好地為他們的產品制定高價政策(請參閱「智能分析是數據分析的未來」)。
魔力象限專註於符合現代商業智能與數據分析平台標準的產品,這些產品正是當今市場上主流產品。傳統企業報告平台市場指南涵蓋了(由於IT預設數據模型的前期要求,或者以報告為中心的)不符合納入要求的現代標準的產品。
5個用例:
15個關鍵能力:
基礎設施
數據管理
分析與內容創造
成果共享
這些能力可以來自於外部的應用、或者被複用的分析基礎設施,但必須可以無縫的與內部應用連接,也不需要讓用戶在兩種系統間進行切換。這種能力讓BI與其他數據分析應用架構可以結合,讓用戶可以選擇在哪個業務流程中嵌入分析模塊。
整體平台能力
2017年,數據分析和BI(商業智能)的市場增長率約為10%(排除匯率因素),正如Gartner對該其複合年均增長率的預測,到2021年底,其增長率將為8%。
數據分析和BI軟體市場的現代細分市場的發展速度一直都比整體市場要快:2017年增長率為28%,2021年為17%(排除匯率因素)。儘管軟體使用者正在努力拓展在用戶和產品內容方面的潛力,但價格下行壓力和市場飽和的情況將成為導致市場增速放緩的兩大因素。
今年的魔力象限中體現出的關鍵趨勢如下:
增強分析
根據2017年的魔力象限,許多錯過了可視化數據分析那波市場紅利的大軟體公司已經早早佔據了以增強分析為代表的第三波技術機會的先機。
數據增強分析包括以機器學習為基礎的數據分析和BI功能,可以嵌入整個數據分析流程中的每一步中,包括數據準備、數據建模和結論生成。
交互模式也從原來單純的拖拽查詢模式向聲音、搜尋和以NLP演算法為基礎的交互模式進化。通過用自然語言生成(NLG)來說明檢索結果,可視化的效果也得到了優化。無論是大軟體公司和初創企業都在其各自的增強分析技術發展路線圖上不斷前進著,儘管這一點尚未影響到主流市場,但消費者無疑可將之視為軟體公司正在迅速推進技術創新的一項明證。
此外,早期購買使用了可視化數據分析軟體的用戶正面臨著數據和用戶數據分析工作數量猛增的問題。隨著他們自己的分析平台的成熟,這批用戶對下一波的技術革新的態度似乎是最為開放的,因為增強分析技術有望幫助使用者在數據複雜性不斷提高的情況下更快地得出最重要的分析結論。
隨著數據存儲的形式由單一的關係存儲向多元化的非SQL式的數據存儲發展,數據分析和BI平台在提高數據擴展性和模型複雜度上所面臨的壓力越來越大。而且,隨著數據素養的提高,用戶開始提出需要調用複數數據源並進行菜單驅動的預測分析的、更為複雜的問題。
整個數據架構正變得越來越複雜,數據湖泊的數量和規模不斷增加,這迫使數據分析和BI系統的開發隊伍必須思考判斷在哪裡、如何進行數據建模:是否要把數據複製到數據分析和BI工具的內部存儲空間里?複製數據對運算效率的提高能否抵消其帶來的負面影響?不同軟體之間在這些性能上依然有很大的差距。
有的軟體已經將數據擴展性和模型複雜度打造成自己的賣點(如MicroStrategy),而其他軟體公司還在努力應對這種趨勢:Tableau用Hyper取代了原來的數據抽取模式;Oracle在Oracle數據分析雲中嵌入了多維資料庫(Essbase);而Pyramid Analytics為了滿足用戶的要求,乾脆徹底重建了它的產品。
嵌入式數據分析和BI依然還是一個重要的用例,因為用戶想要開發外聯網應用、使數據貨幣化並打造嵌入了數據分析和BI功能的整體商業應用。
這個市場的規模很難量化,因為其主要開發形式是以定製開發為主的。在最常被用於分析這一用例的魔力象限中的軟體公司中:Logi Analytics再次增加了一倍在該領域的投入;它還在Sisense的客戶用例中佔比客觀。
嵌入式用例還可包括數據分析和BI軟體公司將有關內容嵌入到他們自己開發的商業應用及操作程序中的做法,它們這麼做是為了抵達第一線的企業決策者,對銷售部門來說這是有其作用的。Qlik則試圖通過引起開發者社群的興趣來大力推進在該領域的發展,然而,只有Qlik的少部分用戶真正安裝使用了這個用例。
不僅如此,軟體公司們還在努力提高其平台的開放性,從而促進社群用戶在一定範圍內拓展這些技術的應用,例如可視化、演算法、計算和預置的分析應用等形式。
被評估的很多軟體公司一直都為非營利機構提供特別優惠,並向學生群體提供免費軟體,這一方面是其承擔社會責任的一種形式,另一方面也算是在大學裡培養未來的客戶。
有些公司的公益行動並不止於此,它們會努力減少自己的碳足跡,並將工作進展向大眾公開,還承諾將部分利潤捐出用於回報社會。
在Data for Good活動中,軟體公司會使用公共數據集、針對社會問題舉辦編程馬拉松,或為社會公益活動捐贈軟體和服務,這都是其回報社會的方式。而這也成了篩選能力都很出色的軟體供應商的一種條件。今年的魔力象限就首次將軟體公司的社會責任感和多樣性指數納入了評價體系中。
2015年早期,微軟大幅降低了Power BI軟體的用戶人均價格,給該領域的所有軟體公司都造成了降價壓力。這一降價壓力一直持續到2017年,其間,有的大軟體公司會將新的數據分析和BI功能捆綁到其傳統平台上,或將其作為維護更新的一部分。
消費者表示願意為關鍵性的特別功能的使用支付額外費用,如果其中包括新興的增強分析等功能,付費意願就更強了。大部分消費者首先看的都是授權費,但Gartner一直宣稱人們應該看的是總擁有成本,其中囊括了安裝部署、系統擴容、內容授權、後期培訓和支持等所有費用。
不少軟體公司開始採取按月購買的定價機制,從而降低新用戶開始使用軟體的初始成本,然而,這種做法並沒有降低長期授權費用——三四年以後,用戶累計支付的費用就會超過一次性永久授權費用。
此外,對直接下載安裝的軟體或安裝部署工作量小的情況來說,按照用戶來定價的模式是很合適的,但對於需要進行大規模安裝部署的情況來講,成本往往會大幅上升。
目前,大部分軟體公司會提供直接安裝和擴容兩種選項,不過,其中有的公司的企業協議並沒有得到同步升級。
分析和BI的雲部署現在已經過了臨界點。多數的全新的雲端部署項目以及超過70%的今年調研中的客戶表示,他們已經在用公有雲部署了,而2017年的這個數據只有40%。
這種變化在今年的魔力象限報告中被突出顯示,例如僅有雲部署或者雲端優先的產品(比如SalesforceEinstein Analytics, SAP Analytics Cloud, IBM Watson Analytics 和 Domo)。這種現實揭示出一些創新正在雲端先發生了。另外,雲部署變得更加靈活,混合數據連接至本地數據源得到了廣泛支持。
在混合雲的概念中——客戶可以選擇在何處用到他們的 SaaS 分析應用,以及在任何雲端IaaS平台上去用。在早期的時候, Qlik 和 SAP 就已經構建了向雲端發展的策略。一些供應商同時可幫助客戶替換 IaaS 雲平台所提供的BI和數據分析產品。
另外,供應商現在可給客戶授權一個通用的 license 支持客戶本地至雲端的無縫切換,就如微軟的Power BI 高級版最初進入市場時那樣,最近 SAP、Oracle 和 Qlik 也都提供了這樣的方式。那麼對客戶來說,購買單一完整的 license 會是一個理想的起點,客戶同時希望通過這些部署模式擁有管理內容和用戶的能力,但可惜的是大多數的供應商並不支持這種混合部署。
雖然就這次報告中所觀察的客戶的情況來看,客戶的雲部署水平普遍很高,但Gartner的 IT Score 測試卻顯示出68%的客戶缺乏雲部署策略,僅有7%的客戶有在產品層面的策略。
越來越多的企業希望利用由設備、感測器和人進行連接,從而對產生的流數據進行分析,以便據此分析結果,更快的做出決策。
商業智能市場的參與者通過投資,為具備需求相似的買家提供一個具備能夠支持實時事件、流數據以及其他類型數據的分析,同時開發出一系列具備實時、易用性強的創新型應用,從而提升企業的市場洞察力。
軟體廠商和購買方,雙方通過交流數據分析的應用場景,共同策劃數據源的利用,以及探討自定義可視化和大數據演算法,這種活躍商業智能市場的可用性探討,將有助於數據分析以及商業智能領域未來的發展。
一個成熟的商業智能市場也為BI廠商提供了一個新的銷售渠道 ,BI廠商在平台應用成熟之後,可以將平台積累的成熟行業解決方案出售給客戶或者通過合作夥伴渠道出售給有此需求的企業。
成熟市場的主要受益者最終還是用戶和企業,用戶通過將商業智能應用在工作流程當中,企業內部通過對成熟的行業解決方案的應用,從而優化了工作流程以及提了升企業的運營效率。
在接下來的幾年中,大型供應商的創新市場投資將有益於購買方。
因為創新型廠商擁有大量的技術創新,以及由於創新型廠商對多個獨立的解決方案進行快速演示其業務價值並且草率地將其轉化為生產部署,而未對設計、實施以及技術等給予足夠的投入,因此在產品投入市場進行驗證時,將會暴露出眾多缺陷,而這些創新型廠商對於產品暴露的問題,都將承擔技術責任。
在這個快速發展的市場中,創新性企業應該更加謹慎——通過制定正確的發展戰略,以及選擇正確的技術架構,從而避免將來重大的返工以及重新設計工作。
本文由大數據專家、永洪科技創始人&CEO何春濤(Henry He)先生撰文,如需轉載請聯繫永洪科技:[email protected] 獲得授權。
點擊這裡,免費申請 Yonghong Z-Suite 產品試用