大數據,人工智慧


謝謝邀請

這要從客觀認識大數據談起。

一、大數據的三個層次和核心解讀

(一)三個層次和核心

我們將大數據分為三個層次。一是容量很大的數據,比如兩個倉庫都堆滿了很多書,甲倉庫的書全是大學二年級數學教材,乙倉庫的為大學各類教材及其提升學生綜合能力的各類圖書,兩倉庫都滿足了「大」的要求;二是大容量且有用的數據,比如對大學教學來說,肯定上述甲倉庫的書幾乎沒用,而乙能滿足這一要求;三是從中挖掘核心數據的強大能力,這個很考水平。

所以,大數據不能簡單地理解為數據多,其核心是數據挖掘。挖掘數據則要涉及到雲計算。這種如雲般運算的能力與強度,實際上就是考驗科技與研發人員的「認知」水準。

——摘自《新未來簡史》一書

(二)對核心的解讀

所謂數據挖掘(與傳統定義有點不同),就通過對海量數據的交換、選擇、整合和分析,發現新的知識,創造新的價值,帶來"大知識"、"大科技"、"大利潤"和"大發展"。

也就是,將海量數據最大化的、集約性的、多頭性的運用於企業、社會、生活等等的各個方面,以創造最大的價值。

二、大數據的範圍與深度認識

(一)範圍認知

如今通過物聯網(或互聯網)感知到的被人們稱之為「大數據」的數據(主要指人類信息交換、信息存儲、信息處理三方面能力大幅提升後,人與人、人與物之間所製造的數據),相對於萬物在同一時刻所釋放的所有數據來說,僅僅只是微不足道的「微數據」而已。(摘自《新未來簡史》一書)

(二)深度認知

如今概念的「大數據」依然是很表面的數據,比如說「你揮揮手,幾個簡單的動作是『表數據』,物聯網能感知;而揮手動作之下,深入到分子、細胞與組織內,數以億計的『宏數據』不能被感知。『表數據』構築起如今的大數據概念,在此基礎之上的物聯網、演算法與人工智慧等,能量非常有限」。

上述文字摘自《新未來簡史》一書,是該書提出的「未來12大定律或理論」之一,即「宏表數據理論」。

(三)與人工智慧(AI)、物聯網的關係

1、與AI的關係

比如AI中的「深度學習」(機器學習的內容之一),實際上是個老話題,如今很時髦的原因,主要是因為信息技術的發展讓蒐集「大數據」成為可能,機器訓練有了足夠多的樣本。

諸如阿爾法狗的棋步演算法、洛天依的聲音合成,以及無人駕駛、人臉識別、網頁搜索等等高級應用中用到的神祕兮兮的「深度學習」「增強學習」,乃至最具潛力的「對抗學習」及其對應的「深度神經網路」「卷積神經網路」「對抗神經網路」等 都與大數據有關。(摘自《新未來簡史》一書

2、與物聯網的關係(進一步解讀與AI的關係)

物聯網主要通過各種設備(比如RFID,感測器,二維碼等)的介面將現實世界的物體連接到互聯網上,或者使它們互相連接,以實現信息的傳遞和處理。

而且,由於物聯網可連接大量不同的設備及裝置(家用、生活、監測等各類電器和設備),嵌入在各個產品中的感測器(sensor)便會不斷地將新數據上傳至雲端。這些新的數據以後可以被人工智慧處理和分析,以生成所需要的信息並繼續積累知識。

綜上:

1、正是得益於大數據和雲計算的支持,互聯網才正在向物聯網擴展,並進一步升級至體驗更佳、解放生產力的人工智慧時代。

2、對於人工智慧而言,物聯網(IoT)其實肩負了一個至關重要的任務:資料收集和傳遞。

三、大數據的聯動分析(放入整個現代科技、現代社會體系下)

這是大數據產生聯動價值的根源。

一、實際上:

數據實際上是個老掉了牙的東西。上古時期的結繩記事、以月之盈虧計算歲月,到後來部落內部以獵物、採摘多寡計算貢獻,再到歷朝歷代的土地農田、人口糧食、馬匹軍隊等各類事項都涉及到大量的數據。這些數據雖然越來越多、越來越大,但是,人們都未曾冠之以「大」字,那是什麼事情讓「數據」這瓶老酒突然換髮了青春並如此時髦了起來呢?

當互聯網開始進一步向外延伸,並與世上的很多物品鏈接之後,這些物體開始不停地將實時變化的各類數據傳回到互聯網並與人開始互動的時候,物聯網誕生了。物聯網是個大奇蹟,被認為可能是繼互聯網之後人類最偉大的技術革命,是這樣的嗎?見「互聯網將會這樣被替代」章節詳解。如今,即便是一件物品被人感知到的幾天內的各種動態數據,都足以與古代一個王國一年所收集的各類數據相匹抵,那物聯網上數以萬計億計的物品呢?是不是數據大得不得了,於是「大數據」產生了。如此浩如雲海的數據,如何分類提取和有效處理呢?這個需要強大的技術設計與運算能力,於是「雲計算」產生了。其中的「技術設計」就歸屬於「演算法」。「雲計算」需要從天量數據中去挖掘有用的信息,於是「數據挖掘」產生了。這些被挖掘出來的有用信息去服務城市,就叫做「智慧城市」;去服務交通,就叫做「智慧交通」;去服務家庭,就叫做「智能家居」;去服務於醫院,就叫做「智能醫院」;去服務生活,就叫做「智能生活」……於是,智能社會產生了。不過,智能社會真正得以有序、有效運行,中間必須依託一個「橋樑」與工具,那就是「人工智慧」。 這就是為什麼,近幾年時間內,諸如「人工智慧」、「物聯網」、「大數據」、「雲計算」、「演算法」、「數據挖掘」和「智能XX」這些高大上的時髦名詞和概念,突然同時從地下冒了出來,原來它們都是「同一條線上拴著的螞蚱」啊!注意,萬物大數據主要包括人與人、人與物、物與物三者相互作用所產生(製造)的大數據。 其中,人與人、人與物之間製造出來的數據,有少部分被感知;物與物之間製造出來的數據是根本沒法被感知的。對於人與人、人與物之間被感知到的那部分很小的數據(相對於萬物釋放的量來說非常小,但是絕對量卻非常大),主要是指在2000年後,因為人類信息交換、信息存儲、信息處理三方面能力的大幅增長而產生的數據,這個實際上就是我們日常所聽到的「大數據」概念,這是以人為中心的狹義大數據,也是實用性(商業、監控或發展等使用)大數據。據估算,從1986年到2007年這20年間,人們每天可以通過既有信息通道交換的信息數量增長了約217倍,全球信息存儲能力增加了約120倍。信息存儲、處理等能力的增強為我們利用大數據提供了近乎無限的想像空間。

—————上文引用自《《新未來簡史:》 一書。

所以,諸如「人工智慧」、「物聯網」、「大數據」、「雲計算」、「演算法」、「數據挖掘」和「智能XX」這些高大上的時髦名詞和概念,突然同時從地下冒了出來,原來它們都是「同一條線上拴著的螞蚱」啊

四、對大數據認知的升級,即堅持三原則與一悖論(很重要)

堅持三原則:大數據不會過時,但絕對不是最熱門,更不能神話它。

堅持一悖論即大數據悖論。

大數據悖論:提醒人們需避免陷入「數據主義」「數據宗教」等盲目崇拜的陷阱而失去理智。內涵:當大數據被少數人掌握並使用時,能產生奇效,但是,在競爭性領域,大數據被眾人使用後,其效用將大打折扣,甚至引發破壞作用。——摘自《新未來簡史》一書。

關於大數據悖論的深度認知,可參看《「大數據悖論」,幾乎否決了《未來簡史》立足的基石,以及否決了《今日簡史》重大主題》,鏈接:

「大數據悖論」,幾乎否決了《未來簡史》立足的基石,以及否決了《今日簡史》重大主題之一,大家怎麼看??

www.zhihu.com圖標

五、最後談談大數據專業

(一)專業概況

大數據是門系統學科,基於數據,核心是數學演算法,通過一些成熟平臺架構組件,完成人們對數據的使用。平臺架構組件不斷在升級更新,學習要腳踏實地從基礎開始,不要有一蹴而就的心態。

大數據專業主要從大數據應用三個層面設置相關課程與學習,即數據管理、系統開發、海量數據分析與挖掘。

從而讓學習者系統地掌握大數據應用中的各種典型問題的解決辦法,包括實現和分析協同過濾演算法、運行和學習分類演算法、分散式Hadoop集羣的搭建和基準測試、分散式Hbase集羣的搭建和基準測試、實現一個基於、Mapreduce的並行演算法、部署Hive並實現一個的數據操作等等,實際提升企業解決實際問題的能力。

(二)主要專業設置

目前技術應用分大數據系統運維(系統平臺管理hadoop基礎、相關組件原理安裝維護、Hbase/spark/kafka/zookeeper等等)

大數據數據分析(商務數據分析、

六、主要資料引用來源

上述回答主要引用來源於新銳暢銷書《新未來簡史:區塊鏈、人工智慧、大數據陷阱與數字化生活》(與《今日簡史》《未來簡史》《人類簡史》至少分別有80、100與50項對立的觀點,幾乎涉及30多門前沿科技、學科與未來的推測與推斷)。如圖:


大數據作為人工智慧發展的三個重要基礎之一(數據、演算法、算力),本身與人工智慧就存在緊密的聯繫,正是基於大數據技術的發展,目前人工智慧技術纔在落地應用方面獲得了諸多突破。

在當前大數據產業鏈逐漸成熟的大背景下,大數據與人工智慧的結合也在向更全面的方向發展,大數據與人工智慧的結合涉及到以下幾個方式:

第一:大數據分析。從技術的角度來看,大數據分析是與人工智慧一個重要的結合點,機器學習作為大數據重要的分析方式之一,正在被更多的數據分析場景所採用。機器學習不僅是人工智慧領域的六大主要研究方向之一,同時也是入門人工智慧技術的常見方式,不少大數據研發人員就是通過機器學習轉入了人工智慧領域。

第二:AIoT體系。AIoT技術體系的核心就是物聯網與人工智慧技術的整合,從物聯網的技術層次結構來看,在物聯網和人工智慧之間還有重要的「一層」,這一層就是大數據層,所以在AIoT得到更多重視的情況下,大數據與人工智慧的結合也增加了新的方式。

第三:雲計算體系。隨著雲計算服務的逐漸深入和發展,目前雲計算平臺正在向「全棧雲」和「智能雲」方向發展,這兩個方向雖然具有一定的區別(行業),但是一個重要的特點是都需要大數據的參與,尤其是智能雲。

大數據的發展本身開闢出了一個新的價值空間,但是大數據本身並不是目的,大數據的應用纔是最終的目的,而人工智慧正是大數據應用的重要出口,所以未來大數據與人工智慧的結合途徑會越來越多。

我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智慧領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。

如果有互聯網、大數據、人工智慧等方面的問題,或者是考研方面的問題,都可以在評論區留言,或者私信我!


額 不請自來給大家分享一下我的拙見。

目前在網上很多人都在混淆人工智慧和大數據的概念和體系,給大家灌輸一個人工智慧=大數據或者是大數據是人工智慧的一部分的概念,目的就不言而喻了不就是為了從中獲利嗎?

主要是最近人工智慧比較火,然後因為是剛剛發展所以很多規則和概念還不清晰,所以很多機構就拿著Python+爬蟲+大數據+一些亂七八糟的東西然後就和你說這是人工智慧,學完可以找到多少年薪的工作。我這邊的讀者就有和我反饋的。

現在我來說下,人工智慧和大數據是兩個學習體系。

大數據的作用是對數據的挖掘、傳輸、儲存、分類、分析(國內的話這個方向的運用比較少因為需要大量資金的支持,都是大廠在做的。)等著五個主要作用,然後這些作用的結果就是人工智慧模型訓練需要的東西了,但是還要經過標註纔能夠運用。

人工智慧的模型訓練需要大量的數據支撐,根據這個很多機構就會忽悠你大數據是人工智慧的一部分,然後包裝一下就開始謀利了。

關注咕泡人工智慧

分享每日最新資訊和技術乾貨

http://weixin.qq.com/r/xC-A2G3EUjAtrSm793rW (二維碼自動識別)


要了解大數據與人工智慧的關係,首先我們得從認知和理解大數據和人工智慧的概念開始。

1、大數據

大數據是物聯網、Web系統和信息系統發展的綜合結果,其中物聯網的影響最大,所以大數據也可以說是物聯網發展的必然結果。大數據相關的技術緊緊圍繞數據展開,包括數據的採集、整理、傳輸、存儲、安全、分析、呈現和應用等等。目前,大數據的價值主要體現在分析和應用上,比如大數據場景分析等。

2、人工智慧

人工智慧是典型的交叉學科,研究的內容集中在機器學習、自然語言處理、計算機視覺、機器人學、自動推理和知識表示等六大方向,目前機器學習的應用範圍還是比較廣泛的,比如自動駕駛、智慧醫療等領域都有廣泛的應用。人工智慧的核心在於「思考」和「決策」,如何進行合理的思考和合理的行動是目前人工智慧研究的主流方向。

3、大數據與人工智慧

大數據和人工智慧雖然關注點並不相同,但是卻有密切的聯繫,一方面人工智慧需要大量的數據作為「思考」和「決策」的基礎,另一方面大數據也需要人工智慧技術進行數據價值化操作,比如機器學習就是數據分析的常用方式。在大數據價值的兩個主要體現當中,數據應用的主要渠道之一就是智能體(人工智慧產品),為智能體提供的數據量越大,智能體運行的效果就會越好,因為智能體通常需要大量的數據進行「訓練」和「驗證」,從而保障運行的可靠性和穩定性。

目前大數據相關技術已經趨於成熟,相關的理論體系已經逐步完善,而人工智慧尚處在行業發展的初期,理論體系依然有巨大的發展空間。從學習的角度來說,如果從大數據開始學習是個不錯的選擇,從大數據過渡到人工智慧也會相對比較容易。總的來說,兩個技術之間並不存在孰優孰劣的問題,發展空間都非常大。


當前的AI是邏輯演算法的執行,底層架構是大數據

現在大家都講我們進入了互聯網時代,人工智慧概念提出,我們現在正在進入智能時代。人工智慧已經在多個領域中實踐,比如無人駕駛、圖像識別、語音識別……

百度研發的無人駕駛汽車已經可以上路了,蘋果的最新發布的iphone x可以實現臉支付,微軟的深度學習軟體將語音識別的錯誤率降低到了5.1%,其在人工智慧領域應該是比較先進的。

百度的無人駕駛需要採集每個路口/路況的信息(路口紅綠燈信息、路況人流量、道路車輛……),比如,當無人駕駛汽車行駛到某個路口的紅綠燈時候,需要根據記錄的數據分析是停車還是繼續駕駛;當前路面濕滑,需要根據數據分析,汽車應該減速到某個時速,這樣才比較安全;前方有行人過馬路,汽車系統需要捕獲照片,「決策」暫停行駛……

所以不管是無人駕駛,還是圖像識別、語音識別,系統底層架構應該都是基於大數據的邏輯演算法,系統須先存儲海量數據信息,比如路況信息、人臉數據、語音數據……,根據底層大數據、人的需求分析,然後編碼成邏輯程序,系統執行人的想法。

所以,當前的AI應該僅僅是執行人的想法,而且是垂直方向的需求執行。基於底層的大數據,系統可以根據已經設計好的程序分析、決策、執行,但是不能獨立思考。

因此,假如人工智慧看見前面一個人,可以通過數據分析是男人、女人,但是不能告訴你是好人還是壞人。除非,系統裡面存儲了目標人的犯罪記錄或作案記錄。

認知計算與人工智慧

前段時間有看過一個電影《異性:契約》,裡面有兩個生物人,一個是大衛,另外一個是沃爾特。

第一代生化人大衛有認知能力,能夠獨立思考,所以最後幹掉了沃爾特成功登陸契約號;第二代生化人沃爾特,雖然能夠獨立思考,但是被預先設計的程序限制「忠於契約號船員」,故認知能力比較有限。

1960年,美國心理學家和計算機科學家J.C.R. Licklider首次提出了「認知計算」: 認知計算,可以讓計算機系統性地思考和提出問題的解決辦法,並且實現人與計算機合作進行決策和控制複雜的情形,而這個過程不依賴於預先設定的程序。

人工智慧依賴於底層大數據,雖然,認知計算不依賴於先預設的程序,可以模仿、學習、推理,像大衛與沃爾特一樣與人互動交流,但是底層仍然是想要依賴於大數據。

圖片來自億歐網


推薦閱讀:
相關文章