如何大量抓取新浪微博的數據?
謝邀
本人正在用python寫一個微博爬蟲,在github上開源的,如果題主會python而且有興趣可以一起完成
不太懂技術的話可以用用我們的[光年頁面內容採集]http://d.shop123.io/tongyong/caijiqi.zip
非常容易上手,重要的是防ban能力很好,幾乎不會被封
如果自己有伺服器完全可以自己動手搭建一個爬蟲來實現了。官方的api會有數據限制,不建議採用,你可以自己通過抓包獲取api來構造爬蟲。
如何大量爬取新浪微博數據?請看我的這一篇文章:
Python 爬蟲如何機器登錄新浪微博並抓取內容??www.zhihu.com裡面有抓取微博內容的大體思路,如果你懂一些Python爬蟲的技術可以馬上著手操作一番。
我用微博數據寫了兩篇事件分析文章,歡迎關注我的公眾號:產品汪生存指南
如果你正好在做用戶行為分析論文,或許可以給你一些啟發。
另外,如果您需要針對某個(或某些)人定向爬取最新動態,比如想第一時間知道某個人今天發了什麼微博,在微博裏給什麼人回復了什麼評論,通過什麼方式回復的等,最近我正好完成了一個這樣的項目,可以實現自動化跟蹤。
如果你也需要,歡迎關注。
全量微博數據抓取(真正意義上的全量)有需要的可以聯繫[email protected]
本人寫了一個爬蟲程序,可以突破微博採集的限制,例如翻頁限制等,現在幫好多客戶在採
我研究過新浪微博的抓取,有需要的可以聯繫我[email protected]可以試試八爪魚採集器
推薦閱讀: