Python實戰丨網絡爬蟲都能幹什麼？

來源：https://blog.csdn.net/qzc70919700/article/details/73309117/

爬蟲是獲取數據的一個最快捷的方法，坐在家裏，用一臺電腦就可以嘩嘩的把（別人網站和APP的）數據爬下來！

那麼，問題來了，爬蟲可以幹什麼？這些嘩嘩的數據可以怎麼用？小編整理了一些網友的七嘴八舌，快來看看會爬蟲的程序員們生活有多麼的歡樂~~

@冰藍

之前在北京買房，誰想房價開始瘋長，鏈家的房價等數據分析只給了一小部分，遠遠不能滿足自己的需求。於是晚上花了幾個小時的時間寫了個爬蟲，爬下了北京所有的小區信息及北京所有小區的所有歷史成交記錄。

@陳樂羣

上次發現Android QQ和iOS QQ可以顯示網絡狀態（2G/WiFi)之後，突然想到，這樣子好像可以監視某人的出行和作息規律。簡單的來說，在家裏或者工作的地方，一般是有WiFi的，然後出門了，WiFi就斷掉了。如果監測頻率足夠頻繁，那麼結合一定的推理，可以大致推測出一個人的行動。如果長期監視，那麼可以大致推出一個人的作息時間。

因爲只有Android QQ和iOS QQ有這個功能，所以要得到一個人的網絡狀態比較麻煩。我的做法是跑 Android 模擬器。然後用按鍵精靈模擬，並把網絡狀態截圖，用 curl post到服務器上。服務器會把每次發送的時間、截圖保存下來。因爲是用程序截圖的，所以只要網絡狀態是一樣的，那麼截圖就是一樣的，這樣服務器就只會保存2~3張圖片而已，其餘的發現是相同的圖片，數據庫做個標記就好了。然後人工做OCR，還是注意到只有2~3張圖片，所以工作量很少。

得到數據後，要做各種統計就可以自己搞了……

@森羴

在用Python寫網頁爬蟲之前，我只用來寫過了一個駕校約車的腳本，讓當時的我不懼上萬的學車同僚，在約車環節沒有輸在起跑線上。

接着那段時間，我女朋友的領導每天下班都會下任務，要收集100條有招聘需求的信息，第二天檢查。看到她熬夜百度+複製粘貼到半夜，心疼死了。

想到了某個牛人說:一切重複性的工作都可以用程序來完成。於是偷偷花了些時間研究了下她經常查的某些同類業務網站的頁面數據，培育了這隻爬蟲。主要技能就是爬這些網站的招聘公司信息及聯繫方式，保存到Excel中。

在我將戰鬥成果----1000多個客戶資料的Excel表格發給她的時候，先驚喜，後審問，再感慨！依稀記得那天她發了一條朋友圈，內容是：“有個程序員男朋友，感覺好幸福啊！！”成就感走直線啊，都能讓她感到幸福，你說這隻爬蟲是不是做了很酷很有趣的事情呢？

@柳易寒

我用爬蟲爬了我愛白菜網、超值分享匯、發現值得買、惠惠購物、今日聚超值、留住你、買手黨、沒得比、慢慢買、牛雜網、買個便宜貨、什麼值得買、天上掉餡餅、一分網、折800值得買、值值值等網站的折扣信息。

這些網站都是提供的一些及時的、性價比較高的商品，很多時候要一個一個網站的看（重度用戶），很容易就會錯過一些很划算的商品。

@小白

大二學生一枚，前段時間中期考試，成績一直不出來，又不想每次都登錄，突然就像用以下所學的東西來乾點事情。

說幹就幹，花了我將近4個小時完成成績提醒功能。主要是用Python定時抓取數據（定時用Ubuntu的crontab），分析數據是否變化，然後發送短信。其實大部分時間是花在分析學校模擬登陸那一塊了，畢竟要提取各種值，還有url重定向，本來就才學Python，對一些東西也不是很熟悉。