登錄 注冊

　　ip海的運用方式有很多，如果我們需要批量獲取數據，要自己手動一條條來收集是不是會花費很多的時間，而且這也非常的麻煩，但是如果通過爬蟲抓取，那么就簡單多了。

　　下面IP海以用ip代理爬取貼吧數據為例： 先寫一個main，提示用戶輸入要爬取的貼吧名，并用urllib.urlencode()進行轉碼，然后組合url，假設是lol吧

　　那么組合后的url就是：tieba.baidu.com/f?kw=lol

　　接下來，我們寫一個百度貼吧爬蟲接口，我們需要傳遞3個參數給這個接口， 一個是main里組合的url地址，以及起始頁碼和終止頁碼，表示要爬取頁碼的范圍。

　　我們已經之前寫出一個爬取一個網頁的代碼?，F在，我們可以將它封裝成一個小函數loadPage，供我們使用。

　　最后如果我們希望將爬取到了每頁的信息存儲在本地磁盤上，我們可以簡單寫一個存儲文件的接口 。

　　其實很多網站都是這樣的，同類網站下的html頁面編號，分別對應網址后的網頁序號，只要發現規律就可以批量爬取頁面了。

　　所以做個爬蟲并不是特別難，如果還是沒有代碼不清楚是什么回事，也不要緊，我們根據簡單去看看，以這個為模板，更換其中一些代碼即可。

　　這樣通過爬蟲，我們能夠簡化操作，而且也可以不用那么枯燥的一條條自己手動來記錄。