登錄 注冊

　　在Pyhton中要怎么使用ip代理?我們經常說ip代理能夠讓Python更好的發揮爬蟲效果，首先我們要懂得如何在python語言中設置ip代理來利用。

　　1、urllib模塊設置代理

　　如果我們頻繁用一個IP去爬取同一個網站的內容，很可能會被網站封殺IP。其中一種比較常見的方式就是設置ip代理。

　　from urllib import request

　　proxy = 'http://39.134.93.12:80'

　　proxy_support = request.ProxyHandler({'http': proxy})

　　opener = request.build_opener(proxy_support)

　　request.install_opener(opener)

　　result = request.urlopen('http://baidu.com')

　　首先我們需要構建一個ProxyHandler類，隨后將該類用于構建網頁代開的opener的類，最后在request中安裝opener

　　2、requests模塊使用代理

　　該模塊設置代理非常容易

　　import requests

　　proxies = {

　　'http': 'http://10.10.1.10:3128',

　　'https': 'http://10.10.1.10:1080'

　　}

　　r = requests.get('http://icanhazip.com', proxies=proxies)

　　ip代理利用得當，我們的爬蟲將不會輕易被網站禁止，這樣就可以順利抓取到我們需要的數據信息，幫助了我們爬蟲的效果。