用ip代理來網頁爬蟲,這樣的教程及操作我們都比較熟悉了,隨著移動網絡的爆發,手機抓包開始更多的被用到,而且很多企業都直接推APP不做客戶端。
平時我們的爬蟲多是針對網頁的,隨著手機端APP應用數量的增多,相應的爬取需求也就越來越多,因此手機端APP的數據爬取對于一名爬蟲工程師來說是一項必備的技能。我們知道,網頁爬取的時候我經常使用F12開發者工具或者fiddler之類的工具來幫助我們分析瀏覽器行為。那對于手機的APP應該如何使用呢?我們同樣可以使用fiddler來分析。下面IP海將會給大家介紹如何在電腦端使用fiddler進行手機APP的抓包。
首先了解一下fiddler:Fiddler是一個http協議調試代理工具,它能夠記錄并檢查所有你的電腦和互聯網之間的http通訊,設置斷點,查看所有的“進出”Fiddler的數據(指cookie,html,js,css等文件,這些都可以讓你胡亂修改的意思)。 Fiddler 要比其他的網絡調試器要更加簡單,因為它不僅僅暴露http通訊還提供了用戶友好的格式。
以下是具體步驟:
1、下載fiddler抓包工具
fiddler的官方下載鏈接:https://www.telerik.com/download/fiddler
安裝步驟沒什么特別,常規下一步完成即可。
2、設置fiddler
(1)設置允許抓取HTTPS信息包
操作很簡單,打開下載好的fiddler,找到 Tools -> Options,然后在HTTPS的工具欄下勾選Decrpt HTTPS traffic,在新彈出的選項欄下勾選Ignore server certificate errors。這樣,fiddler就會抓取到HTTPS的信息包,否則會一直顯示tunnel。
(2)設置允許外部設備發送HTTP/HTTPS到fiddler
相同的,在Connections選項欄下勾選Allow remote computers to connect,并記住上面的端口號8888,端口號后面會使用到。
3、 設置手機端
設置手機端之前,我們需要記住一點:電腦和手機需要在同一個網絡下進行操作??梢允褂脀ifi或者手機熱點等來完成。
假如你已經讓電腦和手機處于同一個網絡下了,這時候我們需要知道此網絡的ip地址,可以在命令行輸入ipconfig簡單的獲得,如圖。
下面我們開始手機端的設置。
手機APP的抓取操作對于Android和Apple系統都可用,博主使用的蘋果系統,在此以蘋果系統為例。
首先進入到手機wifi的設置界面,選擇當前連接網絡的更多信息,在蘋果中是一個嘆號。點擊進入后你會在最下面看到HTTP代理的選項,選擇點擊進入,選擇 手動。
進入后,填寫上面記住的ip地址和端口號,確定保存。
4、下載fiddler安全證書
手機端設置完成后,我們還需要下載fiddler安全證書,可以在在手機上打開瀏覽器輸入一個上面ip地址和端口號組成的url:http://192.168.43.38:8888。打開后你會看到如下的界面,然后點擊FiddlerRoot certificate下載fiddler證書。
以上就簡單完成了所有的操作,最后我們測試一下是否好用。
5、手機端測試
就以知乎APP為例,在手機上打開 知乎APP。下面是電腦上fiddler的抓包結果。
結果沒有問題,抓到信息包。然后就可以使用我們分析網頁的方法來進行后續的操作了。
以上就是IP海帶來手機抓包的教程攻略分享,希望對大家能夠有幫助。
版權聲明:本文為IP海(iphai.cn)原創作品,未經許可,禁止轉載!
Copyright © www.skldkt.com. All Rights Reserved. IP海 版權所有.
IP海僅提供中國內IP加速服務,無法跨境聯網,用戶應遵守《服務條款》內容,嚴禁用戶使用IP海從事任何違法犯罪行為。
鄂ICP備19030659號-3
鄂公網安備42100302000141號
計算機軟件著作權證
ICP/EDI許可證:鄂B2-20200106