當前位置:網站首頁>爬蟲基本原理講解

爬蟲基本原理講解

2022-05-15 01:26:49Python_金錢豹

1.什麼是爬⾍?

2.爬蟲基本流程

3.什麼是Request和Response?

4.Request中包含什麼?

5.Response中包含什麼?

6.爬蟲能抓怎樣的數據?

7.怎樣來解析?

8.為什什麼我抓到的和瀏覽器器看到的不一樣?

9.怎樣解决JavaScript渲染的問題?

10.可以怎樣保存數據

1.什麼是爬⾍?

請求網站並提取數據的自動化程序

2.爬蟲基本流程

2.1 發起請求

通過HTTP庫向目標站點發起請求,即發送一個Request,請求可以包含額外的headers等信息,等待服務器響應。

2.2 獲取響應內容

如果服務器能正常響應,會得到一個Response,Response的內容便是所要獲取的頁面內容,類型可能有HTML,Json字符串,二進制數據(如圖片視頻)等類型。

2.3 解析內容

得到的內容可能是HTML,可以用正則錶達式、網頁解析庫進行解析。可能是Json,可以直接轉為Json對象解析,可能是二進制數據,可以做保存或者進一步的處理。

2.4 保存數據

保存形式多樣,可以存為文本,也可以保存至數據庫,或者保存特定格式的文件。

3.什麼是Request和Response?

Request與Response

在這裏插入圖片描述
(1)瀏覽器就發送消息給該網址所在的服務器,這個過程叫做HTTP Request。

(2)服務器收到瀏覽器發送的消息後,能够根據瀏覽器發送消息的內容,做相應處理,然後把消息回傳給瀏覽器。這個過程叫做HTTP Response。

(3)瀏覽器收到服務器的Response信息後,會對信息進行相應處理,然後展示。

4.Request中包含什麼?

(1) 請求方式
主要有GET、POST兩種類型,另外還有HEAD、PUT、DELETE、OPTIONS等。

(2) 請求URL
URL全稱統一資源定比特符,如一個網頁文檔、一張圖片、一個視頻等都可以用URL唯一來確定。

(3) 請求頭
包含請求時的頭部信息,如User-Agent、Host、Cookies等信息。

(4) 請求體
請求時額外攜帶的數據,如錶單提交時的錶單數據

5.Response中包含什麼?

(1) 響應狀態
有多種響應狀態,如200代錶成功、301跳轉、404找不到頁面、502服務器錯誤

(2) 響應頭
如內容類型、內容長度、服務器信息、設置Cookie等等。

(3) 響應體
最主要的部分,包含了請求資源的內容,如網頁HTML、圖片二進制數據等。

6.爬蟲能抓怎樣的數據?

(1) 網頁文本
如HTML文檔、Json格式文本等。

(2) 圖片
獲取到的是二進制文件,保存為圖片格式。

(3) 視頻
同為二進制文件,保存為視頻格式即可。

(4) 其他
只要是能請求到的,都能獲取。

7.怎樣來解析?

解析方式

在這裏插入圖片描述

8.為什什麼我抓到的和瀏覽器器看到的不一樣?

9.怎樣解决JavaScript渲染的問題?

在這裏插入圖片描述

10.可以怎樣保存數據

在這裏插入圖片描述
關於Python技術儲備

學好 Python 不論是就業還是做副業賺錢都不錯,但要學會 Python 還是要有一個學習規劃。最後大家分享一份全套的 Python 學習資料,給那些想學習 Python 的小夥伴們一點幫助!

一、Python所有方向的學習路線

Python所有方向路線就是把Python常用的技術點做整理,形成各個領域的知識點匯總,它的用處就在於,你可以按照上面的知識點去找對應的學習資源,保證自己學得較為全面。

二、學習軟件

工欲善其事必先利其器。學習Python常用的開發軟件都在這裏了,給大家節省了很多時間。

三、入門學習視頻

我們在看視頻學習的時候,不能光動眼動腦不動手,比較科學的學習方法是在理解之後運用它們,這時候練手項目就很適合了。

四、實戰案例

光學理論是沒用的,要學會跟著一起敲,要動手實操,才能將自己的所學運用到實際當中去,這時候可以搞點實戰案例來學習。

五、面試資料

我們學習Python必然是為了找到高薪的工作,下面這些面試題是來自阿裏、騰訊、字節等一線互聯網大廠最新的面試資料,並且有阿裏大佬給出了權威的解答,刷完這一套面試資料相信大家都能找到滿意的工作。


這份完整版的Python全套學習資料已經上傳CSDN,朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費

Python資料、技術、課程、解答、諮詢也可以直接點擊下面名片,添加官方客服斯琪

版權聲明
本文為[Python_金錢豹]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/135/202205142021561482.html

隨機推薦