當前位置:網站首頁>什麼是動態加載的數據?(爬蟲學習)舉例,為什麼使用selenium

什麼是動態加載的數據?(爬蟲學習)舉例,為什麼使用selenium

2022-01-28 02:58:38 侯小啾

以稀土掘金網站為例,
在這裏插入圖片描述
當我們寫網絡爬蟲對https://juejin.cn/這個url發起請求時,即訪問的下方這個名為juejin.cn的文件,對應的response一欄中,是我們能獲取到的數據。
在這裏插入圖片描述
以網頁上的“2022 首次更文挑戰”的字段,在這個response中是不存在的。即使用requests訪問上邊的url是獲取不到該數據的,該數據即為動態加載的。

點擊search進行搜索,
在這裏插入圖片描述

可以找到該數據所在的url。

使用selenium可以獲取到動態加載的數據,但是動態加載的數據是動態的,所以每一次訪問返回的數據未必相同,但是會有。

版權聲明
本文為[侯小啾]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/01/202201280258382819.html

隨機推薦