當前位置：網站首頁>BeautifulSoup 學習筆記

BeautifulSoup 學習筆記

2022-01-26 23:43:38 【靠譜的人】

BeautifulSoup學習筆記

1.基礎介紹

GitHub地址：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能够通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間.

按照github舉得例子我們也按照那個分析一下，分析對象命名為html_doc，內容是一段html代碼，正常情况下，我們解析的是response.content.decode(‘utf-8’)

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

2.解析並按標准格式輸出

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.prettify())

3.幾個快速瀏覽的方法

# <title>The Dormouse's story</title>

soup.title.name 
# u'title'

soup.title.string
# u'The Dormouse's story'

soup.title.parent.name
# u'head'

soup.p
# <p class="title"><b>The Dormouse's story</b></p>

soup.p['class']
# u'title'

soup.a
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

soup.find_all('a')
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  # <title>The Dormouse's story</title>

soup.title.name
# u'title'

soup.title.string
# u'The Dormouse's story'

soup.title.parent.name
# u'head'

soup.p
# <p class="title"><b>The Dormouse's story</b></p>

soup.p['class']
# u'title'

soup.a
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

soup.find_all('a')
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

soup.find(id="link3")
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

soup.find(id="link3")
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

以上都是通過soup.標簽名字，快速瀏覽標簽，應用很局限，下面我們來深入探討一下。

4.對象的種類

Beautiful Soup將複雜HTML文檔轉換成一個複雜的樹形結構,每個節點都是Python對象,所有對象可以歸納為4種: Tag , NavigableString , BeautifulSoup , Comment .

Tag標簽

html的基礎就是Tag標簽如

<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

就是一個Tag標簽，Tag有很多方法和屬性,在遍曆文檔樹和搜索文檔樹中有詳細解釋.現在介紹一下tag中最重要的屬性: name和attributes。

Name

每個tag都有自己的名字,通過 .name 來獲取:
如上例 soup.a.name 結果當然是 a 了，因為他是個 a 標簽嘛，貌似這個沒啥用，後邊配合樹遍曆的時候才能看出應用。

Attributes

一個tag可能有很多個屬性. tag 有一個 “class” 的屬性,值為 “boldest” . tag的屬性的操作方法與字典相同:可以有三種

soup.a['class']
soup.a.get('class')
soup.a.attrs['class']

在說一遍，Tag的屬性操作方法與字典相同！！！

NavigableString 字符串

Beautiful Soup用 NavigableString 類來包裝tag中的字符串，操作的時候使用tag.string

soup.a.string  //結果是 Elise

如果想要一次性獲取所有標簽的字符串，使用.text，相當於加强版的.string對於爬小說很有用哦！
一個 NavigableString 字符串與Python中的Unicode字符串相同,並且還支持包含在遍曆文檔樹和搜索文檔樹中的一些特性. 通過 unicode() 方法可以直接將 NavigableString 對象轉換成Unicode字符串:

unicode_string = unicode(tag.string)
unicode_string
# u'Extremely bold'
type(unicode_string)
# <type 'unicode'>

tag中包含的字符串不能編輯,但是可以被替換成其它的字符串,用 replace_with() 方法:

tag.string.replace_with("No longer bold")
tag
# <blockquote>No longer bold</blockquote>

NavigableString 對象支持遍曆文檔樹和搜索文檔樹中定義的大部分屬性, 並非全部.尤其是,一個字符串不能包含其它內容(tag能够包含字符串或是其它tag),字符串不支持 .contents 或 .string 屬性或 find() 方法.

如果想在Beautiful Soup之外使用 NavigableString 對象,需要調用 unicode() 方法,將該對象轉換成普通的Unicode字符串,否則就算Beautiful Soup已方法已經執行結束,該對象的輸出也會帶有對象的引用地址.這樣會浪費內存.

BeautifulSoup 對象

BeautifulSoup 對象錶示的是一個文檔的全部內容.大部分時候,可以把它當作 Tag 對象,它支持遍曆文檔樹和搜索文檔樹中描述的大部分的方法.

因為 BeautifulSoup 對象並不是真正的HTML或XML的tag,所以它沒有name和attribute屬性.但有時查看它的 .name 屬性是很方便的,所以 BeautifulSoup 對象包含了一個值為 “[document]” 的特殊屬性 .name
、

注釋 Comment

Tag , NavigableString , BeautifulSoup 幾乎覆蓋了html和xml中的所有內容,但是還有一些特殊對象.容易讓人擔心的內容是文檔的注釋部分:

markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# <class 'bs4.element.Comment'>

Comment 對象是一個特殊類型的 NavigableString 對象:

comment
# u'Hey, buddy. Want to buy a used parser'

5.一些使用操作

獲取所有a標簽的文字內容

兩種方法

soup = BeautifulSoup(html_doc, 'html.parser')
strs = soup.find_all('a')
for str in strs:
    print(str.string)

soup = BeautifulSoup(html_doc, 'html.parser')
strs = soup.find_all('a')
for str in strs:
    print(list(str.strings)[0])

第一種很容易理解，這個例子比較簡單，如果標簽嵌套很多的話，第二種就比較簡單了，str.strings是直接獲取所有標簽的文字內容，但結果是一個生成器，就需要用list（）方法轉換成一個列錶，再取內容。不理解的話，多操作幾次就明白了。
類似的還有

版權聲明
本文為[靠譜的人]所創，轉載請帶上原文鏈接，感謝
https://cht.chowdera.com/2022/01/202201262343376411.html

當前位置：網站首頁>BeautifulSoup 學習筆記

BeautifulSoup 學習筆記