當前位置:網站首頁>NLP學習記錄(七)條件隨機場(CRF)

NLP學習記錄(七)條件隨機場(CRF)

2022-01-26 22:23:17 只想安靜的一個人

條件隨機場模型是Lafferty於2001年,在最大熵模型和隱馬爾科夫模型的基礎上,提出的一種判別式概率無向圖學習模型,是一種用於標注和切分有序數據的條件概率模型。CRF最早是針對序列數據分析提出的,現已成功應用於自然語言處理(NLP)、生物信息學、機器視覺及網絡智能等領域。

1.隨機場
簡單地講,隨機場可以看成是一組隨機變量的集合(這組隨機變量對應同一個樣本空間)。當給每一個比特置按照某種分布隨機賦予一個值之後,其全體就叫做隨機場。當然,這些隨機變量之間可能有依賴關系,一般來說,也只有當這些變量之間有依賴關系的時候,我們將其單獨拿出來看成一個隨機場才有實際意義。

2.馬爾科夫隨機場(MRF)
馬爾科夫隨機場對應一個無向圖,這個無向圖上的每一個節點對應一個隨機變量,節點之間的邊錶示節點對應的隨機變量之間有概率依賴關系。因此,MRF的結構本質上反應了我們的先驗知識——哪些變量之間有依賴關系需要考慮,而哪些可以忽略。

3.馬爾科夫性質
離當前狀態越遠(這裏的距離需要自己定義)的因素對當前狀態的影響越小。在馬爾科夫隨機場中,我們認為隨機變量的概率分布只和它的鄰居節點有關,而與其他節點無關,這正是馬爾科夫性質在馬爾科夫隨機場中的體現。

4.馬爾科夫隨機場(MRF)———>條件隨機場(CRF)
如果給定的MRF中每個隨機變量下面還有觀察值,我們要確定的是給定觀察集合下,這個MRF的分布,也就是條件分布,那麼這個MRF就稱為CRF。它的條件分布形式完全類似於MRF的分布形式,只不過多了一個觀察集合x。因此我們可以認為CRF本質上是給定了觀察值(observations)集合的MRF。

5.條件隨機場(CRF)
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述

CRF代碼資源:
1. Matlab版的UGM:http://www.di.ens.fr/~mschmidt/Software/UGM.html,作者法國的,寫了很多實用的工具箱。

  1. C++版的gco-v3.0:http://vision.csd.uwo.ca/code/,用於求解crf,作者Olga Veksler,專門研究Graph cut算法。

  2. Oxford Brookes的ALE: http://cms.brookes.ac.uk/staff/PhilipTorr/ale.htm,作者Lubor Ladicky,寫了5年寫出來的一套程序,他在博士期間的所有工作幾乎在這套代碼裏了,純c++的,代碼寫得很規範,能學到不少c++編程的東西,沒用opencv,需要耐心仔細地結合論文看才能看懂。

  3. ANU的Stephen Gould開發的c++庫Darwin:http://drwn.anu.edu.au/,能在windows下用,但更適合linux,工具箱裏的一些應用也包括了他博士時做的工作,仔細研究這個庫可以學到不少先進的東西。

另外,如果要研究高階的CRF,可以參見這三個人的主頁:

  1. Pushmeet Kohli,這是個專家級的,2007年Oxford Brookes的Phd畢業,其間就研究這個,現在在MSRC:

http://research.microsoft.com/en-us/um/people/pkohli/

  1. Lubor Ladicky,繼續了Kohli的工作,2011年Oxford Brookes的Phd畢業,現在Oxford,主要用CRF做場景理解:

http://www.robots.ox.ac.uk/~lubor/

  1. Stephen Gould,2010年Stanford的Phd畢業,現在ANU,也用高階CRF做場景理解,還開發了一套工具箱(Darwin),比較適合在Linux下用。

http://users.cecs.anu.edu.au/~sgould/index.html

原文出處
https://blog.csdn.net/chlele0105/article/details/14897761

版權聲明
本文為[只想安靜的一個人]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/01/202201262223174121.html

隨機推薦