一、基於統計的中文網頁正文抽取的研究
摘 要：資訊抽取技術是一種廣泛運用於網際網路的資料探勘技術。其目的是從網際網路海量資料中抽取有意義、有價值的資料和資訊，從而能更好的利用網際網路資源。文中採用一種統計網頁特徵的方法，將中文網頁中的正文部分抽取出來。該方法首先將網頁表示成基於xml的dom樹形式，利用統計的節點資訊從樹中過濾掉噪音資料節點，最後再選取正文節點。該方法相比傳統的基於包裝器的抽取方法，具有簡單，實用的特點，試驗結果表明，該抽取方法準確率達到90％以上，具有很好的實用價值。
二、基於標籤密度判定
每個人手中都可能有一大堆討論不同話題的html文件。但你真正感興趣的內容可能隱藏於廣告、布局**或格式標記以及無數鏈結當中。甚至更糟的是，你希望那些來自選單、頁首和頁尾的文字能夠被過濾掉。如果你不想為每種型別的html檔案分別編寫複雜的抽取程式的話，我這裡有乙個解決方案。
本文講述如何編寫與從大量html**中獲取正文內容的簡單指令碼，這一方法無需知道html檔案的結構和使用的標籤。它能夠工作於含有文字內容的所有新聞文章和部落格頁面……
你想知道統計學和機器學習在挖掘文字方面能夠讓你省時省力的原因嗎？
答案極其簡單：使用文字和html**的密度來決定一行檔案是否應該輸出。（這聽起來有點離奇，但它的確有用！）基本的處理工作如下：
一、解析html**並記下處理的位元組數。
二、以行或段的形式儲存解析輸出的文字。
三、統計每一行文字相應的html**的位元組數
四、通過計算文字相對於位元組數的比率來獲取文字密度
五、最後用神經網路來決定這一行是不是正文的一部分。
僅僅通過判斷行密度是否高於乙個固定的閾值（或者就使用平均值）你就可以獲得非常好的結果。但你也可以使用機器學習（這易於實現，簡直不值一提）來減少這個系統出現的錯誤。
三、基於資料探勘思想的網頁正文抽取方法的研究
提出了一種依靠資料探勘思想,從中文新聞類網頁中抽取正文內容的方法。該方法將網頁源**進行線性化重構,然後利用重構後的**進行網頁雜訊的初步去除,再經過文字分類、聚類得到網頁正文的脈絡段落,最後通過吸收偽雜訊段落生成網頁正文。該方法克服了傳統的網頁內容抽取方法需要為網頁結構建樹的缺點,具有簡單、快速、準確的特點,試驗表明該方法的抽取準確率可以達到99％以上。
四、基於視覺網頁塊分析技術的正文抽取
基於視覺的正文抽取和網頁塊分析是完全模擬ie瀏覽器的顯示方式，對網頁進行解析。系統根據人類視覺原理，把網頁解析處理的結果，進行分塊。然後根據使用者需求，提取使用者需要的提取相關網頁塊的內容。
比如在競爭情報系統和自動新聞已經採編發系統中，正文的提取。提取：標題、正文、時間等資訊。
評：類似根據模板定義去提取網頁正文
繼續收集中
當然還有很多如通過正規表示式，或剔除html標籤等等方式提取正文，但個人認為通用效果不理想。
網頁正文識別及提取演算法 提取網路正文的實踐
goose安裝pip install goose extractor或 pip3 install goosegithub 簡單例項 python3 python 3.7.6 default,feb 16 2020,17 48 02 clang 8.0.0 clang 800.0.42.1 on da...
基於行塊分布函式的正文抽取
的正文抽取演算法思路 1 預處理 剔除網頁html標籤，去掉所有的空白符 n,r,t等 2 依據 n 分行，若某文字行的上下存在兩個空行，且此文本行長度小於閾值40，則刪除此文本行 3 設定三行為一行塊，計算每段行塊的長度 4 找出每個連續有字元的段落，並找到起點和終點 要求 行塊長度大於0 段落開...
在正文中提取有實際意義的數字
溶鄉山多人少，人均稻田面積僅有0.6畝，農產品以水稻為主，雜糧有玉公尺 紅薯 高粱 蕎類等，經濟作物有黃豆 菜油。林業用地43萬畝，佔總面積的76.4 森林蓄積量達94萬立方公尺,以林業的振興發展拉動全鄉經濟發展是北溶鄉黨委 歷來堅定不移的發展思路，目前已申報國家級公益林18.7畝。近年來退耕還林面...