今天做了乙個採集程式,原理很簡單,使用curl方法把對方頁面的html獲取分析,然後正則提取需要的資料並儲存在資料庫。
由於對方頁面是gb2312編碼,而本地使用的是utf-8編碼。因此在採集後需要進行編碼轉換。
使用了iconv方法進行編碼轉換
iconv — 字串按要求的字元編碼來轉換&n程式設計客棧bsp;
string iconv ( string $in_charset , string $out_charset , string $str )
將字串 str 從 in_charset 轉換編碼到 out_charsewww.cppcns.comt 。
轉換的方法很簡單,直接使用iconv方法就可以了
<?php $content = iconv('gb2312', 'utf-8', $content); //$content為採集到的內容
?>
試驗了幾個頁面,都能正常採集。但在之後的採集中,有幾個頁面採集不完整。
一開始考慮是否正則有錯,檢查後排除此問題。經過排查,發現經過iconv轉碼後的內容比採集的內容少了一大段。
檢視apache log,看到提示:notice: iconv(): detected an illegal character in input string。
翻查手冊,看到以下說明
如果你在 out_charset 後新增了字串 //translit,將啟用轉寫(transliteration)功能。這個意思是,當乙個字元不能被目標字符集所表示時,它可以通過乙個或多個形似的字元來近似表達。
如果你新增了字串 //ignore,不能以目標字符集表達的字元將被默默丟棄。 否則, str 從第乙個無效字元開始截斷並導致乙個 e_notice 。
原來iconv遇到不能識別的內容,會從第乙個不能識別的字元開始截斷,並生成乙個e_notice。因此後邊的www.cppcns.com內容被丟棄了。
而在輸出字符集後加上//ignore則只丟棄不能識別的內容,而不會截斷和丟棄後面的內容。
修改程式後一切正常
<?php $content = iconv('gb2312','utf-8//ignore',$content);//$content為採集到的內容
?>
tips:使用icomcrdwnv時,如果要使用utf-8編碼的,請使用utf-8而不要使用utf8,因為utf8有些伺服器會有問題。
本文標題: php使用iconv中文截斷問題的解決方法
本文位址: /wangluo/php/119648.html
iconv 中文截斷問題的解決方法
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!iconv 中文截斷問題的解決方法 今天做了乙個採集程式,原理很簡單,使用curl方法把對方頁面的html獲取分析,然後正則提取需要的資料並儲存在資料庫。由於對方頁面是gb2312編碼,而本地使用的是utf 8編碼。因此在採集後需要進行編碼轉換。使...
iconv 中文截斷問題的解決方法
iconv 中文截斷問題的解決方法 今天做了乙個採集程式,原理很簡單,使用curl方法把對方頁面的html獲取分析,然後正則提取需要的資料並儲存在資料庫。由於對方頁面是gb2312編碼,而本地使用的是utf 8編碼。因此在採集後需要進行編碼轉換。使用了iconv方法進行編碼轉換 iconv 字串按要...
php中iconv函式使用方法
iconv convert string to requested character encoding php 4 4.0.5,php 5 mb convert encoding convert character encoding php 4 4.0.6,php 5 用法 string mb c...