目前，隨著大資料、雲計算對關係型資料處理技術趨向穩定成熟，各大網際網路公司對關係資料的整合也已經落地成熟，筆者**未來資料領域的挑戰將主要集中在半結構化和非結構化資料的整合，nlp 技術對個人發展越來越重要，尤其在中文文字上挑戰更大。
在本場 chat 以及現在和未來工作中，筆者都將致力於中文文字的挖掘與開發，而且是通過實戰來增加對中文 nlp 需求的應用理解。
下面是一些約定：
本 chat 示例**都是基於 python3 寫的，帶有必要的注釋；
中文自然語言處理（chinese natural language processing），後面筆者全部簡稱 cnlp；
筆者所用開發環境是 windows 10 作業系統和 jupyter notebook 開發工具。相信示例**在 linux、mac os 等系統上執行也沒問題。
最近中美**戰炒的沸沸揚揚，筆者用網上摘取了一些文字（自己線下可以繼續新增語料），下面來製作乙個中美**戰相關的詞云。
1. jieba 分詞安裝
jieba 俗稱中文分詞利器，作用是來對文字語料進行分詞。
2020 12 13 NLP 中文短文本分類
nlp 中文短文本分類 wordcloud 製作詞云 import jieba import pandas as pd import numpy as np from scipy.misc import imread from wordcloud import wordcloud,imagecolo...
分類演算法 七） 短文本分類
深入做文字分類的同學都知道，短文本分類相對來說比較難。因為較短的文字包含的資訊較少，有時候模型很難學到關鍵特徵。參考 指出 但是對於長文字直接用cnn就不行了，textcnn會比han模型泛化能力差很多。當然如果在textcnn前加一層lstm，這樣效果可以提公升很大。另外還有一點很重要的是，實際使...
2 2 文字分類專案
中文語言的文字分類技術和流程 文字預處理 1.選擇處理的文字的範圍 對於分類或聚類任務，往往將整個文件作為處理單位 對於情感分析 文件自動文摘或資訊檢索，段落或章節可能更合適 2.建立分類文字語料庫 目前比較好的中文分類語料庫有復旦大學譚松波中文文字分類語料庫和搜狗新聞分類語料庫 訓練集語料 分好類...