為什麼要設計好目錄結構?
"設計專案目錄結構",就和"**編碼風格"一樣,屬於個人風格問題。對於這種風格上的規範,一直都存在兩種態度:
一類同學認為,這種個人風格問題"無關緊要"。理由是能讓程式work就好,風格問題根本不是問題。
另一類同學認為,規範化能更好的控制程式結構,讓程式具有更高的可讀性。
我是比較偏向於後者的,因為我是前一類同學思想行為下的直接受害者。我曾經維護過乙個非常不好讀的專案,其實現的邏輯並不複雜,但是卻耗費了我非常長的時間去理解它想表達的意思。從此我個人對於提高專案可讀性、可維護性的要求就很高了。"專案目錄結構"其實也是屬於"可讀性和可維護性"的範疇,我們設計乙個層次清晰的目錄結構,就是為了達到以下兩點:
可讀性高: 不熟悉這個專案的**的人,一眼就能看懂目錄結構,知道程式啟動指令碼是哪個,測試目錄在哪兒,配置檔案在哪兒等等。從而非常快速的了解這個專案。
可維護性高: 定義好組織規則後,維護者就能很明確地知道,新增的哪個檔案和**應該放在什麼目錄之下。這個好處是,隨著時間的推移,**/配置的規模增加,專案結構不會混亂,仍然能夠組織良好。
所以,我認為,保持乙個層次清晰的目錄結構是有必要的。更何況組織乙個良好的工程目錄,其實是一件很簡單的事兒。
目錄組織方式
這裡面說的已經很好了,我也不打算重新造輪子列舉各種不同的方式,這裡面我說一下我的理解和體會。
假設你的專案名為foo, 我比較建議的最方便快捷目錄結構這樣就足夠了:
foo/
|-- bin/
| |-- foo
||-- foo/
| |-- tests/
| | |-- __init__.py
| | |-- test_main.py
| |
| |-- __init__.py
| |-- main.py
||-- docs/
| |-- conf.py
| |-- abc.rst
||-- setup.py
|-- requirements.txt
|-- readme
簡要解釋一下:
bin/
: 存放專案的一些可執行檔案,當然你可以起名script/
之類的也行。
foo/
: 存放專案的所有源**。(1) 源**中的所有模組、包都應該放在此目錄。不要置於頂層目錄。(2) 其子目錄tests/
存放單元測試**; (3) 程式的入口最好命名為main.py
。
docs/
: 存放一些文件。
setup.py
: 安裝、部署、打包的指令碼。
requirements.txt
: 存放軟體依賴的外部python包列表。
readme
: 專案說明檔案。
除此之外,有一些方案給出了更加多的內容。比如license.txt
,changelog.txt
檔案等,我沒有列在這裡,因為這些東西主要是專案開源的時候需要用到。如果你想寫乙個開源軟體,目錄該如何組織,可以參考這篇文章。
下面,再簡單講一下我對這些目錄的理解和個人要求吧。
關於readme的內容
這個我覺得是每個專案都應該有的乙個檔案,目的是能簡要描述該項目的資訊,讓讀者快速了解這個專案。
它需要說明以下幾個事項:
軟體定位,軟體的基本功能。
執行**的方法: 安裝環境、啟動命令等。
簡要的使用說明。
**目錄結構說明,更詳細點可以說明軟體的基本原理。
常見問題說明。
我覺得有以上幾點是比較好的乙個readme
。在軟體開發初期,由於開發過程中以上內容可能不明確或者發生變化,並不是一定要在一開始就將所有資訊都補全。但是在專案完結的時候,是需要撰寫這樣的乙個文件的。
可以參考redis原始碼中readme的寫法,這裡面簡潔但是清晰的描述了redis功能和原始碼結構。
關於requirements.txt和setup.py
setup.py
一般來說,用setup.py
來管理**的打包、安裝、部署問題。業界標準的寫法是用python流行的打包工具setuptools來管理這些事情。這種方式普遍應用於開源專案中。不過這裡的核心思想不是用標準化的工具來解決這些問題,而是說,乙個專案一定要有乙個安裝部署工具,能快速便捷的在一台新機器上將環境裝好、**部署好和將程式執行起來。
這個我是踩過坑的。
我剛開始接觸python寫專案的時候,安裝環境、部署**、執行程式這個過程全是手動完成,遇到過以下問題:
安裝環境時經常忘了最近又新增了乙個新的python包,結果一到線上執行,程式就出錯了。
python包的版本依賴問題,有時候我們程式中使用的是乙個版本的python包,但是官方的已經是最新的包了,通過手動安裝就可能裝錯了。
如果依賴的包很多的話,乙個乙個安裝這些依賴是很費時的事情。
新同學開始寫專案的時候,將程式跑起來非常麻煩,因為可能經常忘了要怎麼安裝各種依賴。
setup.py
可以將這些事情自動化起來,提高效率、減少出錯的概率。"複雜的東西自動化,能自動化的東西一定要自動化。"是乙個非常好的習慣。
setuptools的文件比較龐大,剛接觸的話,可能不太好找到切入點。學習技術的方式就是看他人是怎麼用的,可以參考一下python的乙個web框架,flask是如何寫的: setup.py
當然,簡單點自己寫個安裝指令碼(deploy.sh
)替代setup.py
也未嘗不可。
requirements.txt
這個檔案存在的目的是:
方便開發者維護軟體的包依賴。將開發過程中新增的包新增進這個列表中,避免在setup.py
安裝依賴時漏掉軟體包。
方便讀者明確專案使用了哪些python包。
這個檔案的格式是每一行包含乙個包依賴的說明,通常是flask>=0.10
這種格式,要求是這個格式能被pip
識別,這樣就可以簡單的通過pip install -r requirements.txt
來把所有python包依賴都裝好了。具體格式說明: 點這裡。
關於配置檔案的使用方法
注意,在上面的目錄結構中,沒有將conf.py
放在原始碼目錄下,而是放在docs/
目錄下。
很多專案對配置檔案的使用做法是:
配置檔案寫在乙個或多個python檔案中,比如此處的conf.py。
專案中哪個模組用到這個配置檔案就直接通過import conf
這種形式來在**中使用配置。
這種做法我不太贊同:
這讓單元測試變得困難(因為模組內部依賴了外部配置)
另一方面配置檔案作為使用者控制程式的介面,應當可以由使用者自由指定該檔案的路徑。
程式元件可復用性太差,因為這種貫穿所有模組的**硬編碼方式,使得大部分模組都依賴conf.py
這個檔案。
所以,我認為配置的使用,更好的方式是,
模組的配置都是可以靈活配置的,不受外部配置檔案的影響。
程式的配置也是可以靈活控制的。
能夠佐證這個思想的是,用過nginx和mysql的同學都知道,nginx、mysql這些程式都可以自由的指定使用者配置。
所以,不應當在**中直接import conf
來使用配置檔案。上面目錄結構中的conf.py
,是給出的乙個配置樣例,不是在寫死在程式中直接引用的配置檔案。可以通過給main.py
啟動引數指定配置路徑的方式來讓程式讀取配置內容。當然,這裡的conf.py
你可以換個類似的名字,比如settings.py
。或者你也可以使用其他格式的內容來編寫配置檔案,比如settings.yaml
之類的。
00 Python 量化交易 前言
首先,本教程適合對程式設計有一定的基礎,學過c或c 之類的,只需要依稀還記得一些概念和流程就行 而所謂的量化交易,通俗地講,就是程式 等,當然,如果你沒有接觸過 也沒有任何關係。其次,這個教程的目標是熟練掌握python的基本語法,使用python進行檔案處理 excel等 爬蟲爬取資料,使用pyt...
python基礎 軟體目錄結構規範
為什麼要設計好目錄結構?設計專案目錄結構 就和 編碼風格 一樣,屬於個人風格問題。對於這種風格上的規範,一直都存在兩種態度 一類同學認為,這種個人風格問題 無關緊要 理由是能讓程式work就好,風格問題根本不是問題。另一類同學認為,規範化能更好的控制程式結構,讓程式具有更高的可讀性。我是比較偏向於後...
python基礎 軟體目錄結構規範
為什麼要設計好目錄結構?設計專案目錄結構 就和 編碼風格 一樣,屬於個人風格問題。對於這種風格上的規範,一直都存在兩種態度 一類同學認為,這種個人風格問題 無關緊要 理由是能讓程式work就好,風格問題根本不是問題。另一類同學認為,規範化能更好的控制程式結構,讓程式具有更高的可讀性。我是比較偏向於後...