學習筆記
學習書目：《複雜》- 梅拉妮·公尺歇爾
我認為，熵增定律—熱力學第二定律—在自然界的定律中具有至高無上的地位……如果你的理論被發現違背了熱力學第二定律，你就一點希望都沒有，結局必然是徹底崩塌。 ——愛丁頓爵士
之前的blog我們提到蟻群搭橋、相互維繫的金融市場、幹細胞發育成特定器官，這些都是自組織的例子。與通常情形中的有序消退無序增長相反，這裡是有序從無序中產生的。
複雜系統科學最關注的問題就是這種逆熵的自組織系統。
不過，在研究自組織系統之前，我們先聊一聊，啥是有序和無序?
許多複雜系統學家用資訊的概念來度量有序和無序、複雜性和簡單性。免疫學家科恩曾說，複雜系統比簡單系統更能接收、儲存和利用資訊。經濟學家哈克寫道，進化不僅只會用dna耍把戲，對所有能處理和儲存資訊的系統也可以。
但是，資訊到底是啥呢?
專業點說，資訊描述了一大類現象，從在全球資訊網上通過光纖傳送的訊號，到大腦中在神經元之間傳遞的微小分子。複雜系統子無一例外都涉及以各種形式交流和處理資訊。
熱、能量、熵
對於資訊的科學研究始自熱力學，熱力學描述能量以及其與物質的相互作用。能量大致上可以定義為系統做功的潛力。
打個比方，假設我們的車在路上拋錨了，我把車推到最近的加油站。用物理學的話講，我做的功等於我推車的力的大小乘以到加油站的距離。在推車的過程中，我體內儲存的能量轉化成了車的動能，而轉化的能量就等於所做的功加上輪子與地面摩擦消耗的熱量以及我自己體溫公升高所耗費的熱量。
這個熱量損失可以用熵度量。熵是對不能轉化成功的能量的度量。熵一詞源自另乙個古希臘詞彙trope, 意思是轉化。
在19世紀末，有兩條關於能量的定律(熱力學定律)被發現了,這些定律所針對的是封閉系統(這種系統沒有與外界的能量交換).
第一定律：能量守恆。宇宙中的總能量守恆。能量可以從一種形式轉化成另一種形式，比如從體內儲存的能量轉化成推車的動能加上消耗的熱能。但是能量既不能被創生也不能被消滅。
第二定律：熵總是不斷增加直至最大。系統總的熵會不斷增加，直至可能的最大值；除非通過外部做 功，否則它自身永遠也不會減少。
我們可能會注意到，房間不會自己變乾淨，飲料如果潑到地上，永遠也不會回到杯子裡。要想將無序變成 有序，就得額外做功。
熱力學第二定律被認為是定義了「時間之箭」，因為它證明了存在時間上不可逆的過程, 未來可以定義為熵增的時間方向。有趣的是，熱力學第二定律是唯一區分過去和未來的基本物理定律。其他物理定律在時間上都是可逆的。
為什麼第二定律會與眾不同呢？
這個問題很深奧。就像物理學家羅斯曼所指出的那樣，為什麼第二定律能區分過去和現在， 而其他自然定律卻不能？這也許是物理學中最大的謎團。
西拉德是第乙個將熵與資訊聯絡起來的人，這個關聯後來成了資訊理論的基礎和複雜系統的關鍵思想。西拉德認為記錄和觀察資訊的測量行為需要能量，因此必然會產生一定的熵。
然而50年後，數學家班尼特證明，從理論上來說上可以進行任何計算而不用耗費，也就是說測量可以不耗費能量。他還提到了物理學家蘭道在20世紀60年代做出的一項發現：並不是測量行為，而是擦除記憶的行為，必然會增加熵。擦除記憶是不可逆的，如果被擦除了，那麼一 旦資訊沒有了，不進行額外的測量就無法恢復。
統計力學
在前面我將熵定義為，對無法做功而只能轉換成熱的能量的測量。這個熵的概念最初是有克勞休斯於2023年定義的。
數十年後，科學界開始出現一種新的關於熱的觀念：系統是由分子組成，而熱則是分子運動(或者說動能)的產物。這種新觀念主要歸功於玻爾茲曼 ，他建立了一門新學科，現在被稱為統計力學。
統計力學認為巨集觀尺度上的屬性(例如熱)是由微觀屬性產生的(例如無數分子的運動).
想象一下我們房間裡充滿運動的空氣分子。經典力學分析是確定每個分子的位置和速度，以及作用在分子上的力，並根據這些確定每個分子未來的位置和速度。而統計力學的方法則不關心各個分子具體的位置、速度以及未來的變化，而是去**大量分子整體上的平均位置和速度。
微觀態與巨集觀態
經典力學試圖用牛頓定律分析所有的單個微觀物件，而熱力學則只給出了巨集觀 現象(熱、能量和熵)的定律，沒有說明微觀分子是這些巨集觀現象的源頭。統計力學則在兩個極端之間搭建了一座橋梁，解釋了巨集觀現象是如何從對大量微觀物件的整體上的統計產生。
在充滿空氣的房間中，在任意時刻每個分子都有特定的位置和速度，只是無法具體測量。在統計力學的術語中，特定分子集合在某一時刻的位置和速度稱為那個時刻的微觀狀態。對於充滿了隨機飛舞的分子的房間，最可能的微觀狀態型別就是空氣分子均勻地充滿整個房間。而最不可能的微觀狀態就是空氣分子緊緊地聚到乙個地方。這看上去顯而易見，但是玻爾茲曼注意到這是因為分子均勻分布的微觀狀態比聚到一起的微觀狀態要多得多。
系統的巨集觀狀態就是微觀狀態的型別，例如房間裡分子聚集到一起(我們窒息)相對分子均勻分布(我們能呼吸，)乙個巨集觀狀態能對應許多不同的微觀狀態。溫度也是巨集觀狀態，它與許多不同的微觀狀態相對應，各微觀狀態的分子平均速度恰好對應相同的溫度。
玻爾茲曼將熱力學第二定律解釋為封閉系統更有可能處於可能性大的巨集觀狀態。玻爾茲曼將巨集觀狀態的熵定義為其對應的微觀狀態的數量。
以老|虎|機為例，我們都知道老|虎|機中有很多，如果我們轉老|虎|機得到的沒有不同，則我們賺錢，如果存在不同，則我們輸錢。現在假設我們的老|虎|機中有下面5張，「櫻桃」、「蘋果」、「梨子」、「檸檬」、「橙子」。這樣就總共有125種可能的組合(微觀狀態)，其中有5種對應於所有都相同(我們贏)的巨集觀狀態，120種對應於不完全相同(我們輸)的巨集觀狀態。後一種巨集觀狀態的玻爾茲曼熵明顯高於前一種。
玻爾茲曼熵遵守熱力學第二定律。除非做功，否則玻爾茲曼熵會一直增加，直到到達最大可能熵的巨集觀狀態。
夏農資訊
夏農的資訊定義中有乙個傳送者向接收者傳送資訊，傳送者說的每個詞都是夏農意義上的資訊，**並不理解所說的詞，而只是傳送編碼聲音的電脈衝，夏農對資訊的定義中完全忽略資訊的意義，而只考慮傳送者向接收者傳送資訊的速度。與玻爾茲曼的思想類似，夏農將巨集觀狀態（這裡是傳送者）的資訊定義為可以由傳送者傳送的可能微觀狀態（可能資訊的集合）的數量的函式。
人們有時候將夏農的資訊量定義描述為接收者在接收資訊時體驗到的平均驚奇度，其中驚奇意指接收者對於傳送源將要傳送的資訊的不確定度。
總體上，根據夏農的理論，資訊可以是通訊的任何單位，可以是乙個字母、乙個詞、一句話，甚至是乙個位元(0 或1)。傳送源的熵(資訊量)用資訊的可能性定義，而與資訊的意義無關。
讀書筆記8 浪潮之巔（part3）
風險投資 浪潮之巔 的前半部分列舉了在現代史上舉足輕重的幾家大型科技公司的歷史，雖說成功的公司各有各的絕招，但是讀多之後又略顯重複 無聊 這不是說原書的內容 描述是無聊的，相反其中的每一篇都值得多次欣賞，不過只是會讓人產生思維困頓罷了 於是焦躁的我翻到了乙個全新的版塊 也是我今天所要記錄 分享的 風...
Gentoo安裝筆記（part3
此安裝筆記是按照gentoo中文手冊上實際操作記下來的，使用的是宿主機ubuntu9.04 virtualbox3.04，在virtualbox3.04中按預設屬性建立了乙個gentoo虛擬機器。使用gentoo minimal映像檔案安裝。6.開始安裝gentoo 1 選擇乙個合適的映象站點 mi...
Python學習筆記 part 3
ide vscode python版本 python3.6 學習教材 python程式設計從入門到實踐 人民郵電出版社 操作列表 for a in b 構建了python的for迴圈，迴圈方式為每次從列表b中取出乙個元素存入a。例如 idiols chen ju liu for idiol in i...