2.對於使用者大量上傳資料是如何處理的？
3.網盤是如何實現妙傳的？
4.你對軟體、雲技術是否有新的認識？
網路硬碟大家可能都或多或少的接觸過，不得不說在萬物皆雲的時代裡，這是一種非常好的網路工具，而對我們這種窮到掉渣的免費使用者來說，硬碟空間簡直就是硬傷，剛開始使用的時候真是為了空間，各種折騰（做他那裡所謂的任務），到頭來也才擴充了5g左右。現在好了，隨隨便便、輕輕鬆鬆就有了2t的空間。
而這突如其來的2t空間是如何實現的呢？
事實是這樣滴！
假如我想要為每個使用者提供 1g 的網路儲存空間。
如果伺服器上有一顆 1000g 的硬碟可以全部為使用者提供資料儲存，如果每個使用者分配 1g 的最大儲存空間，那麼能分配給多少個使用者使用呢？
你一定說是 1000/1=1000 個使用者。
但是事實上你這麼分配了，
你會發現每個使用者平時根本不會上傳 1g 的東西將容量佔的滿滿的，有多有少，但平均使用者平時只上傳 50m 的檔案，也就是說，如果你將 1000g 的硬碟分給 1000個人使用，但只有效利用了其中的 50m*1000=50g 的空間，剩餘 950g 的空間基本都完全浪費了。
那麼怎麼解決呢？
你可以變通一下，將這 1000g 的空間分配給 20000個使用者使用，每個人的上傳上限容量還是1g，但每人平時還是平均上傳 50m 的資料，那麼 20000*50m=1000g，這下子就把寶貴的伺服器上的儲存空間充分利用了。但你又怕這樣分配給 20000個人後，萬一某一刻人們突然多上傳點資料，那麼使用者不是就覺察出來你分給人家的 1g 空間是假的了嗎？所以可以不分配那麼多人，只分配給 19000 人，剩下一些空間做應急之用。
突然發現一下子將可分配的使用者數量翻了 19倍啊，了不起。那還有沒有辦法更加有效的利用一下呢？
如果我有 1000個 以上的伺服器，乙個伺服器上有 1000g 空間，那麼我們每個伺服器上都要留下 50g 的空白空間以備使用者突然上傳大資料時導致資料塞滿的情況，那麼我這 1000個伺服器上就空出了 1000臺*50g=50000g 的空間被浪費了，多麼可惜。所以
攻城獅們發明了儲存集群，使得乙個使用者的資料可以被分配在多個伺服器上儲存，但在使用者那看起來只是乙個 1g 的連續空間，那麼就沒必要在每個伺服器上預留出應急的空間了，甚至可以充分的將前乙個伺服器塞滿後，在將資料往下乙個伺服器中塞。這樣保證了伺服器空間的 最大利用，如果某一刻管理員發現使用者都在瘋狂上傳資料（在乙個大規模使用者群下，這樣的概率少之又少）導致我現有提供的空間不夠了，沒關係，只需要隨手加幾塊硬碟或者伺服器就解決了。
好吧，這下子我們的伺服器空間利用高多了，可以將一定量的空間分配給最多的使用者使用了。但有沒有更好的改進方案呢？
管理員有一天發現，即使每個使用者平均下來只儲存 50m 的東西，但這 50m 也不是一蹴而就的，是隨著1-2年的使用慢慢的達到這個數量的，也就是說，乙個新的使用者剛剛註冊我的網路空間時，不會上傳東西，或者只上傳一點非常小的東西。那麼我為每乙個使用者都初始分配了 50m 的空間，即使將來2年後他們會填滿這 50m ，但這期間的這空間就有很多是浪費的啊。所以聰明的攻城獅說：既然我們可以分布式、集群式儲存，乙個使用者的資料可以分布在多個伺服器上，那麼我們就
假設一開始就給乙個新註冊的使用者提供 0m 的空間，將來他用多少，我就給他提供多少儲存空間，這樣就徹底的保證硬碟的利用了。但使用者的前端還是要顯示 1g 的。
工程師的這個點子，使得我在建立網盤初期能用 1臺 1000g 的伺服器提供了大約 1000000 人來註冊和使用，隨著註冊的人多了，我也有錢了，也可以不斷增加伺服器以提供他們後期的儲存了。同時因為一部分伺服器完成了一年多購買，我的購買成本也下來了。
那麼…這就結束了嗎？
若是郵箱提供商的話，這樣的利用率夠高了。但網盤就不一樣了。
聰明的工程師發現：不同於郵箱，大家的內容和附件絕大多數都是自創的和不同的。但網盤上大家上傳的東西很多都是重複的。
這樣子隨著儲存的資料越來越多，註冊的使用者越來越多，其上傳的重複資料越來越多。你發現這樣的檢測重複檔案儲存的效率越來越大。這樣算下來似乎每個人上傳的不重複的檔案只能平均 1m/使用者。這下子你可以提供超過50倍的使用者使用您這有限的空間了。
但伴隨著使用，你又發現乙個規律：
張三上傳的《tokyo hot n0124》和李四上傳的《th n124》是同乙個檔案，只不過檔名不一樣，難道我就不能識別出他們是乙個檔案，然後只將其分別給不同的使用者儲存成不同的檔名不就行啦？確實可行，但這要利用一些識別檔案相同性的演算法，例如md5值等。只要兩個檔案的 md5 值一樣，檔案大小一樣，我就認為它們是相同的檔案，只需要儲存乙份檔案並給不同的使用者記作不同的檔名就好了。
有一天你發現，因為每乙個檔案都需要計算 md5 值，導致 cpu 負荷很大，而且本來一樣的檔案非要浪費頻寬上傳回來才可以檢測一致性，能改進一下嗎？
聰明的工程師寫了個小軟體或小外掛程式，美其名曰「上傳控制項」，將計算 md5 的工作利用這個軟體交給了上傳使用者的電腦來完成，一旦計算出使用者要上傳的資料和伺服器上已經儲存的某個資料是一樣的，就乾脆不用上傳了，直接在使用者那裡標記上這個檔案已經按照 xx 檔名上傳成功了。這個過程幾乎是瞬間搞定了，並給其起了個高富帥的名字「秒傳」！
通過以上這麼多步驟，你發現本來你只能給 1000使用者 提供網路空間的，這麼多改進辦法後，在使用者端顯示 1g 空間不變的情況下，近乎可以為 1000000個使用者 提供網路空間了。
這樣若是您哪天心情好，對外宣傳說：我要將每個使用者的儲存空間上限提公升到 1tb。那麼每個使用者平均還是只上傳 50m 資料，只有極個別的使用者上傳了突破 1g 原始空間的資料，你會發現所付出的成本近乎是微乎其微的。
辛勤的攻城獅還在為如何更有效率的利用伺服器提供的磁碟空間在不屑努力和挖掘著……
百度網盤極速秒傳
如今網盤越發茁壯，10多g正常不過，如果每個網民單獨分得，世界上沒有那麼大的硬碟給我們用。曲婉婷的 我的歌聲裡 千千萬萬人喜歡，都悄悄的放在網盤裡存著，其實他 她 們擁有的是同一首。注 我們清空網盤 站，只是清除了乙個標記而已，我們無權對伺服器 動手動腳 所以說初始的上傳者，他刪除的也只是標記而已，...
百度網盤爬蟲
在這裡我們要記錄粉絲數，好友數，分享數，uk 2.從我們初始化的資料庫中取出一定量的資料。首先獲得乙個 uk下分享的資訊，uk 下分享資訊有兩種一種是普通的檔案，另一種是 因此我們通過如下鏈結獲取資訊的時候要注意sharelists url getsharelist？category 0 auth ...
解決百度網盤限速
使用方法 安裝部分 firefox 定製瀏覽器 chrome 定製瀏覽器 1 使用上面的定製版瀏覽器，登入自己的帳號。注意事項 2 如果還是出現http 1.1 403錯誤，嘗試將應用 id 修改為 778750。2.1 如何修改應用 id 呢？開啟 在彈出的視窗裡修改。2.2 如果 778750 ...