壓縮感知

什麼是壓縮感知？

帶著疑問，作為偽的EE學渣，我當然是先打開維基百科

壓縮感知（Compressed sensing），也被稱為壓縮採樣（Compressive sampling）或稀疏採樣（Sparse sampling），是一種尋找欠定線性系統的稀疏解的技術。壓縮感知被應用於電子工程尤其是信號處理中，用於獲取和重構稀疏或可壓縮的信號。這個方法利用訊號稀疏的特性，相較於奈奎斯特理論，得以從較少的測量值還原出原來整個欲得知的訊號。核磁共振就是一個可能使用此方法的應用。這一方法至少已經存在了四十年，由於David Donoho、Emmanuel Candès和陶哲軒的工作，最近這個領域有了長足的發展。近幾年，為了因應即將來臨的第五代移動通信系統，壓縮感知技術也被大量應用在無線通訊系統之中，獲得了大量的關注以及研究。

哇哇，問題來了。採樣我知道，壓縮我知道，壓縮採樣是什麼操作呢？

採樣定理，又稱香農採樣定理，奈奎斯特採樣定理:我憑記憶記得的是隻要採樣頻率大於或等於有效信號最高頻率的兩倍，採樣值就可以包含原始信號的所有信息，被採樣的信號就可以不失真地還原成原始信號。即fs>=2fh.其中採樣用理想衝擊序列的理想採樣，且是等間隔週期採樣，而且還得是低通信號，如果是帶通信號呢？

帶通信號採樣定理 ：從數學角度，低通，帶通都是帶限，無非是平移一下，奈奎斯特採樣定理應也使用與帶通信號，但是從我今天學習的馮康（有限元開創者思想）來看，同一物理定律的不同數學表述，儘管在物理上是等效的，但在計算上是不等價的 所以帶通信號的採樣的數學表述是：（先google一下下），轉念一想，帶通也可以看成低通呀，只是低頻部分為零，還用fs>=2fh就行，如果在-fl-fl這個低頻段保證不產生混疊，應該可以推出相應的較複雜的數學表述公式，那可以將坐標原點取在fl處嗎，頻域左右移動由傅裏葉變換對應時間域乘exp(jwt),即產生一個相位變化。不管頻域時域，應該都是平面旋轉羣SO2，與實數加羣同構，存在同態映射。。不懂。反正帶通是利用低頻帶產生無混疊就可以是採樣頻率不用高於2fh,所以本學渣認為既然帶通信號都可以突破標準的採樣定理（全看成低通情況）壓縮感知 對於生物醫學信號等大帶寬信號當然可以降低採樣頻率，（雖然目前還不知道什麼是壓縮感知，嚶嚶嚶） 當然，其中採樣又有時域採樣定理

頻帶為F的連續信號f(t)可用一系列離散的採樣值f(t1),f(t1±Δt)，f(t1±2Δt)，...來表示,只要這些採樣點的時間間隔Δt≤1/2F，便可根據各採樣值完全恢復原來的信號f(t)。 （就是fs>=2fh）

? 時域採樣定理的另一種表述方式是：當時間信號函數f(t)的最高頻率分量為fM時,f(t)的值可由一系列採樣間隔小於或等於1/2fM的採樣值來確定,即採樣點的重複頻率f≥2fM。 時域採樣定理是採樣誤差理論 、隨機變數採樣理論 和多變數採樣理論 的基礎。(同一物理定律的不同數學表述，儘管在物理上是等效的，但在計算上是不等價的?) 頻域採樣定理　 對於時間上受限制的連續信號f(t)（即當│t│>T時,f(t)=0,這裡T=T2-T1是信號的持續時間），若其頻譜為F（ω）,則可在頻域上用一系列離散的採樣值 來表示,只要這些採樣點的頻率間隔ω≦π / tm 。

在數字信號處理的學習中，我們知道時間域有限的模擬信號（真實世界的信號一般是非週期連續的，對應頻域是連續非週期）就是要採用DFT逼近連續時間信號的傅裏葉變換 先時間域抽樣（對應於頻域週期化成連續週期），然後頻域再用頻域採樣（對應於時域週期化）。好吧，沒有學好，頭疼。

終於要開始學習壓縮採樣 了，天呢，時間過得好快。

不行，在開始前，作為強迫症，我還要弄清楚香農第幾定理，奈奎斯特第幾定理究竟是什麼，在資訊理論 ，通信原理 課程中不時出現有語焉不詳的xx第x定理好騷好屌的樣子。畢竟同時上面出現了香農採樣定理，奈奎斯特採樣定理。開始google吧

等一下，上洗手間中又想

1. 要是低通fh太高了,fs實在做不到的話可以用低通濾波器先綠一下
2. 從統計學角度，採樣定理無疑是理想的，先驗的，但是統計估計中，還可以有先做獨立性假設，獨立同分布假設，各種假設，還可以加上各種先驗的信息，這樣從信息的角度無疑降低了原有信息的信息量。好比把大數據的深度學習問題機器學習問題看成是一個多維度多元信息的最佳估計，最佳濾波，最佳逼近，最佳採樣問題，然後再看待有監督學習無監督學習的難易程度就明瞭了，相應的本就是信號處理中的相關，濾波，卷積就自然地遷移到深度學習問題中。圖像是一個離散存儲的數據，自然在計算機視覺上先取得深度學習的勝利，而對於語音信號，文本信息，自然語言處理上，我認為語音語言本質是連續信號，不同於圖像。一個由詞構成句子的集合過程就是有理數集構建實數集的過程。所以深度學習在處理語言語音信號上，難度遠大於圖像。當然，我們希望為研究的複雜深度學習模型（可以認為它是一種羣，一個空間，一種集合，一種幾何結構）引入一種優秀的結構，可以產生簡單的映射，可以有對偶性，對稱性，可以用張量，矩陣表示他的無關於坐標的性質，可以找到特徵值等等。類似於求導中的exp(x)這種結構就很好，線性運算元纔是真理，物理問題是對真實世界逼近的話線性逼近就夠了。實在不夠就只考慮局部，研究局部線性。

香農是誰

克勞德·艾爾伍德·香農（英語：Claude Elwood Shannon，1916年4月30日－2001年2月26日），美國數學家、電子工程師和密碼學家，被譽為資訊理論的創始人。[1][2]香農是密歇根大學學士，麻省理工學院博士。

1948年，香農發表了劃時代的論文——通信的數學原理，奠定了現代資訊理論的基礎。不僅如此，香農還被認為是數字計算機理論和數字電路設計理論的創始人。1937年，21歲的香農是麻省理工學院的碩士研究生，他在其碩士論文中提出，將布爾代數應用於電子領域，能夠構建並解決任何邏輯和數值關係，被譽為有史以來最具水平的碩士論文之一[3]。二戰期間，香農為軍事領域的密碼分析——密碼破譯和保密通信——做出了很大貢獻。

好多新信息，慢慢來

等待二更，未完待續

推薦閱讀：

相關文章