⑴ 數據壓縮技術分為哪兩類使用方法是什麼
【導讀】數據壓縮技術是大數據傳輸過程中需要採用的一種數據存儲方法。那麼數據壓縮技術分為哪兩類?使用方法是什麼呢?為此小編今天就來和大家細細聊聊關於數據壓縮技術那些事,同時也提醒各位大數據工程師在使用數據壓縮過程中的一些注意事項及使用方法。
在數據壓縮中,通過使用比原始數據更少的位來對數據進行編碼,數據壓縮有兩種方法:無損壓縮,它消除了冗餘但不丟失任何原始數據;有損數據壓縮,可通過刪除不必要或不太重要的信息來修改數據,在大數據的傳輸和存儲中使用數據壓縮非常重要,因為它減少了IT部門必須為該數據提供的網路帶寬和存儲量,同樣重要的是,您實際上並不想保留某些類型的大數據,例如作為物聯網(IoT)通信數據一部分的設備間握手引起的抖動。
為了最大程度地利用大數據進行數據壓縮,您必須知道何時何地使用不同類型的數據壓縮工具和公式。選擇數據壓縮方法時,請牢記以下幾條有用的准則:
何時使用無損數據壓縮
如果您有一個大數據應用程序,並且無法承受丟失任何數據的麻煩,並且需要解壓縮壓縮的每個位元組的數據,那麼您將需要一種無損的數據壓縮方法,當您壓縮來自資料庫的數據時,即使您意味著必須存儲更多的數據,也希望進行無損數據壓縮。在選擇將此數據重新提交到其資料庫時,您需要解壓縮完整數據,以便它可以與資料庫端的數據匹配並進行存儲。
何時使用有損數據壓縮
有時您不需要或不需要所有數據,例如物聯網和網路設備的抖動,您不需要這些數據,只需提供給您業務所需的上下文信息的數據即可。第二個示例是在數據壓縮過程的前端可能使用的數據壓縮公式中使用人工智慧(AI),如果您正在研究一個特定的問題,並且只希望與該問題直接相關的數據,則可以決定讓數據壓縮公式不包含與該問題無關的任何數據。
如何選擇正確的編解碼器
一個編解碼器是一個硬體,軟體的組合,壓縮和解壓縮數據,所以它在大數據壓縮和解壓縮操作的核心作用,編解碼器有許多種,因此為正確的數據或文件類型選擇正確的編解碼器很重要,您選擇的編解碼器類型將取決於您嘗試壓縮的數據和文件類型,有無損和有損數據的編解碼器,也有一些編解碼器必須將所有數據文件作為「整體」處理,而其他編解碼器可以將數據分割開,以便可以對其進行並行處理,然後在其目的地重新組合,某些編解碼器設置用於可視數據,而其他編解碼器僅處理音頻數據。
為什麼數據壓縮很重要?
確定將用於大數據的數據壓縮類型是大數據操作的重要組成部分,僅在資源端,IT人員就無法承受處理失控和迅速發展的存儲的成本,即使必須完整存儲數據,也應盡可能地對其進行壓縮,也就是說,您可以採取其他步驟來限制存儲和處理,以及針對大數據壓縮中採用的演算法和方法的最適合操作,掌握這些選項是IT部門的關鍵數據點。
以上就是小編今天給大家整理分享關於「數據壓縮技術分為哪兩類?使用方法是什麼?」的相關內容希望對大家有所幫助。小編認為要想在大數據行業有所建樹,需要考取部分含金量高的數據分析師證書,這樣更有核心競爭力與競爭資本。
⑵ 什麼是音頻壓縮技術
音頻壓縮技術指的是對原始數字音頻信號流(PCM編碼)運用適當的數字信號處理技術,在不損失有用信息量,或所引入損失可忽略的條件下,降低(壓縮)其碼率,也稱為壓縮編碼。它必須具有相應的逆變換,稱為解壓縮或解碼。音頻信號在通過一個編解碼系統後可能引入大量的雜訊和一定的失真。
mp3格式就是
⑶ 音頻視頻壓縮技術概述
數字技術的出現與應用為人類帶來了深遠的影響,人們如今已生活在一個幾乎數字化的世界之中,而數字音頻技術則稱得上是應用最為廣泛的數字技術之一,CD、 VCD等早已走進千家萬戶,數字化廣播正在全球范圍內逐步得到開展,正是這些與廣大消費者密切相關的產品及應用成為了本文將要介紹的主題:數字音頻壓縮技術得以產生和發展的動力。
1、音頻壓縮技術的出現及早期應用
音頻壓縮技術指的是對原始數字音頻信號流(PCM編碼)運用適當的數字信號處理技術,在不損失有用信息量,或所引入損失可忽略的條件下,降低(壓縮)其碼率,也稱為壓縮編碼。它必須具有相應的逆變換,稱為解壓縮或解碼。音頻信號在通過一個編解碼系統後可能引入大量的雜訊和一定的失真。
數字信號的優勢是顯而易見的,而它也有自身相應的缺點,即存儲容量需求的增加及傳輸時信道容量要求的增加。以CD為例,其采樣率為44.1KHz,量化精度為16比特,則1分鍾的立體聲音頻信號需占約10M位元組的存儲容量,也就是說,一張CD唱盤的容量只有1小時左右。當然,在帶寬高得多的數字視頻領域這一問題就顯得更加突出。是不是所有這些比特都是必需的呢?研究發現,直接採用PCM碼流進行存儲和傳輸存在非常大的冗餘度。事實上,在無損的條件下對聲音至少可進行4:1壓縮,即只用25%的數字量保留所有的信息,而在視頻領域壓縮比甚至可以達到幾百倍。因而,為利用有限的資源,壓縮技術從一出現便受到廣泛的重視。
對音頻壓縮技術的研究和應用由來已久,如A律、u律編碼就是簡單的准瞬時壓擴技術,並在ISDN話音傳輸中得到應用。對語音信號的研究發展較早,也較為成熟,並已得到廣泛應用,如自適應差分PCM(ADPCM)、線性預測編碼(LPC)等技術。在廣播領域,NICAM(Near Instantaneous Companded Audio Multiplex - 准瞬時壓擴音頻復用)等系統中都使用了音頻壓縮技術。
2、音頻壓縮演算法的主要分類及典型代表
一般來講,可以將音頻壓縮技術分為無損(lossless)壓縮及有損(lossy)壓縮兩大類,而按照壓縮方案的不同,又可將其劃分為時域壓縮、變換壓縮、子帶壓縮,以及多種技術相互融合的混合壓縮等等。各種不同的壓縮技術,其演算法的復雜程度(包括時間復雜度和空間復雜度)、音頻質量、演算法效率(即壓縮比例),以及編解碼延時等都有很大的不同。各種壓縮技術的應用場合也因之而各不相同。
(1)時域壓縮(或稱為波形編碼)技術是指直接針對音頻PCM碼流的樣值進行處理,通過靜音檢測、非線性量化、差分等手段對碼流進行壓縮。此類壓縮技術的共同特點是演算法復雜度低,聲音質量一般,壓縮比小(CD音質> 400kbps),編解碼延時最短(相對其它技術)。此類壓縮技術一般多用於語音壓縮,低碼率應用(源信號帶寬小)的場合。時域壓縮技術主要包括 G.711、ADPCM、LPC、CELP,以及在這些技術上發展起來的塊壓擴技術如NICAM、子帶ADPCM(SB-ADPCM)技術如G.721、 G.722、Apt-X等。
(2)子帶壓縮技術是以子帶編碼理論為基礎的一種編碼方法。子帶編碼理論最早是由Crochiere等於1976年提出的。其基本思想是將信號分解為若乾子頻帶內的分量之和,然後對各子帶分量根據其不同的分布特性採取不同的壓縮策略以降低碼率。通常的子帶壓縮技術和下面介紹的變換壓縮技術都是根據人對聲音信號的感知模型(心理聲學模型),通過對信號頻譜的分析來決定子帶樣值或頻域樣值的量化階數和其它參數選擇的,因此又可稱為感知型(Perceptual)壓縮編碼。這兩種壓縮方式相對時域壓縮技術而言要復雜得多,同時編碼效率、聲音質量也大幅提高,編碼延時相應增加。一般來講,子帶編碼的復雜度要略低於變換編碼,編碼延時也相對較短。
由於在子帶壓縮技術中主要應用了心理聲學中的聲音掩蔽模型,因而在對信號進行壓縮時引入了大量的量化雜訊。然而,根據人類的聽覺掩蔽曲線,在解碼後,這些雜訊被有用的聲音信號掩蔽掉了,人耳無法察覺;同時由於子帶分析的運用,各頻帶內的雜訊將被限制在頻帶內,不會對其它頻帶的信號產生影響。因而在編碼時各子帶的量化階數不同,採用了動態比特分配技術,這也正是此類技術壓縮效率高的主要原因。在一定的碼率條件下,此類技術可以達到「完全透明」的聲音質量(EBU音質標准)。
子帶壓縮技術目前廣泛應用於數字聲音節目的存儲與製作和數字化廣播中。典型的代表有著名的MPEG-1層Ⅰ、層Ⅱ(MUSICAM),以及用於Philips DCC中的PASC(Precision Adaptive Subband Coding,精確自適應子帶編碼)等。
(3)變換壓縮技術與子帶壓縮技術的不同之處在於該技術對一段音頻數據進行「線性」的變換,對所獲得的變換域參數進行量化、傳輸,而不是把信號分解為幾個子頻段。通常使用的變換有DFT、DCT(離散餘弦變換)、MDCT等。根據信號的短時功率譜對變換域參數進行合理的動態比特分配可以使音頻質量獲得顯著改善,而相應付出的代價則是計算復雜度的提高。
變換域壓縮具有一些不完善之處,如塊邊界影響、預回響、低碼率時聲音質量嚴重下降等。然而隨著技術的不斷進步,這些缺陷正逐步被消除,同時在許多新的壓縮編碼技術中也大量採用了傳統變換編碼的某些技術。
有代表性的變換壓縮編碼技術有DolbyAC-2、AT&T的ASPEC(Audio Spectral Perceptual Entropy Coding)、PAC(PerceptualAudioCoder)等。
3、音頻壓縮技術的標准化和MPEG-1
由於數字音頻壓縮技術具有廣闊的應用范圍和良好的市場前景,因而一些著名的研究機構和大公司都不遺餘力地開發自己的專利技術和產品。這些音頻壓縮技術的標准化工作就顯得十分重要。CCITT(現ITU-T)在語音信號壓縮的標准化方面做了大量的工作,制訂了如G.711、G.721、G.728等標准,並逐漸受到業界的認同。
在音頻壓縮標准化方面取得巨大成功的是MPEG-1音頻(ISO/IEC11172-3)。在MPEG-1中,對音頻壓縮規定了三種模式,即層Ⅰ、層Ⅱ(即MUSICAM,又稱MP2),層Ⅲ(又稱MP3)。由於在制訂標准時對許多壓縮技術進行了認真的考察,並充分考慮了實際應用條件和演算法的可實現性(復雜度),因而三種模式都得到了廣泛的應用。VCD中使用的音頻壓縮方案就是MPEG-1層Ⅰ;而MUSICAM由於其適當的復雜程度和優秀的聲音質量,在數字演播室、DAB、DVB等數位元組目的製作、交換、存儲、傳送中得到廣泛應用;MP3是在綜合MUSICAM和ASPEC的優點的基礎上提出的混合壓縮技術,在當時的技術條件下,MP3的復雜度顯得相對較高,編碼不利於實時,但由於MP3在低碼率條件下高水準的聲音質量,使得它成為軟解壓及網路廣播的寵兒。可以說,MPEG-1音頻標準的制訂方式決定了它的成功,這一思路甚至也影響到後面將要談到的MPEG-2和MPEG-4音頻標準的制訂。
最新進展
1、多聲道音頻信號壓縮與DolbyAC-3
隨著技術的不斷進步和生活水準的不斷提高,原有的立體聲形式已不能滿足受眾對聲音節目的欣賞要求,具有更強定位能力和空間效果的三維聲音技術得到蓬勃發展。而在三維聲音技術中最具代表性的就是多聲道環繞聲技術。
更准確地說,環繞聲應該是一種聲音恢復形式,其新技術的含量實際表現在隨著這種形式發展起來的一些數字壓縮標准上。環繞聲技術發展至今已相當成熟,已日漸成為未來聲音形式的主流。有鑒於此,1992年CCIR(ITU-R)以建議的形式約定了多聲道聲音系統的結構及向下兼容變換的標准,即CCIR Recommendation 775。其中主要約定了大家熟知的5.1聲道形式及7.1聲道形式,而在對環繞聲壓縮的研究上也產生了許多專利技術,如DolbySurroundPro -Logic、THX、DolbyAC-3、DTS及MPEG-2等。這些技術在不同的場合,尤其是在影劇院、家庭影院系統,及將來的高清晰度電視(HDTV)等系統中得到廣泛的應用。
(1)Dolby AC-3技術是由美國杜比實驗室主要針對環繞聲開發的一種音頻壓縮技術。在5.1聲道的條件下,可將碼率壓縮至384kbps,壓縮比約為10:1。Dolby AC-3最初是針對影院系統開發的,但目前已成為應用最為廣泛的環繞聲壓縮技術之一。
Dolby AC-3是一種感知型壓縮編碼技術。
在Dolby AC-3中,音頻輸入以音頻塊為單位,塊長度為512個樣值,在48KHz采樣率時即為10.66毫秒,各聲道單獨處理;音頻輸入在經過3Hz高通濾波器去除直流成分後,通過另一高頻帶通濾波器以檢測信號的瞬變情況,並用它來控制TDAC變換的長度,以期在頻域解析度和時域解析度之間得到最好的折中效果; TDAC變換的長度一般為512點,而數據塊之間的重疊長度為256點,即TDAC每5.33毫秒進行一次;在瞬變條件下,TDAC長度被等分為256 點,這樣DolbyAC-3的頻域解析度為93.75Hz,時域最小解析度為2.67毫秒;在圖1中的定點/浮點轉換類似於MPEG-1中比例因子計算的作用,主要是為了獲得寬的動態范圍,而在分離後的指數部分經編碼後則構成了整個信號大致的頻譜,又被稱為頻譜包絡;比特分配主要是通過計算解碼後的頻譜包絡(視為功率譜密度)和掩蔽曲線的相關性來進行的;由於比特分配中採用了前/後向混合自適應比特分配以及公共比特池等技術,因而可使有限的碼率在各聲道之間、不同的頻率分量之間獲得合理的分配;在對尾數的量化過程中,可對尾數進行抖晃處理,抖晃所使用的偽隨機數發生器可在不同的平台上獲得相同的結果;AC -3的幀結構由同步字、CRC、同步信息(SI)、碼流信息(BSI)、音頻塊和附加數據等組成,幀長度與TDAC變換的長度有關,在長度為512點時,幀長為32毫秒,即每秒31.25幀。
通過以上敘述可見,在Dolby AC-3中,使用了許多先進的、行之有效的壓縮技術。如前/後向混合自適應比特分配、公共比特池、TDAC濾波、頻譜包絡編碼、及低碼率條件下使用的多聲道高頻耦合等。而其中許多技術對其它的多聲道環繞聲壓縮技術的發展都產生了一定的影響。
可以說,AC-3的出現是杜比公司幾十年來在聲音降噪及編碼技術方面的結晶(從一定的角度來看,編碼技術實際上就是降低編碼雜訊影響的技術),在技術上它具有很強的優勢。因而即使作為一項專利技術,DolbyAC-3仍然在影院系統、HDTV、消費類電子產品(如LD、DVD)及直播衛星等方面獲得了廣泛的應用,得到了眾多廠商的支持,成為業界事實上的標准。
(2)MPEG-2BC(後向兼容方式),即ISO/IEC13818- 3,是另一種多聲道環繞聲音頻壓縮技術。早在1992年初,該方面的討論工作便已初步開展,並於94年11月正式獲得通過。MPEG-2BC主要是在 MPEG-1和CCIRRec.775的基礎上發展起來的。與MPEG-1相比較,MPEG-2BC主要在兩方面做了重大改進。一是支持多聲道聲音形式,二是為某些低碼率應用場合,如多語聲節目、體育比賽解說等而進行的低采樣率擴展。同時,標准規定的碼流形式還可與MPEG-1的第1和第2層做到前、後向兼容,並可依據CCIR Rec.775做到與雙聲道、單聲道形式的向下兼容,還能夠與Dolby Surround形式兼容。
在MPEG-2BC中,由於考慮到其前、後向兼容性以及環繞聲音形式的新特點,在壓縮演算法中除承襲了MPEG-1的絕大部分技術外,為在低碼率條件下進一步提高聲音質量,還採用了多種新技術。如動態傳輸通道切換、動態串音、自適應多聲道預測、中央聲道部分編碼(Phantom Coding of Center)、預編碼(Predistortion)等。
然而,MPEG-2BC的發展和應用並不如MPEG-1那樣一帆風順。通過對一些相關論文的比較可以發現,MPEG-2BC的編碼框圖在標准化過程中發生了重大的變化,上述的許多新技術都是在後期引入的。事實上,正是與 MPEG-1的前、後向兼容性成為MPEG-2BC最大的弱點,使得MPEG-2BC不得不以犧牲碼率的代價來換取較好的聲音質量。一般情況下,MPEG -2BC需640kbps以上的碼率才能基本達到EBU「無法區分」聲音質量要求。由於MPEG-2BC標准化的進程過快,其演算法自身仍存在一些缺陷。這一切都成為MPEG-2BC在世界范圍內得到廣泛應用的障礙。
(3)DVD(DigitalVersatileDisk)是新一代的多媒體數據存儲和交換的標准。在視頻DVD的伴音方式及音頻DVD的聲音格式選擇上,AC-3和MPEG-2BC之間的爭奪十分激烈,最後達成的協議如表1 所示。可見,多聲道環繞聲音頻壓縮技術標准亟待統一。
⑷ 什麼是壓縮技術,起源於什麼時候
因為有些文件格式相對較大。。比如BMP格式的圖片。壓縮比較基本上在100倍左右。。因此為了節省空間。。就需要對數據進行壓縮
1.什麼是數據壓縮
數據壓縮,通俗地說,就是用最少的數碼來表示信號。其作用是:能較快地傳輸各種信號,如傳真、Modem通信等;在現有的通信干線並行開通更多的多媒體業務,如各種增值業務;緊縮數據存儲容量,如CD-ROM、VCD和DVD等;降低發信機功率,這對於多媒體移動通信系統尤為重要。由此看來,通信時間、傳輸帶寬、存儲空間甚至發射能量,都可能成為數據壓縮的對象。
2.數據為何能被壓縮
首先,數據中間常存在一些多餘成分,既冗餘度。如在一份計算機文件中,某些符號會重復出現、某些符號比其他符號出現得更頻繁、某些字元總是在各數據塊中可預見的位置上出現等,這些冗餘部分便可在數據編碼中除去或減少。冗餘度壓縮是一個可逆過程,因此叫做無失真壓縮,或稱保持型編碼。
其次,數據中間尤其是相鄰的數據之間,常存在著相關性。如圖片中常常有色彩均勻的背影,電視信號的相鄰兩幀之間可能只有少量的變化影物是不同的,聲音信號有時具有一定的規律性和周期性等等。因此,有可能利用某些變換來盡可能地去掉這些相關性。但這種變換有時會帶來不可恢復的損失和誤差,因此叫做不可逆壓縮,或稱有失真編碼、摘壓縮等。
此外,人們在欣賞音像節目時,由於耳、目對信號的時間變化和幅度變化的感受能力都有一定的極限,如人眼對影視節目有視覺暫留效應,人眼或人耳對低於某一極限的幅度變化已無法感知等,故可將信號中這部分感覺不出的分量壓縮掉或「掩蔽掉」。這種壓縮方法同樣是一種不可逆壓縮。
對於數據壓縮技術而言,最基本的要求就是要盡量降低數字化的在碼事,同時仍保持一定的信號質量。不難想像,數據壓縮的方法應該是很多的,但本質上不外乎上述完全可逆的冗餘度壓縮和實際上不可逆的嫡壓縮兩類。冗餘度壓縮常用於磁碟文件、數據通信和氣象衛星雲圖等不允許在壓縮過程中有絲毫損失的場合中,但它的壓縮比通常只有幾倍,遠遠不能滿足數字視聽應用的要求。
在實際的數字視聽設備中,差不多都採用壓縮比更高但實際有損的媳壓縮技術。只要作為最終用戶的人覺察不出或能夠容忍這些失真,就允許對數字音像信號進一步壓縮以換取更高的編碼效率。摘壓縮主要有特徵抽取和量化兩種方法,指紋的模式識別是前者的典型例子,後者則是一種更通用的摘壓縮技術。
更加詳細的資料看這里吧。
http://www.kdntc.cn/nic/netstudy/wsjs/tongxin/shu/039.htm
-----------------------------
數據壓縮是通過減少計算機中所存儲數據或者通信傳播中數據的冗餘度,達到增大數據密度,最終使數據的存儲空間減少的技術。
數據壓縮在文件存儲和分布式系統領域有著十分廣泛的應用。數據壓縮也代表著尺寸媒介容量的增大和網路帶寬的擴展。
數據壓縮就是將字元串的一種表示方式轉換為另一種表示方式,新的表示方式包含相同的信息量,但是長度比原來的方式盡可能的短。
1. 數據壓縮與編碼
數據壓縮跟編碼技術聯系緊密,壓縮的實質就是根據數據的內在聯系將數據從一種編碼映射為另一種編碼。壓縮前的數據要被劃分為一個一個的基本單元。基本單元既可以是單個字元,也可以是多個字元組成的字元串。稱這些基本單元為源消息,所有的源消息構成源消息集。源消息集映射的結果為碼字集。可見,壓縮前的數據是源消息序列,壓縮後的數據是碼字序列。
若定義塊為固定長度的字元或字元串,可變長為長度可變的字元或字元串,則編碼可分為塊到塊編碼、塊到可變長編碼、可變長到塊編碼、可變長到可變長編碼等。應用最廣泛的ASCII編碼就是塊到塊編碼。
2. 數據壓縮的分類
數據壓縮按照映射是否固定可分為靜態數據壓縮和動態數據壓縮。靜態數據壓縮是指壓縮前源消息集到碼字集之間的映射是固定的,出現在被壓縮數據中的源消息每次都被映射為同一碼字。動態數據壓縮是指源消息集到碼字集的映射會隨著壓縮進度的變化而變化。靜態壓縮編碼需要兩步,先計算出源消息出現的頻率,確定源消息到碼字之間的映射;然後完成映射。動態數據壓縮則只需一步就能完成,它在壓縮過程中只對源消息集掃描一次。有些數據壓縮演算法是混合型的,綜合應用了靜態數據壓縮和動態數據壓縮技術。
3. 評價數據壓縮的標准
從實際應用來說,數據壓縮可從兩方面來衡量:數據壓縮速度和數據壓縮率。當數據壓縮應用於網路傳輸時,主要考慮速度快慢;當數據壓縮應用於數據存儲中,主要考慮壓縮率,即壓縮後數據的大小。當然這兩方面是相輔相成的。
常用的評價標准有冗餘度、平均源信息長度、壓縮率等。對於一種編碼方式是否為較好的編碼,主要看該編碼的冗餘度是否最小。
4. 常見的數據壓縮工具
現在操作簡單,使用方便,功能強大的數據壓縮工具有很多。最常見的是WinZip和WinRAR。
數據壓縮通過減少數據的冗餘度來減少數據在存儲介質上的存儲空間,而數據備份則通過增加數據的冗餘度來達到保護數據安全的目的。兩者在實際應用中常常結合起來使用。通常將要備份的數據進行壓縮處理,然後將壓縮後的數據用備份進行保護。當需要恢復數據時,先將備份數據恢復,再解壓縮。
由於計算機中的數據十分寶貴又比較脆弱,數據備份無論對國家、企業和個人來說都非常重要。數據備份能在較短的時間內用很小的代價,將有價值的數據存放到與初始創建的存儲位置相異的地方;當數據被破壞時,用較短的時間和較小的花費將數據全部恢復或部分恢復。
1. 對備份系統的要求
不同的應用環境有不同的備份需求,一般來說,備份系統應該有以下特性。
☆ 穩定性:備份系統本身要很穩定和可靠。
☆ 兼容性:備份系統要能支持各種操作系統、資料庫和典型應用軟體。
☆ 自動化:備份系統要有自動備份功能,並且要有日誌記錄。
☆ 高性能:備份的效率要高,速度要盡可能的快。
☆ 操作簡單:以適應不同層次的工作人員的要求,減輕工作人員負擔。
☆ 實時性:對於某些不能停機備份的數據,要可以實時備份,以確保數據正確。
☆ 容錯性:若有可能,最好有多個備份,確保數據安全可靠。
2. 數據備份的種類
數據備份按所備份數據的特點可分為完全備份、增量備份和系統備份。
完全備份是指對指定位置的所有數據都備份,它佔用較大的空間,備份過程的時間也較長。增量備份是指數據有變化時對變化的部分進行備份,它佔用空間小,時間短。完全備份一般在系統第一次使用時進行,而增量備份則經常進行。系統備份是指對整個系統進行備份。它一般定期進行,佔用空間較大,時間較長。
3. 數據備份的常用方法
數據備份根據使用的存儲介質種類可分為軟盤備份、磁帶備份、光碟備份、優盤備份、移動硬碟備份、本機多個硬碟備份和網路備份。用戶可以根據數據大小和存儲介質的大小是否匹配進行選擇。
數據備份是被動的保護數據的方法,用戶應根據不同的應用環境來選擇備份系統、備份設備和備份策略。
http://ke..com/view/286827.html
---------------------------
有損數據壓縮方法是經過壓縮、解壓的數據與原始數據不同但是非常接近的壓縮方法。有損數據壓縮又稱破壞型壓縮,即將次要的信息數據壓縮掉,犧牲一些質量來減少數據量,使壓縮比提高。這種方法經常用於網際網路尤其是流媒體以及電話領域。在這篇文章中經常成為編解碼。它是與無損數據壓縮對應的壓縮方法。根據各種格式設計的不同,有損數據壓縮都會有 generation loss:壓縮與解壓文件都會帶來漸進的質量下降。
[編輯] 有損壓縮的類型
有兩種基本的有損壓縮機制:
一種是有損變換編解碼,首先對圖像或者聲音進行采樣、切成小塊、變換到一個新的空間、量化,然後對量化值進行熵編碼。
另外一種是預測編解碼,先前的數據以及隨後解碼數據用來預測當前的聲音采樣或者或者圖像幀,預測數據與實際數據之間的誤差以及其它一些重現預測的信息進行量化與編碼。
有些系統中同時使用這兩種技術,變換編解碼用於壓縮預測步驟產生的誤差信號。
有損與無損壓縮比較
有損方法的一個優點就是在有些情況下能夠獲得比任何已知無損方法小得多的文件大小,同時又能滿足系統的需要。
有損方法經常用於壓縮聲音、圖像以及視頻。有損視頻編解碼幾乎總能達到比音頻或者靜態圖像好得多的壓縮率(壓縮率是壓縮文件與未壓縮文件的比值)。音頻能夠在沒有察覺的質量下降情況下實現 10:1 的壓縮比,視頻能夠在稍微觀察質量下降的情況下實現如 300:1 這樣非常大的壓縮比。有損靜態圖像壓縮經常如音頻那樣能夠得到原始大小的 1/10,但是質量下降更加明顯,尤其是在仔細觀察的時候。
當用戶得到有損壓縮文件的時候,譬如為了節省下載時間,解壓文件與原始文件在數據位的層面上看可能會大相徑庭,但是對於多數實用目的來說,人耳或者人眼並不能分辨出二者之間的區別。
一些方法將人體解剖方面的特質考慮進去,例如人眼只能看到一定頻率的光線。心理聲學模型描述的是聲音如何能夠在不降低聲音感知質量的前提下實現最大的壓縮。
人眼或人耳能夠察覺的有損壓縮帶來的缺陷稱為壓縮失真(en:compression artifact)。
http://ke..com/view/583477.html
⑸ 壓縮技術的介紹
隨著多媒體、視頻圖象、文檔映象等技術的出現,數據壓縮成了網路管理員的一個重要課題。數據壓縮基本上是擠壓數據使得它佔用更少的磁碟存儲空間和更短的傳輸時間。壓縮的依據是數字數據中包含大量的重復,它將這些重復信息用佔用空間較少的符號或代碼來代替。
⑹ 壓縮技術的壓縮技術
壓縮技術 Compression Techniques 基本的壓縮技術有:
空格壓縮(Null Compression) 將一串空格用一個壓縮碼代替,壓縮碼後面的數值代表空格的個數。
游長壓縮(Run-Length Compression)它是空格壓縮技術的擴充,壓縮任何4個或更多的重復字元的串。該字元串被一個壓縮碼、一個重復字元和一個代表重復字元個數的值所取代。
關鍵字編碼(Key-word encoding)創建一張由表示普通字元集的值所組成的表。頻繁出現的單詞如for、the或字元對如sh、th,被表示為一些標記(token),用來保存或傳送這些字元。
哈夫曼統計方法(Huffman statistical method)這種壓縮技術假定數據中的字元有一個變化分布,換句話說,有些字元的出現次數比其餘的多。字元出現越頻繁,用於編碼的位數就越少。這種編碼方案保存在一張表中,在數據傳輸時,它能被傳送到接收方數據機使其知道如何解碼字元。
因為壓縮演算法是基於軟體的,所以實時環境中,存在著額外開銷,會引起不少問題。而文件備份、歸檔過程中的壓縮不會有什麼問題。使用高性能的系統有助於消除大部分的額外開銷和性能問題。另外,壓縮消除了文件的可移植性,除非解壓縮軟體也與文件一起傳送。
注意,有些文件已經被壓縮,進一步的外部壓縮不會有任何好處,一些圖形文件格式,如標簽映象文件格式(TIFF),就已經包含了壓縮。 Storage System Compression存儲系統壓縮
在討論文件存儲的壓縮演算法之前,應該明確文件壓縮不同於磁碟編碼。磁碟編碼通常由磁碟驅動器把更多的數字1和0寫到磁碟的物理表面上。文件壓縮把文件中的字元和位串擠壓到更小的尺寸。它在文件信息傳送到硬碟驅動器的寫頭之前由軟體完成。現代的使用編碼的硬碟驅動器只是從CPU接收1和o的位流,並且把它們壓擠到比沒有使用編碼小得多的空間中。磁碟編碼簡單討論到這兒,下面將著重討論文件壓縮。
磁碟記錄系統如硬碟驅動器通過改變磁碟表面的磁場來記錄信息。兩種可能狀態間的磁場變化稱為磁通翻轉(flux transition)。簡單地說,磁通翻轉代表數字1,磁通不翻轉代表數字0。編碼提供了一種方法使每個磁通翻轉代表更多數字信息。改進調頻制MFM(Modified frequency molation)將一個磁通翻轉表示多個1,將磁通不翻轉表示多個0。編碼技術包括下述幾種。
游長受限碼(Run Length limited(RLU))把位組合格式表示為代碼,可以用較少的磁通翻轉來存儲。與MFM相比,存儲容量提高了50%。
改進的游長受限碼(Advanced run length limited(ARLL) 通過把位組合格式轉換成能用四倍密度磁通翻轉來存儲的代碼,從而把MFM的記錄密度翻了一倍。
因為磁碟編碼是由硬碟驅動器在硬體級自動處理的,這里沒有必要進一步討論。當你購買一個硬碟驅動器,它使用一種編碼方案而獲得一定的容量,但是只要驅動器的容量滿足你的要求,購買後,就不必關心它的編碼方案了。
⑺ 數據壓縮的基本原理
數據壓縮的基本原理
--------------------------------------------------------------------------------
數據壓縮技術就是對原始數據進行數據編碼或壓縮編碼。
目前常用的壓縮編碼有:冗餘壓縮法(無損壓縮法、熵編碼)和熵壓縮法(有損壓縮法)兩類。
無損壓縮是可逆的;有損壓縮是不可逆的。
--------------------------------------------------------------------------------
變長編碼
使用長度可變的代碼來對以不同頻率出現的樣本進行編碼。
1·Huffman編碼
Huffman編碼又稱最佳編碼。
Huffman編碼過程是:
*將信源符號按概率遞減順序排列;
*把兩個最小的概率加起來,作為新符號的概率;
*重復上述兩步驟,直到概率的和達到1為止;
*在每次合並消息時,將被合並的消息賦予1和0或賦予0和1;
*尋找從每一信源符號到概率為1的路經,記錄下路經上的1和0;
*對每一符號寫出從碼樹的根到終結點1、0序列。
例:對信源
[X1,X2,X3,X4,X5,X6]=[0.25,0.25,0.20,0.15,0.10,0.05]
進行Huffman編碼。
其中:X1=01;X2=10;X3=11;X4=000;X5=0010;X6=0011。
2·算術編碼
算術編碼是一種二元編碼。
這種編碼方法是在不考慮信源統計的情況下,只要監視一小段時間內碼字出現的頻率,不管統計是平穩的或非平穩的,編碼的碼率總能趨近於信源熵值,每次迭代的編碼演算法只處理一個數據符號,並且只有算術運算。
對二進制編碼來說,信源符號只有兩個。在算術編碼的初級階段,可設一個大概率Pe和小概率Qe,然後對被編碼比特流符號進行判斷。
其步驟:
*設編碼初始化子區間為[0,1],Qe從0算起,則Pe=1-Qe。
*確定子區間起始位置:子區間起始位置=前子區間的長度+ 當前符號的區間左端X前子區間長度
*確定新子區間長度:新子區間長度=前子區間的長度X當前符號的概率
*隨著被編碼數據流符號的輸入,子區間逐漸縮小,
*最後得到的子區間長度決定了表示該區域內的某一個數所需的位數。
例:P42
--------------------------------------------------------------------------------
預測編碼
(自習)
--------------------------------------------------------------------------------
變換編碼
變換編碼是指對信號進行變換後在編碼。
例如:
典型的編碼結構是:
--------------------------------------------------------------------------------
模型編碼
模型編碼是指採用模型的方法對傳輸的圖像進行參數估測。
模型編碼有:隨機馬爾可夫場和分形圖像編碼。
1·分形的概念
分形的含義是其組成部分以某種方式與整體相似的形(一類無規則、混亂而復雜),其局部與整體有相似性的體系,即:自相似性體系。
2·分形編碼
*基本原理:分形的方法是把一幅數字圖像,通過一些圖像處理技術將原始圖像分成一些子圖像,然後在分形集中查找這樣的子圖像。分形集存儲許多迭代函數,通過迭代函數的反復迭代,可以恢復原來的子圖像。
分形編碼壓縮的步驟:
第一步:把圖像劃分為互不重疊的、任意大小的的D分區;
第二步:劃定一些可以相互重疊的、比D分區大的R分區;
第三步:為每個D分區選定仿射變換表。
分形編碼解壓步驟:
首先從文件中讀取D分區劃分方式的信息和仿射變換系數等數據;
然後劃定兩個同樣大小的緩沖區給D圖像和R圖像,並把R初始化到任一初始階段;
根據仿射變換系數把其相應的R分區做仿射變換,並用變換後的數據取代該D分區的原有數據;
對D中所有的D分區都進行上述操作,全部完成後就形成一個新的D圖像;
再把新D圖像的內容拷貝到R中,把新R當作D,D當作R,重復操作(迭代)。
。分形編碼的特點:
壓縮比高,壓縮後的文件容量與圖像像素數無關,在壓縮時時間長但解壓縮速度快。
--------------------------------------------------------------------------------
⑻ 語音壓縮技術,語音壓縮技術是什麼意思
語音壓縮技術指的是對原始數字音頻信號流運用適當的數字信號處理技術,在不損失有用信息量,或所引入損失可忽略的條件下,壓縮信號編碼速率,也稱為壓縮編碼。以生成適合傳輸的數字信號流,提高傳輸效率。這樣做的優點在於可以適應在低碼率的信道上實現可靠傳輸,也可以在同樣的信道上傳輸更多的數據。對語音編碼技術中語音質量的評價主要分為兩類,客觀評定方法和主觀評定方法。其中客觀評定方法用客觀測量的手段來評價語音編碼的質量,其特點是計算簡單,但不能完全反映人對語音質量的感覺。主觀評定方法符合人類聽話時對語音質量的感覺,因而得到廣泛應用。 語音壓縮編碼技術有多種,歸納起來大致可分為三類,即波形編碼、參數編碼和混合編碼。波形編碼即針對語音波形進行編碼,而盡量保持輸出波形不變,即恢復的語音信號基本上與輸入信號波形相同;參數編碼方法是先對語音信號進行分析,提取出其參數,對參數進行編碼,在解碼後由這些參數重新合成出重構的語音信號,使得到的信號聽起來與輸入語音相同;而不是對語音信號的波形直接處理,因而恢復信號與原信號不必保持相同;由參數編碼與波形編碼相結合的混合編碼的編碼器正在得到人們較大的關注。這種編碼器既具備了聲碼器的特點(利用語音生成模型提取語音參數),又具備了波形編碼的特點(優化激勵信號,使其與輸入語音波形相匹配)。
⑼ 壓縮技術的文件壓縮
文件壓縮的實現有幾種方式,提供的各種工具使你能每次壓縮一個文件,或壓縮一組文件。一組文件能壓縮成單個文件,更易於傳送到其它用戶,解壓縮工具把文件解開。一個流行的共享文件壓縮工具稱為PKZIP(威斯康辛州Glendale的PKWARE公司),用於CompuServe和其它公告牌軟體上壓縮文件,可以從大多數公告牌服務上卸下PKZIP。
大多數操作系統,包括DOS、NetWare、Windows NT等現在都包含壓縮軟體。在NetWare 4.x中,能自動壓縮指定文件或整卷上的或指定目錄中的所有文件。指定文件屬性能被設置以標記你希望系統在它們不用時自動壓縮的文件。啟動自動壓縮系統時要小心,一些應用程序由於文件處在壓縮狀態而不能正常工作。
文件壓縮里兩個重要概念是無失真(lossless)和有失真(lossy):
無失真壓縮(Lossless Compression)無失真壓縮系統假定從已壓縮文件中返回所有信息,文件中每一位都是重要的,所以壓縮演算法精確地壓縮和解壓文件。
有失真壓縮(Lossy Compression)有失真系統假定在壓縮和解壓過程中允許一定的信息損失。許多高清晰度的圖形文件包含的信息如果在壓縮階段丟失了也不會引起變化。例如,如果你以高解析度掃描彩色圖畫,但是你的顯示器不能顯示這種清晰度,你就可以使用有失真壓縮方案,因為不會遺漏細節。聲音和圖象文件也適於用有失真壓縮,因為信息損失引起的變化很小,解壓播放時可能覺察不出來。
雖然無失真壓縮中沒有信息損失,但壓縮比通常只有2:1,有失真壓縮根據被壓縮信息的類型提供的壓縮比從100:1至200:1,聲音和圖象信息能很好地壓縮,因為它通常包含大量冗餘信息。
圖形、視頻和聲音壓縮
Grraphics Video and Voice Compression圖形、視頻和聲音壓縮
隨著多媒體和電視會議的出現,高效的壓縮系統變得重要起來,根據視頻圖象解析度,一幅典型的彩色圖形圖象需佔用2MB或更多的磁碟空間,1秒鍾未壓縮的全運動視頻圖象所需磁碟空間約10MB。網路管理員關心多媒體文件的大小是因為將它們拷貝到伺服器或其他用戶時會佔用網路帶寬。
幸運的是,大多數多媒體圖象能使用前面討論過的有失真壓縮技術。在視頻圖象壓縮中,每幀必須是通過刪除冗餘信息進行精簡的象素陣列,視頻圖象壓縮通常使用特殊的集成電路來處理,而不是使用軟體,因為軟體操作太慢。標准視頻圖象一般約為30幀/秒,但有些研究發現對許多觀眾來說16幀/秒也可接受,所以幀刪除方法提供了另一種壓縮方式。
⑽ 文件壓縮的概念是什麼
一個較大的文件經壓縮後,產生了另一個較小容量的文件。而這個較小容量的文件,我們就叫它是這些較大容量的(可能一個或一個以上的文件)的壓縮文件。目前壓縮技術可分為通用無損數據壓縮與有損壓縮兩大類,但不管是採用何種技術模型,其本質內容都是一樣的,即都是通過某種特殊的編碼方式將數據信息中存在的重復度、冗餘度有效地降低,從而達到數據壓縮的目的。