信息，指音訊、消息、通訊系統(tǒng)傳輸和處理的對(duì)象，泛指人類社會(huì)傳播的一切內(nèi)容。人通過獲得、識(shí)別自然界和社會(huì)的不同信息來區(qū)別不同事物，得以認(rèn)識(shí)和改造世界。在一切通訊和控制系統(tǒng)中，信息是一種普遍聯(lián)系的形式。1948年，數(shù)學(xué)家香農(nóng)在題為“通訊的數(shù)學(xué)理論”的論文中指出：“信息是用來消除隨機(jī)不定性的東西”。創(chuàng)建一切宇宙萬物的最基本單位是信息。

信息的特點(diǎn)是什么?別擔(dān)心，信息雖然是不確定的，但還是有辦法將它們進(jìn)行量化的。人們根據(jù)信息的概念，可以歸納出信息是有以下的幾個(gè)特點(diǎn)的：

1. 消息發(fā)生的概率P(x)越大，信息量越小;反之，發(fā)生的概率越小，信息量就越大。可見，信息量(我們用I來表示)和消息發(fā)生的概率是相反的關(guān)系。

2. 當(dāng)概率為1時(shí)，百分百發(fā)生的事，地球人都知道，所以信息量為0。

3. 當(dāng)一個(gè)消息是由多個(gè)獨(dú)立的小消息組成時(shí)，那么這個(gè)消息所含信息量應(yīng)等于各小消息所含信息量的和。

根據(jù)這幾個(gè)特點(diǎn)，如果用數(shù)學(xué)上對(duì)數(shù)函數(shù)來表示，就正好可以表示信息量和消息發(fā)生的概率之間的關(guān)系式：I=-loga(P(x))。這樣，信息不就可以被量化了嗎?既然信息可以被量化，那么總得給它一個(gè)單位吧?人的體重是以公斤來計(jì)量的，人的身高是以米來計(jì)量的，那么信息量該以什么單位來計(jì)量呢?通常是以比特(bit)為單位來計(jì)量信息量的，這樣比較方便，因?yàn)橐粋€(gè)二進(jìn)制波形的信息量恰好等于1bit。