Jak porozumět signálům a zprávám?

Hlavní zájem teorie informace jako jednoho z pilířů kybernetiky se týká přenosnosti zpráv sdělovacím prostředím (říká se mu »kanál«), kde jsou nějak rušeny šumem a jde o to odstranit nebo alespoň minimalizovat jeho následky. Vědci se však v poslední době dostávají mnohem dál a součástí výzkumných programů zaměřených na analýzy zdrojů jsou dnes i delfíni.Hlavní zájem teorie informace jako jednoho z pilířů kybernetiky se týká přenosnosti zpráv sdělovacím prostředím (říká se mu »kanál«), kde jsou nějak rušeny šumem a jde o to odstranit nebo alespoň minimalizovat jeho následky. Vědci se však v poslední době dostávají mnohem dál a součástí výzkumných programů zaměřených na analýzy zdrojů jsou dnes i delfíni.

Většina z nás už o nějakém měření informace slyšela. Paměť počítače nebo kapacita internetové trasy se měří v bitech a bytech. Tam jde ale o měření záznamu informace – kolik místa spotřebuje. Informační obsah sdělení je něco jiného, co s délkou zprávy jistě přímo souviset nebude; všichni známe dlouhé, nic neříkající texty a na druhé straně krátká sdělení, která dokázala změnit svět. Na druhé straně nám nevadí mluvit o tom, že se informace (třeba rušením rádiového provozu) ztrácí, a tím připouštíme, že se o jejím množství uvažovat dá. Jak ale poznat, je-li více informace ve větě »Hrdliččin zval ku lásce hlas« nebo »Večeři máš v lednici«? Důvtipný nápad přinesl Claude Elwood Shannon, americký matematik a elektrotechnik, který se přenosem zpráv teoreticky zabýval. Došel k závěra, že zpráva nám přinese tím víc informace, čím víc nás »překvapí«. Poněkud přesněji: informace obsažená ve zprávě bude nepřímo úměrná její pravděpodobnosti. Protože v šifrovaných vojenských zprávách, o které hlavně šlo, se nevyskytuje hrdliččin hlas, ale spíše nesrozumitelné posloupnosti znaků nebo jejich skupin, bylo praktické vztáhnout pravděpodobnostní definici informace na jednotlivé znaky.

Šifry a morseovka

Pro zdroj zpráv jako celek je pak důležitá průměrná informace připadající na každý jím produkovaný znak. Nazývá se entropie a shoda s odpovídajícím fyzikálním termínem není náhodná – také informační entropie charakterizuje neuspořádanost. Čím je zdroj zpráv chaotičtější (všechny znaky jsou zhruba stejně pravděpodobné), tím je jeho entropie větší. Naopak entropie klesá, rostou-li rozdíly mezi pravděpodobnostmi znaků. Mimochodem – toho, že písmena mají různou pravděpodobnost výskytu, si všimli už někdy v 10. století arabští učenci při studiu koránu a využili toho při luštění šifrovaných textů: nejčastějšímu znaku v šifře přiřadili nejčastější písmeno, druhému druhé nejčastější, atd., a když byl šifrovaný text dost dlouhý, aby se pravděpodobnosti písmen mohly projevit v jejich četnosti, zpravidla se povedlo šifru rozlousknout. Četností písmen v angličtině si zase všiml pan Morse, když sestavoval svoji abecedu z teček a čárek, a zdá se, zeji dost respektoval. Na druhé straně se traduje, že podmíněných pravděpodobností písmen (zase v angličtině) si byli vědomi i konstruktéři prvních psacích strojů. Jejich mechanika byla pomalá a při rychlém sledu úhozů by si klapky překážely. Proto prý na klávesnici dali písmena, která po sobě často následují, daleko od sebe.

V luštění pomáhá podmíněná pravděpodobnost

Pro zkoumání zdrojů zpráv jsou důležité i takzvané podmíněné pravděpodobnosti a z nich odvozené informace. Jde v nich o to, že pravděpodobnost znaku může hodně záviset (a také často závisí) na tom, po kterém znaku, či kterých znacích, následuje. Po skupině písmen »stů« v češtině může následovat jen l, neboj, nebo ještě n (stůně). Také podmíněné pravděpodobnosti byly při luštění šifer a starých písem využity. Teorie informace si, byť okrajově a trochu mimo hlavní proud zájmu (hlavně ve svých počátcích trochu fascinovaných obzory, které nový vědní obor otevřel), všímala i některých dalších jevů spojených s produkováním a přenosem zpráv. Například odlišnostmi informačních charakteristik mezi různými jazyky a výskytem některých dalších jazykových jevů, jako jsou koncovky slov či slabičnost písma, které se hodí při studiu starých jazyků a písem. Nebo i pravidelnostmi v posílání zpráv. Ke zdolání německého šifrovacího stroje Enigma (ještě před vznikem teorie informace), například, přispěla vojenská záliba v ustálených formulacích, vysílání zpráv jistého typu (počasí, kde se dala jistě očekávat jistá slova) vždy ve stejnou denní dobu a některé další pravidelnosti. Těmto otázkám není věnována speciální část teorie informace, mohou se ale projevit v pravděpodobnostech znaků a skupin znaků, o kterých tady už byla řeč.

Jakou hodnotu má entropie?

K zajímavým poznatkům vedly vědce vlastnosti entropie. Už jsme si řekli, že největší entropii (tedy jakousi míru nepořádnosti) vykazují zdroje, ve kterých jsou všechny znaky stejně pravděpodobné. U angličtiny s jejími 27 znaky má taková entropie hodnotu 4,75. Víme ale, že v ní nejsou všechna písmena stejně pravděpodobná, což poněkud snižuje její »nepořádnost« a vnáší do jazyka náznak řádu, takže »nepodmíněná« entropie angličtiny je ve skutečnosti jen 4,03. Ohled na to, po kterém znaku písmeno následuje, zase trochu diferencuje mezi (podmíněnými) pravděpodobnostmi znaků a tím dále snižuje entropii na hodnotu 3,32. Když nás v podmíněné pravděpodobnosti zajímají ne jen jedno, ale dvě poslední písmena, sníží se entropie na hodnotu 3,1. Budiž poznamenáno, že hledání podmíněných pravděpodobností je pro delší »minulost« hodně pracné. Nicméně se pro angličtinu podařilo ověřit, že příslušné entropie klesají (čím dál pomaleji) a že se pro hodně dlouhé předchozí úseky zpráv ustalují někde blízko hodnoty 1. Pro češtinu se autorovi nepodařilo tak propracovaná data najít, budou ale v zásadě vykazovat podobné vlastnosti (jen pro začátek: pro stejně pravděpodobná písma – je jich 42 – má čeština entropii 5,39, při respektování jejich skutečných pravděpodobností už klesá na 4,67).

Dorozumíme se s mimozemšťany?

To, co bylo řečeno o postupném poklesu podmíněných entropií, platí pro komunikaci v něčem, co bychom nazvali lidské jazyky. Neplatí to o signálech. Vřískání opiček nebo štěkání našeho pejska, případně posloupnost dopravních značek na silnici, má poměrně stálou entropii bez ohledu na to, jak dlouhou minulost bereme v úvahu, když to zkusíme s podmíněnými pravděpodobnostmi. Vědci ale našli jednu výjimku – entropie delfíních signálů s délkou podmíněnosti klesá podobně jako u lidských jazyků. To si zaslouží pozornost a obdivovatelé delfínů to ji stě ocení. Z trochu jiného pohledu, jestli se jednou nakrásně povede zachytit signály z vesmíru, může být chování podmíněných entropií zachyceného zdroje docela dobrým indikátorem, že je to opravdu pokus o komunikaci a ne další typ pulsaru (rychle rotující hvězdy vysílající pravidelné elektromagnetické záblesky – pulsy) nebo jiný přirozený jev. Vtipné by bylo, kdyby nám ufoni jaksi »na rozehřátí« vysílali nějaké signály, něco jako dopravní značky. Teorie informace řeší hlavně problémy spojené s přenosem zpráv, jejich kódováním a ochranou před šumem. Vyznat se v jejich zdrojích, to je pro celou teorii vlastně jen první krok, na který všechno to další navazuje. Nicméně i to nakonec nabízí překvapivě silné nástroje pro zacházení s informacemi.

ZVÍŘATA NEMLUVÍ, JEN SIGNALIZUJÍ

Často se v životě setkáváme s »abecedami« trochu jiného typu. Každý znak v nich, říká se jim signály, je zprávou sám o sobě – představme si třeba dopravní značky. Jejich seřazení pak už žádnou další informaci v podstatě nenese. Celá alej dopravních značek neříká nic víc než souhrn »zpráv« nesených každou z nich izolovaně. Tím se liší od obvyklých lidských jazyků, kde uspořádání znaků (písmen, hlásek) hraje podstatnou roli. Přirozeně – » děmm rt« je něco jiného než »mám tě rád« a také reakce na ně se může dramaticky lišit. Je známo, že komunikace zvířat je výměna signálů, nikoli »řeč« v lidském slova smyslu (snad až na komunikaci delfínů). Váš pejsek, i když při tom vypadá sebechytřeji, si s vámi nepovídá – jen signalizuje. V podmíněných pravděpodobnostech a v poklesu z nich vypočítaných entropií se projevuje právě vliv pořadí znaků jako nositele informace.

PRO TY, KDO SNÁŠEJÍ SLOVO LOGARITMUS

Je-li z znak z nějaké abecedy Z a p(z) pravděpodobnost jeho výskytu ve zprávách ze sledovaného zdroje, pak bude informace, kterou nese, úměrná převrácené hodnotě 1/p(z). Je přirozené chtít, aby se informace, nesená dvěma nezávislými znaky, sčítaly, a přitom z teorie pravděpodobnosti víme, že pravděpodobnosti nezávislých jevů se násobí. Matematik, který se potřebuje dostat od součinů k součtům, obvykle sáhne po logaritmech. Udělal to i Claude Shannon, takže informace nesená znakem z je definována jako log2(1/p(z)), což je -log2(p(z)). Za základ logaritmů bylo zvoleno číslo 2 částečně s ohledem na dvojkovou abecedu, při přenosu zpráv hojně používanou. Termínem entropie zdroje je pak označován průměr z informací znaků abecedy Z, kterou používá. Počítá se tedy podle vzorce l-p(z). log2(p(z)).  Pravděpodobnost každého znaku obvykle záleží na tom, který znak (nebo které znaky) se vyskytly před ním. Podmíněnou pravděpodobnost znaku z za podmínky, že před ním byl vyslán znaky, označujeme obvykle p(zy) a je přirozené definovat podmíněnou informaci znaku z, jestliže před ním bylo vysláno y, jako -log2(p(zy)). Z podmíněné informace se dá spočítat i podmíněná entropie zdroje. Každého jistě napadne, že stejně se dá postupovat pro delší skupiny předcházejících znaků.
MORSEOVA ABECEDA

Nemá, na rozdíl od toho, co se učí skauti, dvě písmena, ale tři: tečku, čárku a mezeru. Samuel Finlay Breese Morse (1791-1872) byl povoláním malíř (nikoli pokojů, ale obrazů), byl ale zřejmě duše hloubavá a přemýšlel, jak usnadnit telegrafii, která tehdy byla čerstvým vynálezem. Skupiny teček a čárek nepřidělil písmenům jen tak libovolně. Jeden z jeho příbuzných (snad švagr) prý byl tiskař. Ti tehdy sázeli hotová písmena ze zásobníků (kas), kde je měli rozděleny do přihrádek. Pan Morse si všiml, že švagr nemá všechny přihrádky stejně velké -některých písmen potřeboval víc – a podle velikosti oněch přihrádek přidělil písmenům tečky a čárky. Vypadá to pravděpodobně – nejčastější písmeno angličtiny e má jednu tečku, druhé t má jednu čárku, a tak to jde dál. Více méně – další v pořadí je o a to se třemi čárkami moc dohromady nejde. Následují a, n a i a jejich morseovkové protějšky jsou už zase krátké. Asi měl švagr v kase trochu nepořádek.

CO JE TO LGM?

Jde o v astronomii užívanou zkratku pro velmi rychlé pulsary. Znamená vlastně Little Green Men (Malí Zelení Mužíčci) a žertovně připomíná první dojem objevitelů rychlých pulsarů, že tak vysoká frekvence impulsů snad musí mít umělý původ. Právě informačně teoretická analýza (přílišná pravidelnost a tím »neinformačně« nízká entropie) potvrdily skeptické pochybnosti.

Publikováno:
Další články autora
Právě v prodeji
Tip redakce

Související články

Psi s námi vědomě manipulují

Psi s námi vědomě manipulují

Vědecký tým z Univerzity v Portsmouthu odhalil, že tato vychytralá zvířata...
Horským kamzíkům se v Tatrách daří

Horským kamzíkům se v Tatrách daří

Pozitivní zpráva přišla z polské a slovenské strany Tater. V letošním roce se zde...
Rezervace v Milovicích se rozšířila o pět nových zubrů

Rezervace v Milovicích se rozšířila...

Ne každý ví, že se v bývalém vojenském prostoru Milovice, který se nachází u Benátek...
Ostravští vědci vytvořili aplikaci o vážkách

Ostravští vědci vytvořili aplikaci...

Mobilní aplikace Lovec vážek CZ si klade za cíl informovat veřejnost o tomto...
Pelikáni ze safari se přestěhovali do zimoviště

Pelikáni ze safari se přestěhovali...

Včera proběhl v ZOO Dvůr Králové každoroční odchyt pelikánů. Více než dvacet...
Britský student objevil pozůstatky nejstaršího předka savců

Britský student objevil pozůstatky...

Student vysoké školy Grant Smith  zkoumal v rámci své univerzitní práce půdu...
Americká studie: Máme raději psy než lidi

Americká studie: Máme raději psy...

Že je pes nejlepším přítelem člověka je nyní vědecky prokázáno. Americká...
Kříženci vlka a labradora ohrožují genofond německých vlků.

Kříženci vlka a labradora ohrožují...

Na území Durynska se vlčici narodilo šest mláďat jejichž otcem je labrador....
Bajkalští tuleni uhynuli hlady

Bajkalští tuleni uhynuli hlady

Podle médií se na březích sibiřského jezera našlo více než 130 mrtvých tuleňů....
Pokud uvidíte losa, informujte odborníky

Pokud uvidíte losa, informujte...

Na Olomoucku byl v posledních dnech spatřen migrující los evropský (Alces alce)....

Nenechte si ujít další zajímavé články

Nové planety vhodné pro život? Proxima Centauri je možná má!

Nové planety vhodné pro život?...

Nedávné výzkumy odhalily možnou přítomnost několika planet v blízkosti naší...
Česká stopa ve světě vynálezů: Kontaktní čočky i výbušnina!

Česká stopa ve světě vynálezů:...

I Češi přispěli do pokladnice světových vynálezů svým dílem. Byť je...
Před čím se mít na pozoru: Znáte nejjedovatější zvířata planety?

Před čím se mít na pozoru: Znáte...

Příroda nadělila živočichům různé nástroje, jak zabít nebo se bránit. A jed patří mezi...
Nepravdivý mýtus: Pomáhali Irové Hitlerovu Německu?

Nepravdivý mýtus: Pomáhali Irové...

V roce 1932 se po parlamentních volbách mění v Irsku vláda. Koalici, která...
Unikátní žebříček: 15 nejinteligentnějších celebrit!

Unikátní žebříček: 15...

Některé hollywoodské hvězdy plní titulky novin svými skandály, jiné...
Může Česko zasáhnout ničivé zemětřesení?

Může Česko zasáhnout ničivé...

Na přelomu let 1985 a 1986 zasáhl zemětřesný roj Chebsko. Nejsilnější otřes dosáhl...
Vrah Anders Breivik: Jak se mu žije v luxusním vězení?

Vrah Anders Breivik: Jak se mu žije...

Ulicí Grubbegata ve čtvrti Regjeringskvartalet v Oslu otřese exploze. Je 15.25...
Měl být prezident Edvard Beneš unesen?

Měl být prezident Edvard Beneš...

Komunistický převrat v roce 1948 znamenal pro Československo 40 let politického,...
Podzimní a zimní „epidemie“ nemocí je tu! Jak se s ní vypořádat?

Podzimní a zimní „epidemie“ nemocí...

Sychravé podzimní počasí je v plném proudu a nese s sebou nejen stesk po...
Poznejte své IQ

Poznejte své IQ

V našem profesionálně sestaveném testu ihned zjistíte přesné výsledky a obdržíte certifikát.