Jak porozumět signálům a zprávám?

Hlavní zájem teorie informace jako jednoho z pilířů kybernetiky se týká přenosnosti zpráv sdělovacím prostředím (říká se mu »kanál«), kde jsou nějak rušeny šumem a jde o to odstranit nebo alespoň minimalizovat jeho následky.

Vědci se však v poslední době dostávají mnohem dál a součástí výzkumných programů zaměřených na analýzy zdrojů jsou dnes i delfíni.Hlavní zájem teorie informace jako jednoho z pilířů kybernetiky se týká přenosnosti zpráv sdělovacím prostředím (říká se mu »kanál«), kde jsou nějak rušeny šumem a jde o to odstranit nebo alespoň minimalizovat jeho následky. Vědci se však v poslední době dostávají mnohem dál a součástí výzkumných programů zaměřených na analýzy zdrojů jsou dnes i delfíni.

Většina z nás už o nějakém měření informace slyšela. Paměť počítače nebo kapacita internetové trasy se měří v bitech a bytech. Tam jde ale o měření záznamu informace – kolik místa spotřebuje. Informační obsah sdělení je něco jiného, co s délkou zprávy jistě přímo souviset nebude; všichni známe dlouhé, nic neříkající texty a na druhé straně krátká sdělení, která dokázala změnit svět.

Na druhé straně nám nevadí mluvit o tom, že se informace (třeba rušením rádiového provozu) ztrácí, a tím připouštíme, že se o jejím množství uvažovat dá. Jak ale poznat, je-li více informace ve větě »Hrdliččin zval ku lásce hlas« nebo »Večeři máš v lednici«? Důvtipný nápad přinesl Claude Elwood Shannon, americký matematik a elektrotechnik, který se přenosem zpráv teoreticky zabýval. Došel k závěra, že zpráva nám přinese tím víc informace, čím víc nás »překvapí«. Poněkud přesněji: informace obsažená ve zprávě bude nepřímo úměrná její pravděpodobnosti. Protože v šifrovaných vojenských zprávách, o které hlavně šlo, se nevyskytuje hrdliččin hlas, ale spíše nesrozumitelné posloupnosti znaků nebo jejich skupin, bylo praktické vztáhnout pravděpodobnostní definici informace na jednotlivé znaky.

Šifry a morseovkaPro zdroj zpráv jako celek je pak důležitá průměrná informace připadající na každý jím produkovaný znak. Nazývá se entropie a shoda s odpovídajícím fyzikálním termínem není náhodná – také informační entropie charakterizuje neuspořádanost.

Čím je zdroj zpráv chaotičtější (všechny znaky jsou zhruba stejně pravděpodobné), tím je jeho entropie větší. Naopak entropie klesá, rostou-li rozdíly mezi pravděpodobnostmi znaků. Mimochodem – toho, že písmena mají různou pravděpodobnost výskytu, si všimli už někdy v 10.

století arabští učenci při studiu koránu a využili toho při luštění šifrovaných textů: nejčastějšímu znaku v šifře přiřadili nejčastější písmeno, druhému druhé nejčastější, atd., a když byl šifrovaný text dost dlouhý, aby se pravděpodobnosti písmen mohly projevit v jejich četnosti, zpravidla se povedlo šifru rozlousknout.

Četností písmen v angličtině si zase všiml pan Morse, když sestavoval svoji abecedu z teček a čárek, a zdá se, zeji dost respektoval. Na druhé straně se traduje, že podmíněných pravděpodobností písmen (zase v angličtině) si byli vědomi i konstruktéři prvních psacích strojů.

Jejich mechanika byla pomalá a při rychlém sledu úhozů by si klapky překážely. Proto prý na klávesnici dali písmena, která po sobě často následují, daleko od sebe.

V luštění pomáhá podmíněná pravděpodobnostPro zkoumání zdrojů zpráv jsou důležité i takzvané podmíněné pravděpodobnosti a z nich odvozené informace. Jde v nich o to, že pravděpodobnost znaku může hodně záviset (a také často závisí) na tom, po kterém znaku, či kterých znacích, následuje.

Po skupině písmen »stů« v češtině může následovat jen l, neboj, nebo ještě n (stůně). Také podmíněné pravděpodobnosti byly při luštění šifer a starých písem využity. Teorie informace si, byť okrajově a trochu mimo hlavní proud zájmu (hlavně ve svých počátcích trochu fascinovaných obzory, které nový vědní obor otevřel), všímala i některých dalších jevů spojených s produkováním a přenosem zpráv.

Například odlišnostmi informačních charakteristik mezi různými jazyky a výskytem některých dalších jazykových jevů, jako jsou koncovky slov či slabičnost písma, které se hodí při studiu starých jazyků a písem.

Nebo i pravidelnostmi v posílání zpráv. Ke zdolání německého šifrovacího stroje Enigma (ještě před vznikem teorie informace), například, přispěla vojenská záliba v ustálených formulacích, vysílání zpráv jistého typu (počasí, kde se dala jistě očekávat jistá slova) vždy ve stejnou denní dobu a některé další pravidelnosti.

Těmto otázkám není věnována speciální část teorie informace, mohou se ale projevit v pravděpodobnostech znaků a skupin znaků, o kterých tady už byla řeč.

Jakou hodnotu má entropie?K zajímavým poznatkům vedly vědce vlastnosti entropie. Už jsme si řekli, že největší entropii (tedy jakousi míru nepořádnosti) vykazují zdroje, ve kterých jsou všechny znaky stejně pravděpodobné.

U angličtiny s jejími 27 znaky má taková entropie hodnotu 4,75. Víme ale, že v ní nejsou všechna písmena stejně pravděpodobná, což poněkud snižuje její »nepořádnost« a vnáší do jazyka náznak řádu, takže »nepodmíněná« entropie angličtiny je ve skutečnosti jen 4,03.

Ohled na to, po kterém znaku písmeno následuje, zase trochu diferencuje mezi (podmíněnými) pravděpodobnostmi znaků a tím dále snižuje entropii na hodnotu 3,32. Když nás v podmíněné pravděpodobnosti zajímají ne jen jedno, ale dvě poslední písmena, sníží se entropie na hodnotu 3,1.

Budiž poznamenáno, že hledání podmíněných pravděpodobností je pro delší »minulost« hodně pracné. Nicméně se pro angličtinu podařilo ověřit, že příslušné entropie klesají (čím dál pomaleji) a že se pro hodně dlouhé předchozí úseky zpráv ustalují někde blízko hodnoty 1.

Pro češtinu se autorovi nepodařilo tak propracovaná data najít, budou ale v zásadě vykazovat podobné vlastnosti (jen pro začátek: pro stejně pravděpodobná písma – je jich 42 – má čeština entropii 5,39, při respektování jejich skutečných pravděpodobností už klesá na 4,67).

Dorozumíme se s mimozemšťany?To, co bylo řečeno o postupném poklesu podmíněných entropií, platí pro komunikaci v něčem, co bychom nazvali lidské jazyky. Neplatí to o signálech. Vřískání opiček nebo štěkání našeho pejska, případně posloupnost dopravních značek na silnici, má poměrně stálou entropii bez ohledu na to, jak dlouhou minulost bereme v úvahu, když to zkusíme s podmíněnými pravděpodobnostmi.

Vědci ale našli jednu výjimku – entropie delfíních signálů s délkou podmíněnosti klesá podobně jako u lidských jazyků. To si zaslouží pozornost a obdivovatelé delfínů to ji stě ocení. Z trochu jiného pohledu, jestli se jednou nakrásně povede zachytit signály z vesmíru, může být chování podmíněných entropií zachyceného zdroje docela dobrým indikátorem, že je to opravdu pokus o komunikaci a ne další typ pulsaru (rychle rotující hvězdy vysílající pravidelné elektromagnetické záblesky – pulsy) nebo jiný přirozený jev.

Vtipné by bylo, kdyby nám ufoni jaksi »na rozehřátí« vysílali nějaké signály, něco jako dopravní značky. Teorie informace řeší hlavně problémy spojené s přenosem zpráv, jejich kódováním a ochranou před šumem.

Vyznat se v jejich zdrojích, to je pro celou teorii vlastně jen první krok, na který všechno to další navazuje. Nicméně i to nakonec nabízí překvapivě silné nástroje pro zacházení s informacemi.

ZVÍŘATA NEMLUVÍ, JEN SIGNALIZUJÍČasto se v životě setkáváme s »abecedami« trochu jiného typu. Každý znak v nich, říká se jim signály, je zprávou sám o sobě – představme si třeba dopravní značky. Jejich seřazení pak už žádnou další informaci v podstatě nenese.

Celá alej dopravních značek neříká nic víc než souhrn »zpráv« nesených každou z nich izolovaně. Tím se liší od obvyklých lidských jazyků, kde uspořádání znaků (písmen, hlásek) hraje podstatnou roli. Přirozeně – » děmm rt« je něco jiného než »mám tě rád« a také reakce na ně se může dramaticky lišit.

Je známo, že komunikace zvířat je výměna signálů, nikoli »řeč« v lidském slova smyslu (snad až na komunikaci delfínů). Váš pejsek, i když při tom vypadá sebechytřeji, si s vámi nepovídá – jen signalizuje.

V podmíněných pravděpodobnostech a v poklesu z nich vypočítaných entropií se projevuje právě vliv pořadí znaků jako nositele informace.

PRO TY, KDO SNÁŠEJÍ SLOVO LOGARITMUSJe-li z znak z nějaké abecedy Z a p(z) pravděpodobnost jeho výskytu ve zprávách ze sledovaného zdroje, pak bude informace, kterou nese, úměrná převrácené hodnotě 1/p(z).

Je přirozené chtít, aby se informace, nesená dvěma nezávislými znaky, sčítaly, a přitom z teorie pravděpodobnosti víme, že pravděpodobnosti nezávislých jevů se násobí. Matematik, který se potřebuje dostat od součinů k součtům, obvykle sáhne po logaritmech.

Udělal to i Claude Shannon, takže informace nesená znakem z je definována jako log2(1/p(z)), což je -log2(p(z)). Za základ logaritmů bylo zvoleno číslo 2 částečně s ohledem na dvojkovou abecedu, při přenosu zpráv hojně používanou.

Termínem entropie zdroje je pak označován průměr z informací znaků abecedy Z, kterou používá. Počítá se tedy podle vzorce l-p(z). log2(p(z)). Pravděpodobnost každého znaku obvykle záleží na tom, který znak (nebo které znaky) se vyskytly před ním.

Podmíněnou pravděpodobnost znaku z za podmínky, že před ním byl vyslán znaky, označujeme obvykle p(zy) a je přirozené definovat podmíněnou informaci znaku z, jestliže před ním bylo vysláno y, jako -log2(p(zy)).

Z podmíněné informace se dá spočítat i podmíněná entropie zdroje. Každého jistě napadne, že stejně se dá postupovat pro delší skupiny předcházejících znaků. MORSEOVA ABECEDANemá, na rozdíl od toho, co se učí skauti, dvě písmena, ale tři: tečku, čárku a mezeru.

Samuel Finlay Breese Morse (1791-1872) byl povoláním malíř (nikoli pokojů, ale obrazů), byl ale zřejmě duše hloubavá a přemýšlel, jak usnadnit telegrafii, která tehdy byla čerstvým vynálezem. Skupiny teček a čárek nepřidělil písmenům jen tak libovolně.

Jeden z jeho příbuzných (snad švagr) prý byl tiskař. Ti tehdy sázeli hotová písmena ze zásobníků (kas), kde je měli rozděleny do přihrádek. Pan Morse si všiml, že švagr nemá všechny přihrádky stejně velké -některých písmen potřeboval víc – a podle velikosti oněch přihrádek přidělil písmenům tečky a čárky.

Vypadá to pravděpodobně – nejčastější písmeno angličtiny e má jednu tečku, druhé t má jednu čárku, a tak to jde dál. Více méně – další v pořadí je o a to se třemi čárkami moc dohromady nejde. Následují a, n a i a jejich morseovkové protějšky jsou už zase krátké.

Asi měl švagr v kase trochu nepořádek.

CO JE TO LGM?Jde o v astronomii užívanou zkratku pro velmi rychlé pulsary. Znamená vlastně Little Green Men (Malí Zelení Mužíčci) a žertovně připomíná první dojem objevitelů rychlých pulsarů, že tak vysoká frekvence impulsů snad musí mít umělý původ.

Právě informačně teoretická analýza (přílišná pravidelnost a tím »neinformačně« nízká entropie) potvrdily skeptické pochybnosti.

PRAVDĚPODOBNOSTI ZNAKŮ V RŮZNÝCH JAZYCÍCHPravděpodobnosti znaků – písmen – se v různých jazycích liší. Pro češtinu a angličtinu, které obě užívají podobnou abecedu (angličtina má 27 písmen, čeština 42, přičemž ú a ů se považují za jeden znak a v obou jazycích je za samostatný znak považována mezera mezi slovy), je nejpravděpodobnější znak právě mezera (v češtině má ale pravděpodobnost 0,163 a v angličtině 0,182) a na druhém místě je e (v češtině 0,073, v angličtině 0,107).

Na třetím místě už ale má čeština o (0,068) a angličtina t (0,086). Přitom v angličtině je o na 4. místě (0,067) a naopak v češtině je t až sedmé (0,039). Na druhém konci četnostních tabulek je v češtině x (0,001) aó,w,q (pod 0,001), zatímco v angličtině jsou na konci x, j, q, z (všechny 0,001).

Ohled na předchozí znak může pravděpodobnostmi hodně zamíchat. Zůstaňme u češtiny. Tak například je v ní vyloučeno, aby po ň následovalo y, ý, i, í, e, ě, é, jejich podmíněná pravděpodobnost za podmínky, že jim předcházelo ň, je tedy nulová (pan Jeňýk Pacák promine – potvrzuje pravidlo), ačkoliv ta nepodmíněná je dohromady 0,173.

Naopak, p je samo o sobě dost nenápadné (má pravděpodobnost 0,027 a je v pořadí až patnácté). Na začátku slova (po prázdném znaku) je ale ze všech nejpravděpodobnější, s pravděpodobností 0,147.

Autor: Milan Mareš
Publikováno:
Další články autora
Právě v prodeji
Tip redakce

Související články

Potvrzeno: Luňák červený byl otráven zakázaným karbofuranem

Potvrzeno: Luňák červený byl...

Na začátku března našli pracovníci správy Chráněné krajinné oblasti Pálava...
S likvidací plastového odpadu nám pomůže hmyz

S likvidací plastového odpadu nám...

Lidstvo se dlouhodobě zabývá otázkou, jak vyřešit problematiku...
Velký bariérový útes opět trpí

Velký bariérový útes opět trpí

Poslední letecké snímky jasně naznačily to, čeho se dlouhodobě obávají nejen mořští...
Vědci se vypravili do hlubin

Vědci se vypravili do hlubin

Jeden z nejsilnějších hlubinných predátorů je bezesporu kalmar peruánský...
Nově narozené jehně „bretaňského skřítka“

Nově narozené jehně...

Z radostné události se v současné době těší ošetřovatelé i další pracovníci...
Je to holčička

Je to holčička

Dobré zprávy jsou vždy důležité, v poslední době ale více než jindy....
Zbývá již jen jedna

Zbývá již jen jedna

Bílé žirafy jsou ve světě velice vzácné, pytlákům se v nedávné době...
V Liberci se narodilo historicky první mládě mravenečníka velkého

V Liberci se narodilo historicky...

Poslední únorové dny byly v liberecké zoologické zahradě ve znamení...
Ve Francii umírají delfíni, zodpovědnost nesou rybáři

Ve Francii umírají delfíni,...

Zhruba 670 mrtvých delfínů už bylo od začátku ledna do konce února vyplaveno...
Rysí populace v českém pohraničí

Rysí populace v českém pohraničí

Česko-bavorsko-rakouská rysí populace zahrnuje 107 kusů, zhruba třetinu tvoří...

Nenechte si ujít další zajímavé články

Dětská hvězda Jodie Foster: Proslaví se rolí šlapky

Dětská hvězda Jodie Foster:...

Ctižádostivá matka ji i její tři sourozence odmalička tahá po...
Příběhy kontinentů: Po čem byly pojmenovány?

Příběhy kontinentů: Po čem byly...

Asie, Amerika, Afrika, Antarktida, Evropa, Austrálie. Jména...
S kým je králi nevěrná prostopášná Marie Antoinetta?

S kým je králi nevěrná...

Někdo by si mohl myslet, že nevěra je výsadou moderní společnosti, ve které...
Takanakuy aneb Očistné pěsti

Takanakuy aneb Očistné pěsti

Bijí se malí, velcí. Mladí i staří. Ženy i děti. Proti sobě se staví...
Nevšední dětství: Malé krásky vydělávají miliony!

Nevšední dětství: Malé krásky...

Nosí umělé řasy, obratně chodí na podpatcích a v maskérně tráví celé hodiny....
Edgar Allan Poe: Proč nad ním nevlastní otec zlomil hůl?

Edgar Allan Poe: Proč nad ním...

Americký spisovatel a básník Edgar Alan Poe nemá jednoduchý start do života. V necelých třech letech...
Hollywoodské filmy, které se točily v Česku

Hollywoodské filmy, které se...

Jakmile má snímek velký rozpočet, může si vybrat de...
Barevnější, než se zdálo: Jak dinosauři viděli svět?

Barevnější, než se zdálo: Jak...

O tom, jak dinosauři vypadali, máme již na základě četných nálezů docela...
Škola za Marie Terezie: Nejpilnější děti dostávaly za odměnu knihu

Škola za Marie Terezie: Nejpilnější...

Školství v habsburské monarchii je ve 2. polovině 18. století závislé na jezuitech. Ti se...
Poznejte své IQ

Poznejte své IQ

V našem profesionálně sestaveném testu ihned zjistíte přesné výsledky a obdržíte certifikát.