VYSOKÁ ŠKOLA BA - vsb.czhomel.vsb.cz/~tum52/publications/StochasticControlTheory.pdf · 2020. 7....

157

Transcript of VYSOKÁ ŠKOLA BA - vsb.czhomel.vsb.cz/~tum52/publications/StochasticControlTheory.pdf · 2020. 7....

  • VYSOKÁ ŠKOLA BAŇSKÁ - TECHNICKÁ UNIVERZITA OSTRAVA

    Fakulta strojní

    Složité systémy řízení

    I. Díl: Regulace soustav s náhodnými poruchami

    ing. Jiří Tůma, CSc.

    Prosinec 1997

  • Lektoroval: Doc. RNDr. Jaroslav Markl

    © Ing. Jiří Tůma, CSc.

    ISBN 80 – 7078 – 534 - 9

  • i

    Obsah Náhodné procesy a jejich charakteristiky

    1. Úvod...............................................................................................................................1

    2. Základy teorie pravděpodobnosti...................................................................................2 2.1 Operace s jevy...............................................................................................................2 2.2 Pravděpodobnost ...............................................................................................................3 2.2.1 Relativní četnost a pravděpodobnost ........................................................................3 2.2.2 Axiomatická definice pravděpodobnosti ..................................................................3 2.2.3 Podmíněná pravděpodobnost ....................................................................................4 2.3 Náhodné veličiny a jejich základní charakteristiky..........................................................4 2.3.1 Distribuční funkce a hustota pravděpodobnosti........................................................4 2.3.2 Číselné charakteristiky náhodných veličin ...............................................................6 2.4 Příklady typů rozdělení pravděpodobnosti .......................................................................7 2.4.1 Rovnoměrné rozdělení pravděpodobnosti ................................................................7 2.4.2 Normální rozdělení pravděpodobnosti......................................................................8 2.4.3 Odhady parametrů náhodných veličin ......................................................................9 2.5 Transformace náhodných veličin................................................................................... 11 2.5.1 Lineární transformace .............................................................................................11 2.5.2 Nelineární transformace ..........................................................................................12 2.6 Dvojrozměrné a vícerozměrné náhodné veličiny...........................................................12 2.6.1 Distribuční funkce a hustota vícerozměrné náhodné veličiny ................................12 2.6.2 Marginální rozdělení ...............................................................................................13 2.6.3 Číselné charakteristiky vícerozměrných náhodných veličin...................................14 2.6.4 Charakteristiky součtu náhodných veličin ..............................................................16 2.6.5 Centrální limitní věta ..............................................................................................18

    3. Charakteristiky náhodných procesů ............................................................................ 19 3.1 Typy náhodných procesů ................................................................................................19 3.2 Střední hodnota a rozptyl stacionárních a ergodických procesů....................................21 3.2.1 Centrované náhodné procesy ..................................................................................21 3.3 Autokorelační funkce......................................................................................................21 3.4 Vzájemná korelační funkce.............................................................................................24 3.4.1 Vzájemná korelační funkce nezávislých náhodných procesů.................................25 3.4.2 Autokorelační funkce součtu dvou nezávislých náhodných procesů......................25 3.5 Autokorelační funkce speciálních náhodných procesů ................................................. 26 3.5.1 Bílý šum ..................................................................................................................26 3.5.2 Obecný telegrafní signál .........................................................................................27 3.5.3 Harmonická funkce .................................................................................................28 3.6 Použití Markovových řetězců k popisu náhodných procesů......................................... 30 3.6.1 Nástroje popisu náhodných procesů Markovovými řetězci ....................................30 3.6.2 Autokorelační funkce Markovova řetězce ..............................................................32 3.7 Charakteristiky náhodných procesů ve frekvenční oblasti............................................ 36 3.7.1 Fourierova transformace .........................................................................................36 3.7.2 Výkonová spektrální hustota ..................................................................................37 3.7.3 Rozptyl náhodného procesu ....................................................................................38 3.7.4 Výkonová spektrální hustota bílého šumu ..............................................................38 3.7.5 Křížové spektrum ...................................................................................................40 3.8 Nepřímý výpočet korelačních funkcí ............................................................................ 42 3.8.1 Výpočet spekter ......................................................................................................42

  • ii

    3.8.2 Výpočet korelačních funkcí ....................................................................................43 3.8.3 Příklad hodnocení časového průběhu náhodné veličiny .........................................45 3.9 Průchod náhodného procesu lineární dynamickou soustavou ...................................... 48 3.9.1 Základní vlastnosti lineárního dynamické soustavy ...............................................48 3.9.2 Autokorelační funkce výstupu a vzájemná korelační funkce vstupu a výstupu

    soustavy .................................................................................................................48 3.9.3 Výkonová spektrální hustota výstupu soustavy a křížové spektrum vstupu a výstupu soustavy .....................................................................................49 3.9.4 Rozptyl náhodného procesu na výstupu lineární dynamické soustavy ..................50

    Identifikace 4. Parametrické modely náhodných procesů a regulovaných soustav ............................ 52 4.1 Modely stacionárních náhodných procesů .....................................................................52 4.1.1 Model typu AR (autoregresní model) .....................................................................52 4.1.2 Model typu MA (model s klouzavým průměrem) ..................................................55 4.1.3 Model typu ARMA ................................................................................................56 4.1.4 Spektrum náhodného procesu typu ARMA ...........................................................57 4.2 Modely nestacionárních náhodných procesů .................................................................57 4.3 Parametrické modely regulovaných soustav ................................................................. 60 4.3.1 Model typu ARX (autoregresní model s dalším vstupem)......................................60 4.3.2 Model typu ARMAX (autoregresní model s klouzavým průměrem model a s dalším

    vstupem)...................................................................................................................60 4.3.3 Ostatní modely .......................................................................................................61 4.3.4 Přehled modelů náhodných procesů a regulovaných soustav.................................61

    5. Identifikace modelů náhodných procesů a soustav..................................................... 63 5.1 Jednorázová identifikace parametrů modelu ..................................................................63 5.1.1 Metody odhadu parametrů ......................................................................................64 5.1.2 Simulace a základní charakteristiky pro neparametrickou identifikaci ..................66 5.1.3 Parametrické metody identifikace...........................................................................68 5.1.4 Výběr struktury modelu a hodnocení výsledku identifikace ..................................69 5.2 Průběžná identifikace parametrů modelu ...................................................................... 71 5.2.1 Průběžné odhadování parametrů regresního modelu ..............................................72 5.2.2 Rekurzivní výpočet parametrů regulované soustavy metodou nejmenších čtverců73 5.2.3 Rekurzivní výpočet rozptylu chyby modelu regulované soustavy .........................75 5.2.4 Směrové zapomínání ...............................................................................................76 5.2.5 Odmocninový filtr a U-D filtr .................................................................................77 5.2.6 Vlastnosti algoritmů průběžné identifikace v prostředí MATLABu ......................78 5.2.7 Popis algoritmů průběžné identifikace v MATLABu.............................................79

    Optimální řízení

    6. Kvadratické kriterium řízení ....................................................................................... 82 6.1 Jednokrokové a vícekrokové kvadratické kriterium ..................................................... 85 6.2 Účinnost řízení ............................................................................................................... 86

    7. Optimální predikce diskrétních stacionárních náhodných procesů............................. 87 7.1 Jednokroková predikce, model ARMA prvého řádu .....................................................87 7.2 Dvoukroková predikce, model ARMA prvého řádu......................................................89 7.3 Predikce na obecný počet kroků, model ARMA obecného řádu...................................89

    8. Strukturálně optimální řízení ...................................................................................... 94 8.1 Řízení soustavy s modelem typu ARMAX prvního řádu .............................................96

  • iii

    8.2 Řízení soustavy s modelem typu ARX prvního řádu ....................................................99 8.3 Řízení soustavy s modelem typu ARMAX obecného řádu ..........................................99 8.4 Řízení soustavy s modelem typu ARX a jedním krokem dopravního zpoždění.........102 8.5 Řízení integrační soustavy s poruchou působící na vstupu..........................................103 8.6 Příklad návrhu statisticky optimální regulace ..............................................................105 8.7 Citlivost statisticky optimálního řízení na změnu parametrů soustavy .......................111 8.8 Suboptimální řízení fázově neminimálních regulovaných soustav .............................112

    9. Parametricky optimální řízení ................................................................................... 118 9.1 Diskrétní regulační obvody...........................................................................................119 9.1.1 Analytický výpočet integrálu ...............................................................................120 9.1.2 Numerický výpočet integrálu................................................................................128 9.1.3 Výpočetní aspekty.................................................................................................133 9.1.4 Porovnání statisticky optimální a suboptimální regulace .....................................135 9.2 Spojité regulační obvody ..............................................................................................137 9.2.1 Analytický výpočet integrálu ...............................................................................137 9.2.2 Numerický výpočet integrálu................................................................................142 9.2.3 Výpočtové aspekty ................................................................................................143

    Přílohy: A: Výpočet integrálů komplexních funkcí 145 B: Matice, vektory a řešení soustavy přeurčených a nedourčených rovnic 146 C: Metoda maximální věrohodnosti pro odhad parametrů 149

  • 1

    Předmluva

    Tato skripta se systematicky zabývají regulačními obvody, na které působí náhodné poruchy. Matematický aparát je možné označit za klasický. Východiskem analýzy jsou poznatky teorie pravděpodobnosti a zvláště pak teorie náhodných procesů. Nástrojem k popisu vlastností regulovaných soustav jsou matematické modely ve formě diferenciální nebo diferenční rovnice. Kritériem pro návrh regulátoru a jeho seřízení je kvadratické kriterium řízení. Výsledkem analýzy a syntézy je výpočet účinku regulace s přímými ekonomickými efekty.

    Teorie se omezuje jen na lineární regulační obvody. Její předností je to, že uvažuje přítomnost náhodných poruch a dokáže predikovat statistické charakteristiky účinku regulace ve vztahu ke struktuře a parametrům regulátoru. Takovými výsostně praktickými výsledky se zatím jiné přístupy k analýze a syntéze, založené například na fuzzy množinách, vykázat nemohou.

    Přes snahu rozvíjet další přístupy k analýze a syntéze regulačních obvodů, prezentované módně jako moderní, lze tvrdit, že klasická teorie regulace, která je založena na lineárních modelech a kvadratickém kriteriu řízení, se dosud nevyčerpala. Ostatně skripta FE ČVUT tuto oblast nazývají Moderní teorie řízení [20]. Její další rozvoj je podmíněn teoretickou přípravou uživatelů a jejich ochotou seznámit se důkladně s regulovanou soustavou a všemi faktory, které její stav a chování ovlivňují. Pokud to není předem racionálně vyloučeno, je vhodnější spoléhat se na významný informační obsah měřených veličin oproti umělé kalkulaci s jejich fuzzy významem a degradaci aproximativního dynamického modelu regulované soustavy na soubor několika pravidel sestavených na základě kusých informací od provozních expertů. Je rovněž krátkozraké zakládat regulaci pouze na výpočetní mohutnosti a kapacitě paměti počítačů.

    Čtení odborných článků z oblasti klasické teorie řízení je velmi obtížné, protože matematický aparát je přehledný často jen specialistům matematikům. Učební text obsahuje poznatky, které nelze vtěsnat do výuky jednoho semestru. Je však koncipován tak, aby představoval příručku pro zájemce v situacích, kdy se setkají s prostředím, ve kterém budou všechny dále popsané předpoklady o regulované soustavě a cílech řízení aktuální.

    Kniha předpokládá znalosti základů teorie řízení a identifikace, které se přednášejí na strojní fakultě, [5,15,26,33,40-43,46]. Kapitoly o teorii pravděpodobnosti a náhodných procesech se opírají především o dříve vydané vysokoškolské učebnice [1,2,16,17,19,23,30,31]. Hlavním zdrojem pro tento učební text v kapitolách, které se zabývají parametrickou a strukturální optimalizací regulačních obvodů s náhodnými poruchami podle kvadratického kriteria je Aströmova kniha [4]. Množství poznatků lze čerpat z prací pracovníků ÚTIA Akademie věd České republiky, např. J. Kárný, J. Böhm a jiní, vedených dříve V. Peterkou [11,13,14,27-29] nebo z dalších prací, které jsou uvedeny v literatuře. Vlastní publikace autora se zabývají řešením praktických úloh regulace [36-39], z nichž některé jsou použity jako příklady. K řešení příkladů jsou používány toolboxy SIMULINK a System Identification programového systému MATLAB.

    Tento dotisk skript obsahuje řadu oprav vzorců, které byly bohužel v prvním vydání uvedeny chybně. Většina chyb v prvním vydání skript vznikla z mylného úsporného zápisu sloupcových vektorů ve tvaru transponovaného řádkového vektoru, ve kterém byla navíc vyznačena transpozice také na levé straně vzorce. V tomto vydání jsou tyto chyby odstraněny.

  • 2

    Náhodné procesy a jejich charakteristiky

    1. Úvod Při vysvětlení pojmu náhodné (cizím slovem stochastické) procesy lze vycházet

    z poznatelnosti jejich budoucího vývoje v daném časovém okamžiku, tj. obvykle v přítomnosti. Protikladem k náhodným procesům jsou procesy deterministické (česky předurčené), které probíhají v analyzovaných dynamických systémech. Společnou vlastností deterministických procesů je to, že jejich časový průběh je dán matematickými funkcemi, které jsou řešením soustavy diferenciálních nebo diferenčních rovnic popisujících analyzovaný dynamický systém a vycházejících z daných počátečních podmínek, což je velmi dobře známo z předmětu matematické analýzy. Jen naivní pozorovatel může tvrdit, že za všech okolností lze vždy výchozí údaje, tj. počáteční podmínky, podrobně určit a všechny vztahy popsat ve formě diferenciálních rovnic se známými parametry. Často z důvodů technických omezení nelze zmíněné počáteční podmínky přesně a vyčerpávajícím způsobem určit nebo přes stále rostoucí výkon počítačů nelze numericky řešit rozsáhlý soubor diferenciálních rovnic. Výsledný časový průběh sledovaného procesu je proto tak složitou matematickou funkcí, že se jeví vnějšímu pozorovateli jako náhodný. Jeho konkrétní vývoj nelze přesně, tj. bez chyb, předvídat. Tyto úvahy lze dokumentovat nejen na hrací kostce, ale také na vývoji mnoha poruchových veličin, které vstupují do regulačních obvodů.

    Rozumný pozorovatel nemusí trvat na absolutní přesnosti (tj. nulové chybě) předpovědi vývoje sledovaného procesu, ale spokojí se s jeho extrapolací do budoucnosti s přípustnou přesností, která plyne z praktických potřeb nebo jen málo převyšuje chybu měření. K této extrapolaci je zapotřebí znalosti některých základních charakteristik náhodných procesů. V této kapitole budou některé z těchto charakteristik blíže popsány. Nejprve budou zopakovány základy teorie pravděpodobnosti.

    2. Základy teorie pravděpodobnosti V této kapitole jsou stručně zopakovány podle [17] základy teorie pravděpodobnosti. Pro

    podrobnější seznámení lze doporučit některou příručku, např. [1,2,16,19,30,31].

    2.1 Operace s jevy

    Teorie pravděpodobnosti se zabývá náhodnými jevy. Jevy se označují velkými písmeny latinské abecedy, např. A, B, ... Jev A implikuje jev B (nebo A má za následek jev B), jestliže jev B nastane vždy, když nastane jev A. Zápis tohoto vztahu je A B⊂ . Dva jevy jsou si rovny, jestliže A B⊂ a současně B A⊂ . Jev, který nastane po každé realizaci náhodného pokusu se nazývá jistým jevem a značí se Ω . Jev, který nenastane nikdy, je nemožný jev. Tento jev se označuje ∅ .

    Sjednocení jevů. Sjednocení (nebo součet) jevů A i i, , ...= 1 je jev, který nastane právě tehdy, když nastane aspoň jede z jevů A i i, , ...= 1 Tento jev se označuje A A= ∪i i .

    Průnik jevů. Průnik jevů A i i, , ...= 1 je jev, který nastane, právě tehdy, když nastanou současně všechny jevy A i i, , ...= 1 Tento jev se označuje A A= ∩i i .

    Disjunktní jevy. Jestliže průnik jevů A a B, tj. A B∩ , je nemožný jev, pak tyto jevy se označují za disjunktní. Pro disjunktní jevy platí A B∩ = ∅ .

  • 3

    Komplementární (doplňkový nebo opačný) jev. Komplementárním jevem k jevu A je jev, který nastane jen když nenastane jev A. Tento jev se označuje A .

    Elementární jev. Jev A je elementární, jestliže neexistují jevy různé od tohoto jevu takové, že jejich sjednocení je jev A. Elementární jev je nejjednodušší výsledek náhodného pokusu.

    Prostor elementárních jevů. Tímto prostorem se rozumí množina všech elementárních jevů, které mohou nastat jako výsledek náhodného pokusu. Prostorem elementárních jevů může být:

    • množina reálných čísel nebo některá jejich část, výsledkem pokusu je jedno (reálné) číslo; v tomto případě je pozorována (reálná) náhodná veličina

    • množina k-tic reálných čísel (množina k-složkových reálných vektorů nebo euklidovský prostor a nebo některá jeho část); v tomto případě je pozorován náhodný vektor nebo k-rozměrná náhodná veličina

    • množina všech posloupností { }Xi i=∞

    1; pak jde o pozorování náhodné nebo stochastické

    posloupnosti nebo také stochastického procesu s diskrétním časem • prostor funkcí ( )X t na intervalu 0 <

  • 4

    6. Pravděpodobnost nemožného jevu je rovna nule, { }P ∅ = 0 . 7. Pravděpodobností sjednocení jevů A B∪ je dána { } { } { } { }P P P PA B A B A B∪ = + − ∩ .

    2.2.3 Podmíněná pravděpodobnost

    Podmíněná pravděpodobnost jevu A podmíněná jevem B (tj. skutečností, že jev B nastal) je definována jako podíl

    { } { }{ }PP

    PA B

    A BB

    =∩

    . (2-2)

    Pro pravděpodobnost průniku dvou jevů proto platí

    { } { } { } { } { }P P P P PA B A B A B A B∩ = = , (2-3) kde { }P A B je podmíněna pravděpodobnost jevu A za předpokladu, že nastal jev B a { }P B A je podmíněna pravděpodobnost jevu B za předpokladu, že nastal jev A.

    Nezávislost jevů. Jevy A a B jsou nezávislé, jestliže platí { } { } { }P P PA B A B∩ = . Je-li { }P B > 0, pak { } { }P PA B A= a podobně pro { }P A > 0 platí { } { }P PB A B= . Jinak

    řečeno, pravděpodobnost jednoho jevu nezávisí na tom, zda druhý jev nastal.

    Věta o úplné pravděpodobnosti. Nechť Bi i n, , ...,= 1 jsou navzájem disjunktní jevy, přičemž

    { }P i niB > =0 1, ,..., a { }P i n i∪ ==1 1B . Dále nechť A je libovolný jev, jehož pravděpodobnost { }P iA B podmíněná jevem Bi je pro každé i známa. Pravděpodobnost jevu A je pak rovna

    { } { } { }P P Pi ii

    n

    A A B B==∑

    1. (2-4)

    2.3 Náhodné veličiny a jejich základní charakteristiky

    Některé náhodné pokusy mají za výsledek jev, který přísluší prostoru elementárních jevů ve tvaru množiny reálných čísel nebo některá její podmnožiny. Výsledek náhodného pokusu, daný reálným číslem, je hodnotou veličiny ξ , která se nazývá náhodnou veličinou. Náhodné veličiny jsou pojmenovávány nejčastěji malými řeckými písmeny. Konkrétní hodnota, tzv. realizace náhodné proměnné, se označuje latinkou.

    2.3.1 Distribuční funkce a hustota pravděpodobnosti

    Distribuční funkce. Distribuční funkci náhodné veličiny ξ nazveme reálnou funkcí ( )F x definovanou pro každé reálné x vztahem

    ( ) { }F x P x= ≤ξ . (2-5) Pro zdůraznění příslušnosti k náhodné veličině se jménem ξ lze použít indexu ( )F xξ . Distribuční funkce libovolné náhodné veličiny má tyto vlastnosti:

    1. Pro každé reálné x platí ( )0 1≤ ≤F x . 2. Pro každé reálné x x1 2< je ( ) ( )F x F x1 2≤ , tj. je neklesající.

  • 5

    3. Platí že, ( ) ( )limx

    F x F→−∞

    = −∞ = 0 a ( ) ( )limx

    F x F→+∞

    = +∞ = 1 .

    4. Distribuční funkce je zprava spojitá a má nejvýše spočetně mnoho bodů nespojitosti. 5. Platí ( ) ( ) ( )P x x F x F x1 2 2 1< ≤ = −ξ . Rozdělení diskrétního a spojitého typu. V aplikacích se lze setkat s náhodnými veličinami dvojího typu, a to se spojitými a diskrétními náhodnými veličinami. Diskrétní náhodná veličina může nabývat jen hodnot z nějaké konečné nebo spočetné (jednotlivé hodnoty lze opatřit celočíselným indexem) množiny { }x x1 2, ,... . Spojitá náhodná veličina může nabývat všech hodnot z určitého intervalu.

    Rozdělení diskrétního typu. Distribuční funkce náhodné veličiny diskrétní je dáno

    ( ) { }F x P x jx xj

    = =≤∑ ξ . (2-6)

    Rozdělení spojitého typu. Náhodná veličina má rozdělení spojitého typu existuje-li nezáporná reálná funkce ( )f x taková, že pro všechna reálná x se dá distribuční funkce ( )F x vyjádřit ve tvaru

    ( ) ( )F x f t dt xx

    = −∞ < < +∞−∞∫ , . (2-7)

    Funkce ( )f x se nazývá hustota pravděpodobnosti (nebo stručněji hustota) náhodné veličiny. Ve všech bodech, kde existuje derivace distribuční funkce, je

    ( )( )

    f xd f x

    dx= . (2-8)

    Ve vztahu k pravděpodobnosti příslušnosti náhodné veličiny k určitému intervalu hodnot lze význam hustoty pravděpodobnosti demonstrovat přibližným vztahem, který označuje element pravděpodobnosti

    { } ( ) ( )P x x x f x x O x< ≤ + = +ξ ∆ ∆ ∆ , (2-9) kde funkce ( )O x∆ je řádově menší než ∆ x , tj. taková funkce, že ( )lim

    ∆∆ ∆

    xO x x

    →=

    00 .

    Hustota rozdělení pravděpodobnosti má následující základní vlastnosti

    1. ( )limx

    f x→−∞

    = 0 , ( )limx

    f x→+∞

    = 0 (2-10)

    2. ( )f x dx−∞

    +∞

    ∫ = 1. (2-11)

    Pro diskrétní náhodnou veličinu lze definovat hustotu pravděpodobnosti s pomocí Diracovy funkce ( )δ x , tj.

    ( ) ( )f x p x xi ii

    = −∑ δ , (2-12)

    kde { }P x pi iξ = = . Jestliže diskrétní náhodná proměnná nabývá jen jediné hodnoty ξ = a , tj. ve skutečnosti je to konstanta, pak její hustota rozdělení je přímo Diracova funkce

    ( ) ( )f x x a= −δ . (2-13)

  • 6

    Na závěr této kapitoly je uveden na obr. 1 příklad hustoty pravděpodobnosti pro spojitou a diskrétní náhodnou veličinu. Distribuční funkce se získá integrací hustoty pravděpodobnosti. Pro spojitou náhodnou veličinu je výsledkem spojitý průběh distribuční funkce, zatímco u diskrétní náhodné veličiny se bude jednat o funkci schodovitou.

    Obr. 1. Hustota pravděpodobnosti spojité (vlevo) a diskrétní (vpravo) náhodné veličiny

    2.3.2 Číselné charakteristiky náhodných veličin

    Střední hodnota náhodné veličiny. Nejdůležitější charakteristikou náhodné veličiny je střední hodnota (někdy je nazývána očekávaná hodnota nebo matematická naděje). Definice střední hodnoty spojité náhodné veličiny ξ se opírá o hustotu rozdělení pravděpodobnosti ( )f x a diskrétní náhodné veličiny o pravděpodobnosti p ii , , , ...= 1 2 . Platí

    { } ( )µ ξ= =−∞

    +∞

    ∫E x f x dx , { }µ ξ= = ∑E x pi ii

    . (2-14)

    kde symbol { }E . představuje operátor se jménem veličiny nebo funkce uvnitř složených závorek. V posledních vzorcích je výraz vlevo pro spojitou náhodnou veličinu a výraz vpravo pro diskrétní náhodnou veličinu. U spojité náhodné veličiny má střední hodnota význam statického momentu plochy hustoty pravděpodobnosti a u diskrétní náhodné veličiny je to vážený průměr všech možných hodnot s váhami shodnými s jejich pravděpodobností výskytu.

    Počáteční a centrální moment náhodné veličiny. Pomocí operátoru střední hodnoty lze definovat také další charakteristiky náhodných signálů. Obecný vzorec pro počáteční statistické momenty k -tého řádu spojité a diskrétní náhodné veličiny, kde k je přirozené číslo, je následující

    { } ( )M E x f x dxk k k= =−∞

    +∞

    ∫ξ , { }M E x pk k ik ii

    = = ∑ξ . (2-15)

    Střední hodnota je počáteční statistický moment prvního řádu, µ = M1 . Centrální moment spojité a diskrétní náhodné veličiny k-tého řádu je dán vzorci

    ( ){ } ( ) ( )m E x f x dxk k k= − = −−∞

    +∞

    ∫ξ µ µ , ( ){ } ( )m E x pk k i k ii

    = − = −∑ξ µ µ (2-16)

    Rozptyl (disperze) náhodné veličiny. Centrální moment náhodné veličiny druhého řádu, m2 , se nazývá rozptyl. Jeho definice s použitím operátoru střední hodnoty je následující

  • 7

    { } { }( ){ } ( ) ( )D m E E x f x dxξ σ ξ ξ µ= = = − = −−∞

    +∞

    ∫2 22 2

    , (2-17)

    { } { }( ){ } ( )D m E E x pii

    iξ σ ξ ξ µ= = = − = −∑2 22 2

    . (2-18)

    Mezi rozptylem a počátečními momenty prvního a druhého řádu platí

    { }D m M Mξ σ µ= = − = −2 2 12 2 2 . (2-19)

    2.4 Příklady typů rozdělení pravděpodobnosti

    Distribuční funkce a hustota pravděpodobnosti jsou reálné funkce proměnné x. Tyto funkce jsou dány svým typem a případně také parametry. Typů rozdělení je velmi mnoho. V této příloze jsou pouze dva příklady, a to rovnoměrné a normální rozdělení.

    2.4.1 Rovnoměrné rozdělení pravděpodobnosti

    Rovnoměrné rozdělení pravděpodobnosti má hustotu a distribuční funkci definovanou následujícími vzorci

    ( )f x b ax a b

    x a b= −

    ⎧⎨⎪

    ⎩⎪

    1

    0

    , ,

    , ( )F x

    x ab a

    x aa x bx b

    =−−

    <≤ ≤>

    ⎨⎪

    ⎩⎪

    0

    1

    ,

    ,,

    (2-20)

    kde a b< určují krajní body intervalu možných hodnot náhodné veličiny a představují parametry rozdělení. Na obr. 2 jsou grafy hustoty a distribuční funkce rovnoměrného rozdělení.

    Obr. 2. Hustota a distribuční funkce rovnoměrného rozdělení

    Střední hodnota rovnoměrně rozdělené náhodné veličiny se vypočte prostým dosazením do definičního vzorce

    { } ( )µ ξ= = =−

    =−

    ⎣⎢

    ⎦⎥ =

    +

    −∞

    +∞

    ∫ ∫E x f x dxx

    b adx

    b ax a b

    a

    b

    a

    b1

    2 2

    2

    , (2-21)

    tj. střední hodnota je aritmetickým průměrem krajních hodnot. Rozptyl se vypočte podobným postupem, a to

  • 8

    { } ( ) ( ) ( )D x f x dx x a b b a dx b a xa b b a

    a

    b

    a

    b

    ξ σ µ= = − = −+⎛

    ⎝⎜⎞⎠⎟ −

    =−

    −+⎛

    ⎝⎜⎞⎠⎟

    ⎣⎢

    ⎦⎥ =

    −∞

    +∞

    ∫ ∫22

    2 3 2

    21 1 1

    3 2 12.

    Rovnoměrné rozdělení je modelem pro často se vyskytující náhodné veličiny. Vyšší programovací jazyky obvykle obsahují funkci, která tuto veličinu generuje. Je třeba připomenout, že výsledkem volání této funkce je pseudonáhodné číslo jehož relativní četnosti z dílčích intervalů pouze aproximují teoretické rovnoměrné rozdělení.

    2.4.2 Normální rozdělení pravděpodobnosti

    Jiný název tohoto rozdělení je Gausssovo. Toto rozdělení má dva parametry, a to svou střední hodnotu µ a rozptyl σ2 . Parametry tohoto rozdělení jsou na rozdíl od rovnoměrného rozdělení přímo základní charakteristiky normálního rozdělení. Hustota pravděpodobnosti náhodné veličiny s normálním rozdělením je dána vztahem

    ( )( )

    f xx

    x= −−⎛

    ⎝⎜⎜

    ⎠⎟⎟ − ∞ < < +∞

    12 2

    2

    2σ πµσ

    exp , . (2-22)

    Distribuční funkce je dána integrálem uvedené hustoty. Na rozdíl od rovnoměrného rozdělení nelze nalézt jako výsledek integrace hustoty elementární funkci. V literatuře lze však nalézt distribuční funkce ve tvaru nekonečné řady. Proto jsou hodnoty této funkce s názvem pravděpodobnostní integrál nebo Laplaceův integrál a nebo integrál chyb

    ( )Φ xx

    dxx

    = −⎛⎝⎜

    ⎞⎠⎟

    −∞∫

    12 2

    2

    πexp (2-23)

    jen tabelovány, a to pro normalizovanou náhodnou veličinu, tj. pro µ = 0 a σ2 1= . Pravděpodobnostní integrál lze aproximovat například částí následující řady

    ( )Φ x xx x x

    = + − + − +⎛⎝⎜

    ⎞⎠⎟

    12

    12 6 40 336

    3 5 7

    π... (2-24)

    Tvar funkční závislosti hustoty pravděpodobnosti na veličině x je zvonovitý a představuje známou Gaussovou křivku. Extrém této křivky je pro x = µ a jeho velikost je nepřímo úměrná směrodatné odchylce σ , tj. ( )f µ σ π= 1 2 . Vliv rozptylu na tvar funkční závislosti demonstruje obr. 3.

    Obr. 3. Hustota normálního rozdělení, vliv rozptylu

    Hustota a distribuční funkce normálního rozdělení pro µ = 0 a σ = 1 je v grafech na obr. 4.

  • 9

    Obr. 4. Hustota a distribuční funkce normálního rozdělení

    Střední hodnota normálně rozdělené náhodné veličiny se vypočte prostým dosazením do definičního vzorce. Protože výsledek výpočtu je předem znám, jde jen o jeho verifikaci. Platí

    { } ( )µ ξ

    σ π

    µσ

    µσ π σ

    µσ π σ σ π σ

    µ µ

    = = −−⎛

    ⎝⎜⎜

    ⎠⎟⎟ =

    +−⎛⎝⎜

    ⎞⎠⎟ =

    = −⎛⎝⎜

    ⎞⎠⎟ + −

    ⎛⎝⎜

    ⎞⎠⎟ = + =

    −∞

    +∞

    −∞

    +∞

    −∞

    +∞

    −∞

    +∞

    ∫ ∫

    ∫ ∫

    E xx

    dxy y

    dy

    ydy

    y ydy

    12 2 2 2

    12 2 2 2

    0

    2

    2

    2

    2

    2

    2

    2

    2

    exp exp

    exp exp

    (2-25)

    2.4.3 Odhady parametrů rozdělení náhodných veličin

    Číselné charakteristiky náhodných veličin se vypočítají na základě znalosti typu rozdělení a velikosti jejich parametrů. Problém znalosti parametrů se zatím s mlčením přecházel. Často jediný přístupný způsob jejich určení jsou změřená data, tj. vždy konečný soubor realizací náhodné veličiny, který se nazývá náhodný výběr. Tento náhodný výběr, který má ústřední význam v matematické statistice, představuje posloupnost nezávislých a stejně rozdělených náhodných veličin X X Xn1 2, ,..., , kde N je rozsah výběru.

    Z náhodného výběru se vypočte výběrový průměr

    XN

    Xii

    i N

    ==

    =

    ∑11

    (2-26)

    a výběrový rozptyl

    ( )m N X Xiii N

    22

    1

    1= −

    =

    =

    ∑ , (2-27)

    přičemž m2 se nazývá výběrová směrodatná odchylka. Pro výhodnější limitní vlastnosti se používá také veličina

    ( )S N X Xiii N

    2 2

    1

    11

    =−

    −=

    =

    ∑ . (2-28)

    Výběrový průměr a výběrový rozptyl jsou náhodné veličiny, pro které lze spočítat také jejich číselné charakteristiky, například střední hodnotu nebo rozptyl. Nechť rozdělení veličin z výběru má střední hodnotu µ a rozptyl σ2 . Je žádoucí, aby střední hodnota výběrového průměru byla shodná se střední hodnotou veličin výběru, tj. { }E X = µ . Této vlastnosti výběrové charakteristiky se říká nestranný (nebo nevychýlený nebo anglicky unbiased) odhad příslušného parametru. Jestliže střední hodnota výběrového průměru není rovna střední hodnotě náhodné veličiny, pak se odhad označuje jako vychýlený (anglicky biased) nebo že není

  • 10

    nestranný. Lze dokázat, že právě S 2 je nestranný odhad rozptylu, tj. { }E S 2 2= σ . Další výhodnou vlastností je to, že rozptyl odhadu charakteristik se s rostoucím rozsahem výběru snižuje. Lze dokázat, že například platí { }D X N= σ2 .

    Při označení odhadu jako vychýleného nebo nestranného není podstatný rozsah výběru. Odhad parametrů rozdělení pravděpodobnosti je na rozsahu výběru přirozeně závislý. Jestliže odhad konverguje pro N → +∞ ke skutečné hodnotě parametru, pak se takový odhad nazývá konzistentní. Odhad tedy nemusí být například nestranný, přestože je konzistentní.

    Výběrové charakteristiky X a m2 , související s dříve definovanými momenty, jsou rovny přímo tzv. bodovým odhadům parametrů µ a σ2 normálního rozdělení. Tato metoda výpočtu bodových odhadů parametrů se opírá o výpočet výběrového průměru a rozptylu. Pro odhad parametrů existují také další metody, ze kterých lze zmínit například metodu maximální věrohodnosti.

  • 11

    2.5 Transformace náhodných veličin 2.5.1 Lineární transformace

    Nechť jsou známy střední hodnota a rozptyl náhodné veličiny ξ a nechť je tato náhodná veličina lineárně transformována podle vztahu η ξ= +k q , kde k, q jsou konstanty, na náhodnou veličinu η . Lze dokázat, že střední hodnota a rozptyl náhodné veličiny η jsou následující

    { } { } ( ) ( ) { }E E k q k x q f x dx k E qη ξ ξξ= + = + = +−∞

    +∞

    ∫ , (2-29)

    { } { }( ){ } { }( ){ }

    ( ){ } ( ){ } ( ){ } { }D E E E k q E k q

    E k q k q E k k E k D

    η η η ξ ξ

    ξ µ ξ µ ξ µ ξ

    = − = + − + =

    = + − − = − = − =

    2 2

    2 2 2 2 2 2 . (2-30)

    Lineární transformace podle následujícího vzorce

    { }{ }

    Ξ =−ξ ξ

    ξ

    E

    D, (2-31)

    ve kterém { }k D= 1 ξ a { } { }q E D= − ξ ξ , se nazývá se normalizace. Náhodná veličina s obecnou střední hodnotou a rozptylem se převede na náhodnou veličinu s nulovou střední hodnotou a jednotkovým rozptylem, tj. platí { }E Ξ = 0 a { }D Ξ = 1. Lineární transformace nezmění funkční průběh hustoty pravděpodobnosti.

    2.5.2 Nelineární transformace

    Nelineární transformace na rozdíl od lineární transformace funkční průběh hustoty pravděpodobnosti ovlivní. Nechť například výchozí náhodná veličina ξ je transformována na veličinu Ξ funkcí ( )Ξ = ϕ ξ s inverzním tvarem ( ) ( )ξ ϕ ψ= =−1 Ξ Ξ , pak z rovnosti pravděpodobností elementů ( ) ( )f x dx f y dyξ = Ξ vyplývá

    ( ) ( )( ) ( )f y f y d ydyΞ = ξ ψψ

    . (2-32)

    Transformační vzorec je platný jen pro jednoznačný průběh inverzní funkce ( )ξ ψ= Ξ . Pro mnohoznačnou funkční závislost je třeba definiční obor veličiny rozdělit na několik úseků s jednoznačnými průběhy ( )ξ ψ= Ξ , pro každý úsek transformovat zvlášť a dílčí výsledky sečíst. Nelineární transformace má význam pro generování náhodných veličin se zadanou hustotou pravděpodobnosti z jiné náhodné veličiny s jinou hustotou pravděpodobnosti, kterou je schopen generátor náhodných čísel vytvářet.

  • 12

    Příklad:

    Nechť je generována náhodná veličina rovnoměrně rozdělená náhodná veličina na intervalu od 0 do 1. Tuto náhodnou veličinu je třeba transformovat na veličinu s normálním rozdělením o střední hodnotě nula a směrodatné odchylce rovné jedné. Hustoty pravděpodobnosti výchozí a transformované veličiny jsou následující

    ( )f xxxξ

    =∈∉

    ⎧⎨⎪

    ⎩⎪

    1 0 10 0 1, ,

    ,, ( )f y yΞ = −

    ⎛⎝⎜

    ⎞⎠⎟

    12 2

    2

    πexp . (2-33)

    Řešení:

    Pro hodnoty náhodné veličiny ξ z intervalu od 0 do 1 platí

    ( )1

    2 2

    2

    πψ

    exp −⎛⎝⎜

    ⎞⎠⎟ =

    y d ydy

    . (2-34)

    Transformační funkce se ( )ψ y získá integrací předchozí diferenciální rovnice

    ( )12 2

    2

    πψexp −

    ⎛⎝⎜

    ⎞⎠⎟ + =

    −∞∫

    ydy C y

    y

    , (2-35)

    ve které je integrační konstanta C = 0 a transformační funkce má tvar pravděpodobnostního integrálu, tj. ( ) ( )ψ y y= Φ . Výsledku tohoto příkladu lze použít pro návrh generátoru náhodných čísel s normálním rozdělením.

    2.6 Dvojrozměrné a vícerozměrné veličiny 2.6.1 Distribuční funkce a hustota vícerozměrné náhodné veličiny

    Výše uvedené vztahy se týkaly jednorozměrné náhodné veličiny. Vícerozměrnou náhodnou veličinu lze považovat za vektor, označený například ξ , jehož složky, ξ ξ ξ1 2, , ..., n , jsou jednorozměrné náhodné veličiny. Distribuční funkce této vícerozměrné náhodné veličiny je definována vztahem

    ( ) { }F x x x P x x xn n n nξ ξ ξ ξ ξ ξ1 2 1 2 1 1 2 2, ,..., , ,..., , ,...,= ≤ ≤ ≤ , (2-36) podle kterého se jedná o pravděpodobnost průniku celkem n dílčích jevů, a to ξ ξ ξ1 1 2 2≤ ≤ ≤x x xn n, ,..., . Distribuční funkce vícerozměrné náhodné veličiny má obdobné jako jednorozměrná náhodná veličina:

    1. Pro každou n-tici x x xn1 2, , ..., platí ( )0 11 2≤ ≤F x x xn, ,..., . 2. ( )F x x xn1 2, ,..., je neklesající funkce každé své proměnné. 3. ( )F x xn nξ ξ1 1 0,... ,..., ,...,−∞ = . 4. ( )Fξ ξ1 2 1,..., ,...,+∞ +∞ = .

    Náhodná proměnná ξ ξ ξ1 2, , ..., n má rozdělení spojitého typu, existuje-li nezáporná

    reálná funkce ( )f x xn nξ ξ1 1,..., ,..., taková, že pro všechna reálná x xn1, ..., platí

  • 13

    ( ) ( )F x x f t t dt dtn n nξ ξ ξ ξ1 2 1 1 2 1 1,..., ,...,,..., ... ,..., ...=−∞

    +∞

    −∞

    +∞

    ∫∫ (2-37)

    Reálná funkce ( )f x xn nξ ξ1 1,..., ,..., se nazývá hustota pravděpodobnosti (stručněji hustota) nebo sdružená hustota pravděpodobnosti vícerozměrné náhodné veličiny ξ ξ ξ1 2, , ..., n . V bodech, kde existuje derivace, platí

    ( ) ( )f x x F x xx xn nn

    n n

    nξ ξ

    ξ ξ∂

    ∂ ∂1 11 1

    1,...,

    ,...,,...,,...,

    ...= . (2-38)

    2.6.2 Marginální rozdělení

    Pro další výklad bude uvažována dvourozměrná náhodná veličina. Kromě sdruženého rozdělení může být předmětem zájmu rozdělení jednotlivých náhodných veličin. Toto rozdělení se nazývá marginální.

    Jestliže ( )F x xξ ξ1 2 1 2, je sdružená distribuční funkce veličin ξ ξ1 2, , pak je marginální distribuční funkce ( )F xξ1 1 veličiny ξ1 dána vztahem ( ) ( )F x F xξ ξ ξ1 2 1 1 1,+∞ = . (2-39) Podobně pro marginální distribuční funkci ( )F xξ2 2 veličiny ξ2 platí ( ) ( )F x F xξ ξ ξ1 2 2 2 2+∞ =, . (2-40)

    Pro rozměr náhodné veličiny větší než dvě je grafická reprezentace intervalů hodnot náhodné veličiny obtížná. Názorně lze však demonstrovat dvourozměrnou náhodnou veličinu a její hustotu, jak je zřejmé z obr. 5.

    Obr. 5. Dvourozměrná hustota pravděpodobnosti

  • 14

    Objem tělesa s body, které mají jednotlivé souřadnice v rovině x x1 2 menší souřadnice než jsou

    souřadnice bodu ( )X X1 2, a které je omezeno rovinou x x1 2 a plochou ( )f x x1 2, , určuje velikost dvourozměrné distribuční funkce. Integrační oblast tvoří v tomto případě jeden kvadrant roviny x x1 2 se středem v bodě ( )X X1 2, . Pro jiné vymezení oblasti hodnot náhodných veličin se při výpočtu pravděpodobnosti jejich výskytu postupuje shodně, tj. vypočte se objem tělesa nad příslušnou oblastí s omezením plochou ( )f x x1 2, .

    Pro rozklad pravděpodobnosti dvojrozměrné veličiny na výraz obsahující pravděpodobnosti jednorozměrných veličin lze užít obecného pravidla o pravděpodobnosti průniku jevů

    { } ( ){ } ( ) ( ){ }

    [ ]{ } ( ) ( ){ }P x x P x P x x

    P x P x x

    ξ ξ ξ ξ ξ

    ξ ξ ξ

    1 1 2 2 1 1 2 2 1 1

    2 2 1 1 2 2

    ≤ ≤ = ≤ ≤ ≤ =

    = ≤ ≤ ≤

    ,

    , (2-41)

    s podmíněnými pravděpodobnostmi dílčích jevů, ze kterého plyne, že distribuční funkci dvojrozměrné veličiny lze vyjádřit jako součin marginální distribuční funkce a podmíněné distribuční funkce

    ( ) ( ) ( ) ( ) ( )F x x F x F x x F x F x xx xξ ξ ξ ξ ξ ξ ξ ξ1 2 1 2 1 1 2 1 1 2 1 2 2 1 2 1 1 2, = == = . (2-42) Podobné vztahy platí pro hustoty

    ( ) ( ) ( ) ( ) ( )f x x f x f x x f x f x xx xξ ξ ξ ξ ξ ξ ξ ξ1 2 1 2 1 1 2 1 1 2 1 2 2 1 2 1 1 2, = == = . (2-43) Jestliže jsou jednotlivé složky popisované dvourozměrné náhodné veličiny vzájemně nezávislé, pak platí

    ( ) ( ) ( ) ( )( ) ( ) ( ) ( )

    F x F x x F x x F x

    f x f x x f x x f x

    x x

    x x

    ξ ξ ξ ξ ξ ξ

    ξ ξ ξ ξ ξ ξ

    1 1 1 2 1 1 2 2 1 1 2 1 2 2

    1 1 1 2 1 1 2 2 1 1 2 1 2 2

    = =

    = =

    = =

    = =

    , ,

    , (2-44)

    a proto

    ( ) ( ) ( ) ( ) ( ) ( )F x x F x F x f x x f x f xξ ξ ξ ξ ξ ξ ξ ξ1 2 1 2 1 1 2 2 1 2 1 2 1 1 2 2, , ,= = . (2-45)

    2.6.3 Číselné charakteristiky vícerozměrných náhodných veličin

    Pro vícerozměrné náhodné veličiny jsou definovány také momenty. Počáteční moment k i j= + -tého řádu je dán vztahem

    { } ( )M E x x f x x dx dxij i j i j= =−∞

    +∞

    −∞

    +∞

    ∫∫ξ ξ ξ ξ1 2 1 2 1 2 1 2 1 2, . (2-46)

    Praktický význam má jen centrální moment druhého řádu m11 . Jeho definice s použitím operátoru střední hodnoty je následující

    ( )( ){ } ( )( ) ( )m E x x f x x dx dx11 1 1 2 2 1 1 2 2 1 2 1 2 1 2= − − = − −−∞

    +∞

    −∞

    +∞

    ∫∫ξ µ ξ µ µ µ ξ ξ , , (2-47)

  • 15

    kde střední hodnoty dílčích složek jsou vypočteny pomocí marginálních hustot pravděpodobnosti

    { } ( ) { } ( )µ ξ µ ξξ ξ1 1 1 1 1 1 2 2 2 2 2 2= = = =−∞

    +∞

    −∞

    +∞

    ∫ ∫E x f x dx E x f x dx, . (2-48)

    Lze dokázat, že pro nezávislé náhodné veličiny je počáteční moment m11 0= . K hodnocení souvislosti obou složek dvourozměrné náhodné veličiny, tj. jejich vzájemnou statistickou vazbu, se používá koeficient korelace

    ρξ ξ1 211

    20 02

    =m

    m m, (2-49)

    kde momenty druhého řádu m20 a m02 lze rovněž určit pomocí marginálních hustot pravděpodobnosti

    { } ( ) ( ) { } ( ) ( )m D x f x dx m D x f x dx20 1 1 12

    1 1 1 02 2 2 2

    2

    2 2 2= = − = = −−∞

    +∞

    −∞

    +∞

    ∫ ∫ξ µ ξ µξ ξ, .(2-50)

    Příklad:

    Nechť mezi složkami dvourozměrné náhodné veličiny platí ξ ξ2 1= +k q , kde k,q jsou konstanty. Určete koeficient korelace!

    Řešení:

    Marginální hustotu pravděpodobnosti náhodné veličiny ξ1 lze označit ( )f xξ1 1 . Podmíněná hustota pravděpodobnosti náhodné veličiny ξ2 za podmínky, že platí ξ1 1= x je následující

    ( ) ( )( )f x x x k x qxξ ξ δ2 1 1 2 1 2 1= = − − . (2-51) Ve vzorci byla použita Diracova funkce, protože první složka ξ1 je známá (jak vyplývá z podmínky) a druhá složka přestává být proto náhodnou veličinou. Jak bylo již dříve uvedeno, pro deterministické veličiny je vhodným modelem jejich hustoty pravděpodobnosti Diracova funkce, protože je mimo deterministickou hodnotu nulová. Dvourozměrnou hustotu pravděpodobnosti lze proto vyjádřit ve tvaru

    ( ) ( ) ( ) ( ) ( )( )f x x f x f x x f x x k x qxξ ξ ξ ξ ξ ξ δ1 2 1 2 1 1 2 1 1 2 1 1 1 2 1, = = − += . (2-52) Podle vzorce pro centrální moment m11 platí

    ( )( ) ( ) ( )

    ( )( ) ( ) ( )( )

    m x x f x f x x dx dx

    x x f x x k x q dx dx

    x11 1 1 2 2 1 1 2 1 1 2 2 1 2

    1 1 2 2 1 1 2 1 1 2

    = − − =

    = − − − + =

    =−∞

    +∞

    −∞

    +∞

    −∞

    +∞

    −∞

    +∞

    ∫∫

    ∫∫

    µ µ

    µ µ δ

    ξ ξ ξ

    ξ

  • 16

    ( )( ) ( )

    ( ) ( ) ( )

    ( ) ( ) ( ) ( )

    = − + − =

    = − − + +−⎛

    ⎝⎜⎞⎠⎟ =

    = − + − +−⎛

    ⎝⎜⎞⎠⎟

    ⎝⎜

    ⎠⎟ =

    = + =

    −∞

    +∞

    −∞

    +∞

    −∞

    +∞

    −∞

    +∞

    ∫ ∫

    x k x q f x dx

    k x xq

    kf x dx

    k x f x dx xq

    kf x dx

    k k

    1 1 1 2 1 1 1

    1 1 1 1 12

    1 1 1

    1 1

    2

    1 1 1 1 1 12

    1 1 1

    12

    120

    µ µ

    µ µ µµ

    µ µ µµ

    σ σ

    ξ

    ξ

    ξ ξ

    ,

    (2-53)

    kde σ12

    20= m je rozptyl náhodné veličiny ξ1 . Náhodná veličina ξ2 vznikne lineární transformací náhodné veličiny ξ1 , proto její rozptyl je σ σ2

    2 212

    02= =k m . Koeficient korelace je tedy následující

    ρσ

    σ σ

    σ

    σ σξ ξ1 2

    11

    20 02

    12

    12

    22

    12

    12 2

    12

    = = = =m

    m mk k

    kkk

    . (2-54)

    Výsledek závisí na znaménku koeficientu k , pro kladnou hodnotu je koeficient korelace +1 a pro zápornou hodnotu -1.

    2.6.4 Charakteristiky součtu náhodných veličin

    Nechť dvourozměrná náhodná veličina má hustotu pravděpodobnosti ( )f x xξ ξ1 2 1 2, . Na základě znalosti této hustoty je třeba vypočítat hustotu rozdělení součtu jednotlivých složek dvourozměrné náhodné veličiny, tj. náhodné veličiny η ξ ξ= +1 2 . Distribuční funkce náhodné veličiny η vyplývá z příslušné pravděpodobnosti výskytu menší hodnoty součtu než je proměnná z

    ( ) { } ( )F z P z f x x dx dxz xξ ξ ξ ξξ ξ1 2 1 2 1 2 1 2 2 11

    + −∞

    −∞

    +∞

    = + ≤ = ∫∫ , . (2-55)

    Hustota rozdělení pravděpodobnosti součtu náhodných veličin je dána derivací distribuční

    ( )( ) ( )f z dF z

    dzf x z x dxξ ξ

    ξ ξξ ξ1 2

    1 21 2 1 1 1+

    ++

    −∞

    +∞

    = = −∫ , . (2-56)

    Jestliže jednotlivé složky součtu budou vzájemně nezávislé, pak hustota jejich součtu bude dána konvolucí jejich složek

    ( ) ( ) ( ) ( )f z f x z x dx f x f z x dxξ ξ ξ ξ ξ ξ1 2 1 2 1 1 1 1 1 2 1 1+ +−∞

    +∞

    −∞

    +∞

    = − = −∫ ∫, . (2-57)

    Jak lze dokázat, střední hodnota a rozptyl součtu zmíněných náhodných veličin pro obecnou hustotu pravděpodobnosti je následující

    { } { } { }E E Eη ξ ξ= +1 2 , (2-58) { } { } { } { } { }D D D D Dη ξ ξ ρ ξ ξξ ξ= + +1 2 1 2 1 22 . (2-59)

  • 17

    Pro nezávislé náhodné veličiny, tj. ρξ ξ1 2 0= , je rozptyl jejich součtu roven součtu jejich rozptylů.

    Příklad:

    Určete hustotu pravděpodobnosti součtu náhodných veličin τii

    k

    =∑

    1, kde τi i k, , ,...,= 1 2

    jsou nezávislé náhodné veličiny s exponenciálním rozdělením, tj. s hustotou pravděpodobnosti ( ) ( )f t t1 = −λ λexp pro t ≥ 0 a ( )f t1 0= pro t < 0.

    Řešení:

    Ze vzorce pro součet nezávislých náhodných veličin vyplývá vztah mezi hustotou pravděpodobnosti součtu k a k −1 dílčích náhodných veličin, tj. mezi ( )f tk a ( )f tk−1 platí

    ( ) ( ) ( )f t f f t dk k= −−−∞

    +∞

    ∫ 1 1τ τ τ . (2-60)

    Poslední vzorec představuje konvoluci originálů z Laplaceovy transformace. Pro Laplaceovu transformaci posloupnosti funkcí ( )f t kk , , ,...=1 2 je zřejmé, že obraz ( ){ }L f tk se bude od obrazu ( ){ }L f tk−1 lišit o součinitel ( ){ } ( ){ } ( )L f t L t s1 = − = +λ λ λ λexp , proto

    ( ){ } ( )L f t sk k k= +λ λ . Podle tabulek Laplaceovy transformace plyne

    ( )( )( ) ( )f t

    tk

    tkk

    =−

    −−

    λλ

    λ1

    1 !exp . (2-61)

    Distribuční funkce příslušná hustotě ( )f t1 je ( ) ( )F t t1 1= − −exp λ a pro distribuční funkci, která přísluší hustotě ( )f tk platí

    ( )

    ( )( ) ( )

    ( )( )

    ( )( )

    ( )( ) ( )

    F tt

    kt dt

    tk

    tt

    kt dt

    tk

    t F t

    k

    kt k t kt

    k

    k

    =−

    − = −⎡

    ⎣⎢

    ⎦⎥ + − =

    = − +

    −∞ −∞ −∞

    +

    ∫ ∫λλ

    λλ

    λ λλ

    λ

    λλ

    1

    1

    1 !exp

    !exp

    !exp

    !exp

    ( ) ( )( )

    ( )F t F tt

    ktk k

    k

    + = − −1λ

    λ!

    exp (2-62)

    Poslední vztah představuje rekurzivní vzorec, podle kterého s rostoucím k klesá pravděpodobnost toho, aby součet výše uvedených náhodných veličin byl menší než je časový interval délky t.

    Poznámka:

    Shodou okolností následující výraz je Poissonův vzorec

    ( )( )

    ( )P tt

    ktk

    k

    = −λ

    λ!

    exp , (2-63)

    udávající pravděpodobnost toho, že počet k výše popsaných intervalů s náhodnou délkou s hustotou rozdělení ( ) ( )f t t1 = −λ λexp lze za sebou umístit do časového intervalu délky t. K tomu lze ještě dodat, že parametr λ má význam převrácené hodnoty střední délky zmíněných intervalů

  • 18

    ( ) ( )T t f t dt t t dt= = − =−∞

    +∞ +∞

    ∫ ∫10

    1λ λ

    λexp . (2-64)

    2.6.5 Centrální limitní věta

    V předchozím odstavci byla určena hustota, střední hodnota a rozptyl součtu dvou náhodných veličin bez omezení jejích vlastností. Tzv. centrální limitní věta ze zabývá problémem vlastností součtu vzájemně nezávislých náhodných veličin o obecném počtu n, tj.

    ξii

    n

    =∑

    1. Většina jevů v různých přírodních a technických systémech je totiž ovlivněna velkým

    počtem vzájemně nezávislých dílčích činitelů, které aditivně působí na některý ukazatel jejich průběhu, jehož rozdělení pravděpodobnosti je třeba zjistit.

    Pro velká n lze za dosti obecných podmínek aproximovat rozdělené součtu náhodných veličin rozdělením normálním. Tímto normálním rozdělením jako asymptotickým rozdělením se zabývají centrální limitní věty. Nejprve je předpokládáno, že rozdělení a parametry dílčích náhodných veličin součtu jsou shodné, a proto také jejich střední hodnota a rozptyl jsou shodné. V tomto případě střední hodnota a rozptyl součtu podle výše uvedených vzorců jsou dány vztahy

    { }E E nii

    n

    ii

    n

    ξ ξ µ= =∑ ∑⎧⎨⎩

    ⎫⎬⎭= =

    1 1, { }D D ni

    i

    n

    ii

    n

    ξ ξ σ= =∑ ∑⎧⎨⎩

    ⎫⎬⎭= =

    1

    2

    1. (2-65)

    Lze dokázat, že pro n →∞ konverguje rozdělení součtu k normálnímu rozdělení, což má důležitý praktický význam, protože konvergence je poměrně rychlá, a proto lze uvést

    ( )( )

    f xn

    x nn

    ≈ −−⎛

    ⎝⎜⎜

    ⎠⎟⎟

    12 2

    2

    2σ πµσ

    exp . (2-66)

    Například generátor náhodných čísel s normálním rozdělením může sčítat jen 12 čísel s rovnoměrným rozdělením a rozdělení součtu těchto čísel se je prakticky blíží k normálnímu rozdělení. Pro rovnoměrné rozdělení pravděpodobnosti náhodné veličiny v intervalu nula až jedna je střední hodnota tohoto součtu rovna šesti a rozptyl roven jedné. Normalizované rozdělení lze tedy získat pouhým odečtením šestky od zmíněného součtu 12 náhodných veličin. Generování náhodného čísla z uvedeného intervalu patří mezi základní funkce mnoha programovacích jazyků. Je třeba si všimnout, že interval hodnot je omezen na ± 6σ .

    Vlastnostmi součtu náhodných veličin se zabývalo mnoho matematiků za obecnějších podmínek ve srovnání s těmi, které byly výše uvedeny ve velmi zjednodušené verzi. V některých případech k normálnímu rozdělení konvergují také součty veličin s různým rozdělením a parametry. Avšak ukázalo se také, že za určitých podmínek může součet konvergovat k jinému rozdělení.

  • 19

    3. Charakteristiky náhodných procesů V této kapitole je popsána teorie náhodných procesů. Zájemce se může dovědět podstatně

    více ze speciální odborné literatury [1,2,6,30,31]. Ke studiu jsou zapotřebí rovněž základy teorie signálů [7,40]. Především je soustředěn zájem na vyhodnocení korelační funkce a výkonové spektrální hustoty náhodných procesů a jejich změny průchodem lineárními dynamickými soustavami.

    3.1 Typy náhodných procesů

    Jak bylo uvedeno v úvodní kapitole, stochastické (náhodné) procesy lze rozdělit na stochastické procesy se spojitým časem a stochastické procesy s diskrétním časem. Stochastický proces s diskrétním časem je nazýván také stochastickou posloupností. Oba typy náhodných procesů modelují reálný svět. Z důvodu technických možností záznamu stochastických procesů jsou procesy se spojitým časem vzorkovány, nejčastěji konstantní vzorkovací periodou, což představuje jejich převod na náhodné posloupnosti.

    Obr. 6. Rozdělení časových průběhů náhodných procesů

    K pojmenování stochastického procesu se rovněž používá řecké písmeno a samozřejmě v zápisu funkce je obsažena nezávisle proměnná, kterou je čas t . Pro náhodné procesy se spojitým časem se používá označení ( )ξ t , zatímco pro náhodné procesy s diskrétním časem se čas umísťuje do indexu řeckého písmena, tj. ξ t . Konkrétní záznam časového průběhu stochastického procesu se nazývá realizace. K pojmenování realizace se používá latinka, tj. například ( )x t , resp. xt . Veličiny s indexem mohou označovat rovněž vzorky náhodného procesu se spojitým časem. Rozdíl v pojmenování náhodného procesu a jeho realizace však není striktně dodržován.

    Obr. 7. Čtyři realizace náhodného procesu

    Skupina realizací náhodného procesu ve zvoleném časovém okamžiku představuje skupinu realizací jedné náhodné veličiny. V určitém časovém okamžiku, například t1 ,

  • 20

    představuje proto náhodná funkce náhodnou veličinu, tj. ( )ξ t1 . Příklad se čtyřmi realizacemi náhodného procesu je uveden na obr. 7. Pro tuto náhodnou veličinu ( )ξ t1 s hustotou rozdělení

    ( ) ( )f x ttξ 1 1 1, lze vypočítat výběrové charakteristiky a z nich pak odhadnout střední hodnotu ( )µ t1 , rozptyl ( )σ2 1t a další. Samozřejmě tyto charakteristiky jsou obecně funkcemi času, což

    je zdůrazněno v zápise hustoty pravděpodobnosti. Pro dva časové okamžiky, jmenovitě t1 a t2 ,

    se jedná o dvě náhodné veličiny s určitou hustotou pravděpodobnosti ( ) ( ) ( )f x x t tt tξ ξ1 2 1 2 1 2, , , . Pro tyto náhodné veličiny se lze zajímat například o koeficient korelace. Hustota pravděpodobnosti dvourozměrné náhodné veličiny je obecně funkcí zmíněných dvou časových okamžiků.

    Pro praxi má zvláštní význam případ, kdy uvedené základní číselné charakteristiky, tj. střední hodnota a rozptyl, na čase nezávisí a koeficient korelace je funkcí jen rozdílu t t2 1− . To znamená, že pro hustoty pravděpodobností platí

    ( ) ( ) ( ) ( )f x t f xt tξ ξ1 1 1 1 1, = , ( ) ( ) ( ) ( ) ( ) ( )f x x t t f x x t tt t t tξ ξ ξ ξ1 2 1 2 1 2 1 2 1 2 2 1, , , , ,= − . (3-1) Náhodné procesy s těmito vlastnostmi se nazývají stacionární. Naproti tomu v případě závislosti uvedených charakteristik na čase se jedná o náhodné procesy nestacionární. V teorii se rozlišují striktně a slabě stacionární procesy. Pro slabě stacionární procesy platí výše uvedená podmínka pro dvourozměrné rozdělení. Striktně stacionární procesy mají shodná také vícerozměrná rozdělení pro různá posunutí v čase.

    Souběžný záznam několika realizací náhodného procesu není příliš praktický, a proto tuto skupinu realizací mohou za určitých podmínek nahradit různé úseky jedné časové realizace. Tato operace bude bez vlivu na výsledek výpočtu základních číselných charakteristik pro procesy stacionární. Pro tyto procesy je jejich střední hodnota nezávislá na čase. Jak je zřejmé z obr. 8, příklad na obr. 7 byl vytvořen rozdělením jedné realizace náhodného procesu na čtyři úseky, a proto jednotlivé realizace z následujícího obrázku na sebe plynule navazují.

    Obr. 8. Realizace stacionárního náhodného procesu

    Podle popsaného postupu je tedy ve skutečnosti výpočet střední hodnoty ze skupiny realizací nahrazen průměrem časových vzorků. Podobně lze vypočítat rozptyl a další základní charakteristiky jednorozměrné náhodné veličiny. Obecně je při tomto postupu nahrazen výpočet charakteristik ze skupiny realizací charakteristikami časového průběhu. Tato záměna je možná u tzv. ergodických procesů.

  • 21

    Obr. 9. Rozdělení typů náhodných procesů

    Náhodné procesy lze tedy dělit na stacionární a nestacionární a nebo na ergodické a neergodické. Je zřejmé, že procesy ergodické a stacionární procesy mají určité společné vlastnosti. Diskuse jejich případných rozdílů je snad vhodným tématem pro specialisty, matematiky. Praktický inženýr však může něco užitečného spočítat jen pro tzv. stacionární ergodické procesy, a proto tyto procesy budou předmětem analýz celého tohoto učebního textu.

    3.2 Střední hodnota a rozptyl stacionárních a ergodických procesů

    Střední hodnota z jediné realizace ergodického náhodného procesu se spojitým časem se vypočte podle vzorce

    ( ){ } ( )µ = =→+∞ ∫E x t T x t dtT

    T

    lim1

    0

    . (3-2)

    Rozptyl ergodického náhodného procesu lze vypočítat z časového průběhu podle následujícího vzorce

    ( ){ } ( )( )σ µ2 20

    1= = −

    →+∞ ∫D x t T x t dtTT

    lim . (3-3)

    Pro náhodné procesy s diskrétním časem se ve vzorcích změní integrály na sumy, proto

    { }µ = =→+∞ =

    ∑E x K xt K ttK

    lim1

    1, { } ( )σ µ2 2

    1

    1= = −

    →+∞ =∑D x K xk K tt

    K

    lim . (3-4)

    3.2.1 Centrované náhodné procesy

    Při vyhodnocování náhodných procesů je používáno centrování, což znamená úpravu realizace procesu ( )x t na centrovaný proces ( )∆ x t podle následujícího vzorce

    ( ) ( ) ( ){ }∆ x t x t E x t= − . (3-5) Tento signál má nulovou střední hodnotou.

    3.3 Autokorelační funkce

    Střední hodnota a rozptyl jsou charakteristikami prvního řádu. V této kapitole budou definovány charakteristiky náhodných signálů druhého řádu, a to korelační funkce, která je ve skutečnosti počátečním momentem druhého řádu m11 dvojrozměrné náhodné veličiny. Jestliže je hodnocena závislost hodnot jednoho náhodného procesu ve dvou různých časových okamžicích, pak se jedná o autokorelační funkci (auto-correlation function - ACF). V případě hodnocení závislosti dvou náhodných procesů ve dvou různých časových okamžicích, jedná

  • 22

    se o křížovou (vzájemnou) korelační funkce. Podobně jako u definice střední hodnoty lze vyjít při definici autokorelační funkce z hustoty rozdělení pravděpodobnosti. Platí

    ( ) ( ) ( ) ( ) ( ){ } ( ) ( ) ( )R t t E t t x x f x x t t dx dxt t t tξ ξ ξ ξξ ξ1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2, , , ,= =−∞

    +∞

    −∞

    +∞

    ∫∫ , (3-6)

    kde ( ) ( ) ( )f x x t tt tξ η1 2 1 2 1 2, , , představuje dvourozměrnou hustotu rozdělení pravděpodobnosti dvou vzájemně odlišných časových okamžicích. Podmínkou stacionarity náhodných procesů byla závislost hustoty pravděpodobnosti na vzájemném posunu časových okamžiků t1 a t2 . Autokorelační funkce stacionárního procesu je proto funkcí vzájemného posunutí τ mezi zmíněnými časovými okamžiky, ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )R t t R t t Rt t t t t tξ ξ ξ ξ ξ ξ τ1 2 1 2 1 2 2 1 1 2, = − = . Toto posunutí nebo také časový interval mezi časovými okamžiky t1 a t2 má v angličtině označení lag a užívá se v poisu grafů korelačních funkcí, které jsou prezentovány MATLABem.

    Pro ergodické náhodné procesy lze autokorelační funkci vypočítat ze střední hodnoty součinu dvou vzájemně shodných avšak v čase posunutých realizací náhodného procesu. Protože jde o realizaci ( )x t , index autokorelační funkce je xx , tj.

    ( ) ( ) ( ){ } ( ) ( )R E x t x t T x t x t dtxx TT

    τ τ τ= + = +→+∞ ∫lim

    1

    0

    . (3-7)

    U tohoto vzorce je předpokládáno, že náhodný proces je definován pro čas od 0 do +∞ .

    Pro ergodické náhodné procesy s diskrétním časem se ve vzorci změní integrál na sumu, proto

    ( )RK

    x xxx K t tt

    K

    τ τ= →+∞ +=∑lim 1

    1. (3-8)

    Autokorelační funkce náhodného procesu s diskrétním časem je rovněž diskrétní. V posledním vzorci je posunutí τ celé číslo.

    Autokorelační funkce obecného náhodného procesu je sudá, ( ) ( )R Rxx xxτ τ= − . Autokorelační funkce centrovaného náhodného procesu souvisí s autokorelační funkcí necentrovaného procesu podle vzorce

    ( ) ( )( ) ( )( ) ( )RT

    x t x t dt Rx x T

    T

    xx∆ ∆ τ µ τ µ τ µ= − + − = −→+∞ ∫lim1

    0

    2 , (3-9)

    jak je zřejmé z obr. 10. Pro autokorelační funkci centrovaných náhodných procesů se užívá rovněž označení kovarianční funkce.

  • 23

    Obr. 10. Autokorelační funkce obecného náhodného procesu

    Pro nulové posunutí je autokorelační funkce centrovaného náhodného procesu shodná s jeho rozptylem, ( )R x x x∆ ∆ 0

    2= σ , protože

    ( ) ( )RT

    x t dtx x T

    T

    ∆ ∆ ∆01 2

    0

    =→+∞ ∫lim . (3-10)

    Obecně platí, že ( ) ( )R Rxx xx0 ≥ τ , což lze dokázat výpočtem střední hodnoty výrazu ( ) ( )( ) ( ) ( ) ( ) ( )x t x t x t x t x t x t− + = + + − +τ τ τ2 2 2 2 . Levá strana rovnice je jako druhá mocnina

    nezáporná, a proto je její střední hodnota také nezáporná. Střední hodnota pravé strany vede na výraz, který má být nezáporný, a proto

    ( ){ } ( ){ } ( ) ( ){ }( ) ( )

    E x t E x t E x t x tR Rxx xx

    2 2 2 02 0 2 0

    + + − + ≥

    − ≥

    τ τ

    τ

    ,.

    (3-11)

    Pro korelační funkci centrovaného náhodného procesu se definuje tzv. normovaná autokorelační nebo přesněji kovarianční funkce

    ( )( )

    ρ ττ

    σ∆ ∆∆ ∆

    x xx xR= 2 , (3-12)

    která nabývá pro nulové posunutí hodnoty jedna. Hodnoty normované autokorelační funkce mají význam korelačních koeficientů mezi vzájemně posunutými hodnotami náhodného procesu. Je zřejmé. že čím jsou časově vzdálenější hodnoty vzorků náhodného procesu, tím je menší jejich vzájemná souvislost a tedy v absolutní hodnotě i koeficient korelace.

    Náhodné procesy lze zaznamenat po vzorkování s periodou ∆ t ve tvaru konečné posloupnosti jeho časově ekvidistantních vzorků, tj. x i Ni , , ,...,= 1 2 . Autokorelační funkci lze v tomto případě vyhodnotit jen pro vzájemné posunutí, které je celočíselným násobkem periody vzorkování, tj. teoreticky pro τ = = ± ± −k t k N∆ , , , ,...,0 1 2 1. Integrál pro výpočet časové střední hodnoty se změní na sumu a pro součinitel 1 T je třeba respektovat počet sčítanců v sumě. Vzorec pro odhad autokorelační funkce tzv. přímou metodou je následující

    ( )$R k t N k x xxx i i kiN k

    ∆ =− +=

    ∑11

    . (3-13)

    Tento odhad je však vychýlený (biased), protože jeho střední hodnota je

    ( ){ } ( ) ( )E R k t k N R k txx xx$ ∆ ∆= −1 . (3-14)

  • 24

    Pouze pro k = 0 je odhad nestranný. Vychýlení odhadu roste s rostoucím k , a proto se výpočet omezuje jen pro k N< 10 . Korekce vychýlení spočívá v násobení korekčním faktorem ( )N N k− . Přímá metoda byla po zavedení rychlé Fourierovy transformace nahrazena efektivnějším postupem, což bude popsáno v dalších kapitolách.

    3.4 Vzájemná korelační funkce

    Obecná definice vzájemné korelační funkce (cross-correlation function - CCF) se týká dvou náhodných procesů ( )ξ t a ( )η t , tj.

    ( ) ( ) ( ) ( ) ( ){ } ( ) ( ) ( )R t t E t t xy f x y t t dxdyt t t tξ η ξ ηξ η1 2 1 2 1 2 1 2 1 2, , , ,= =−∞

    +∞

    −∞

    +∞

    ∫∫ , (3-15)

    kde ( ) ( ) ( )f x y t tt tξ η1 2 1 2, , , je dvourozměrná hustota pravděpodobnosti. Pro stacionární náhodné procesy závisí hustota pravděpodobnosti na rozdílu časů t1 a t2 , proto vzájemná korelační funkce stacionárního procesu je funkcí vzájemného posunutí mezi uvedenými časovými okamžiky,

    ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )R t t R t t Rt t t t t tξ η ξ η ξ η τ1 2 1 2 1 2 2 1 1 2, = − = . (3-16) Vzájemná korelační funkce ergodických náhodných procesů je závislá jen na rozdílu

    časových okamžiků t1 a t2 jako vzájemná korelační funkce stacionárních signálů. Ergodicita znamená možnost použití střední hodnoty součinu ( ) ( )x t y t + τ v čase k výpočtu autokorelační funkce

    ( ) ( ) ( ){ } ( ) ( )R E x t y t T x t y t dtxy TT

    τ τ τ= + = +→+∞ ∫lim

    1

    0

    . (3-17)

    Vzájemná korelační funkce není sudá a její maximum nemusí být pro nulové posunutí, τ = 0. Posunutí pro maximum křížové korelační funkce představuje dopravní zpoždění mezi oběma náhodnými procesy.

    Pro vzájemnou korelační funkci centrovaných náhodných procesů se používá rovněž označení křížová kovarianční funkce.

    V definici vzájemné korelační funkce ergodických náhodných procesů s diskrétním časem se nahradí integrál sumou a posunutí je celým číslem.

    V indexu vzájemné korelační funkce je pořadí náhodných procesů xy . Pro opačné pořadí yx lze odvodit

    ( ) ( ) ( ){ } ( ) ( ){ } ( )R E x t y t E y t x t Rxy yxτ τ τ τ= + = − = −1 1 , (3-18) kde čas t byl nahrazen časem t t1 = − τ .

    Jak již bylo uvedeno, lze náhodné procesy zaznamenat jako konečné posloupnosti vzorkovaných hodnot x y i Ni i, , , ,...,= 1 2 . Vzájemnou korelační funkci lze v tomto případě také vyhodnotit jen pro vzájemné posunutí, které je celočíselným násobkem periody vzorkování, tj. teoreticky pro τ = = ± ± −k t k N∆ , , , ,...,0 1 2 1. Vzorec pro odhad vzájemné korelační funkce zmíněnou přímou metodou je následující

  • 25

    ( )$R k t N k x yxy i i kiN k

    ∆ =− +=

    ∑11

    . (3-19)

    Tento vzorec se rovněž používá k odhadu vzájemné korelační funkce vzorkovaných signálů. O nestrannosti odhadu lze uvést totéž jako pro odhad autokorelační funkce. Z důvodu přesnosti odhadu je velikost posunutí omezena na k N< 10 .

    3.4.1 Vzájemná korelační funkce nezávislých náhodných procesů

    Hustotu pravděpodobnosti nezávislých náhodných veličin rozložit na součin dvou dílčích hustot, tj. ( ) ( ) ( ) ( ) ( ) ( ) ( )f x y t t f x t f y tt t t tξ η ξ η1 2 1 2 1 1 2 2, , , , ,= . Z této vlastnosti lze odvodit, že vzájemná korelační funkce nezávislých náhodných procesů je dána součinem jejich středních hodnot

    ( ) ( ) ( ) ( ) ( ){ } ( )( ) ( ) ( )

    ( ){ } ( ){ }

    R t t E t t x f x t y f y t dy dx

    E t E t

    t t t tξ η ξ ηξ η

    ξ η

    1 2 1 2 1 2 1 1 2 2

    1 2

    , , ,= =⎛

    ⎝⎜

    ⎠⎟ =

    =

    −∞

    +∞

    −∞

    +∞

    ∫∫ (3-20)

    Pro stacionární centrované nezávislé náhodné procesy, tj. s nulovými středními hodnotami, je vzájemná korelační funkce rovna nule, ( )R t tx y∆ ∆ 2 1 0− = . Náhodné procesy s konstantní nebo nulovou vzájemnou korelační funkcí se také nazývají nekoherentní.

    3.4.2 Autokorelační funkce součtu dvou nezávislých náhodných procesů

    Vlastnost vzájemné korelační funkce nezávislých náhodných procesů umožňuje stanovit autokorelační funkci součtu dvou nezávislých náhodných procesů ( )ξ t + ( )η t .

    ( ) ( ) ( )( ) ( ) ( )( ){ }( ) ( ){ } ( ){ } ( ){ } ( ){ } ( ){ } ( ) ( ){ }

    ( ) ( ) ( ) ( ) ( ) ( ) ( ){ } ( ){ } ( ){ } ( ){ }

    R t t E t t t t

    E t t E t E t E t E t E t t

    R t t R t t E t E t E t E tt t t t

    ξ η ξ η

    ξ ξ η η

    ξ η ξ η

    ξ ξ ξ η ξ η η η

    ξ η ξ η

    + + = + + =

    = + + + =

    = + + +

    ,

    ,

    ,

    , ,

    1 2 1 1 2 2

    1 2 2 1 1 2 1 2

    1 2 1 2 1 2 1 2 2 1 1 2

    (3-21)

    Jestliže oba náhodné procesy jsou centrovány, tj. ( ){ } ( ){ }E t E tξ η1 2 1 2 0, ,= = , pak autokorelační funkce součtu dvou nezávislých centrovaných stacionárních procesů je rovna součtu jejich dílčích korelačních funkcí

    ( ) ( ) ( )R R Rξ η ξ η ξξ ηητ τ τ+ + = +, . (3-22)

  • 26

    3.5 Autokorelační funkce speciálních náhodných procesů 3.5.1 Bílý šum

    Náhodný signál se zvláštními vlastnostmi je bílý šum (white noise). Přestože tento signál je jen matematická abstrakce, je možné pomocí něj modelovat náhodné chyby, jejichž základní charakteristikou je úplná nahodilost a žádná korelace mezi vzájemně časově posunutými hodnotami. Další uplatnění má při popisu přenosových vlastností lineárních dynamických systémů.

    Bílý šum ( )e t s nulovou střední hodnotou a se spojitým časem má následující autokorelační funkci

    ( ) ( ) ( ){ } ( )R E e t e tee eτ τ σ δ τ= + = 2 , (3-23) kde σe

    2 má význam rozptylu bílého šumu a ( )δ t je Diracova funkce. Jak bude ukázáno dále, spektrum bílého šumu má konstantní úroveň pro všechny frekvence.

    Vzorkovaný náhodný proces s vlastnostmi bílého šumu má nulovou střední hodnotu a v definici autokorelační funkce neužívá Diracovy funkce, ale konečnou hodnotu pro nulové posunutí, která je rovna rozptylu vzorkovaných hodnot bílého šumu

    ( ) { }R k t E e e kkee i i k

    e∆ = ==≠

    ⎧⎨⎩

    +

    σ2 00 0

    , ,, .

    (3-24)

    Rozdíl v definicích je zřejmý z obr. 11.

    Obr. 11. Autokorelační funkce bílého šumu u spojitého a diskrétního náhodného procesu

    Definice bílého šumu se neopírá o určité rozdělení pravděpodobnosti. Požadavek na typ rozdělení je tedy dodatečný. Jestliže je jeho rozdělení normální, pak tento náhodný proces se nazývá gaussovský bílý šum. Na obr. 12 jsou dva průběhy realizací 500 vzorků bílého šumu s rovnoměrným a normálním rozdělením pravděpodobnosti. Na horním grafu je bílý šum s rovnoměrným rozdělením v intervalu od -0,5 do +0,5 a na spodním obrázku je centrovaný gaussovský bílý šum s rozptylem rovným jedné. Stupnice obou grafů jsou rozdílné. Gaussovský bílý šum se pohybuje v hranicích ± 3σ s pravděpodobností 97,3%. V časovém průběhu náhodného šumu se obvykle kumuluje množství dílčích vlivů, a proto pro jeho jednotlivé hodnoty, náhodné veličiny, je nejpřirozenější normální rozdělení pravděpodobnosti.

  • 27

    Obr. 12. Realizace bílého šumu s rovnoměrným a normálním rozdělením

    3.5.2 Obecný telegrafní signál

    Obecný telegrafní signál je náhodný proces, u kterého se střídají dvě hodnoty, a to + a a − a . Délka intervalu mezi okamžiky změny je náhodná veličina mající tzv. exponenciální rozdělení, tj. hustota pravděpodobnosti délky tohoto intervalu je ( ) ( )f t t1 = −λ λexp pro t ≥ 0 a

    ( )f t1 0= pro t < 0. Jednotlivé délky jsou navzájem nezávislé.

    Velikost součinu ( ) ( )x t x t + τ hodnot, které jsou vzájemně posunuty o interval τ > 0 závisí na znaménku buď + a2 a nebo − a2 . Kladný výsledek je pro shodná znaménka u ( )x t a ( )x t + τ . Naproti tomu − a2 je pro opačná znaménka u ( )x t a ( )x t + τ . Shoda znamének

    nastane, jestliže mezi časovými okamžiky t a t + τ se velikost ( )x t nezmění a nebo nastane sudý počet změn. Rozdílná znaménka jsou tehdy, jestliže mezi zmíněnými časovými okamžiky nastane lichý počet změn velikosti ( )x t .

    Pravděpodobnost počtu k změn v časovém intervalu délky τ za uvedených podmínek pro délky intervalů mezi změnami je dána Poissonovým vzorcem. Celková pravděpodobnost nulového a sudého počtu změn je dána součtem řady

    ( )( )( ) ( )P P iii

    i

    i

    +

    =

    +∞

    =

    +∞

    = = −∑ ∑20

    2

    0 2τ

    λτλτ

    !exp . (3-25)

    Celková pravděpodobnost lichého počtu změn je dána součtem řady s členy o lichém pořadí

    ( )( )( ) ( )P P iii

    i

    i

    −+

    =

    +∞ +

    =

    +∞

    = =+

    −∑ ∑2 10

    2 1

    0 2 1τ

    λτλτ

    !exp . (3-26)

    Výsledná autokorelační funkce je dána vzorcem

  • 28

    ( )( )( ) ( )

    ( )( ) ( )

    ( )( )( )

    ( )( )

    ( )( )

    ( ) ( )

    R a P a P ai

    ai

    ai i

    ai

    a

    xx

    i

    i

    i

    i

    i

    i

    i

    i

    i

    i

    τλτ

    λτλτ

    λτ

    λτλτ λτ

    λτλτ

    λτ λτ

    = − = − −+

    − =

    = − −+

    ⎝⎜

    ⎠⎟ =

    = −−⎛

    ⎝⎜

    ⎠⎟ = − −

    + −

    =

    +∞ +

    =

    +∞

    =

    +∞ +

    =

    +∞

    =

    +∞

    ∑ ∑

    ∑ ∑

    2 2 22

    0

    22 1

    0

    22

    0

    2 1

    0

    2

    0

    2

    2 2 1

    2 2 1

    !exp

    !exp

    exp! !

    exp!

    exp exp

    (3-27)

    V posledním vzorci lze doplnit absolutní hodnota posunutí τ , aby byl výsledek oproti výchozímu předpokladu zobecněn. Exponenciální průběh autokorelační funkce je typický pro řadu procesů.

    ( ) ( )R axx τ λ τ= −2 2exp . (3-28) Příklad realizace obecného telegrafního signálu je na obr. 13. Graf je diskrétní časový

    průběh 4001 vzorku, který byl modelován tak, aby změna znaménka nastala s pravděpodobností 0.01.

    Obr. 13. Realizace obecného telegrafního signálu

    3.5.3 Harmonická funkce

    Harmonická funkce je libovolně fázově posunuta sinusovka ( )A tcos ω ϕ+ , kde A je amplituda, ω úhlová frekvence a ϕ je počáteční fáze. Tato funkce není náhodná, ale deterministická. Její vlastnosti jsou diskutovány, protože její vliv je v korelačních funkcích často pozorovatelný. Harmonická funkce s nenulovou frekvencí má nulovou střední hodnotu. Směrodatná odchylka harmonické funkce, která se nazývá také efektivní hodnota, souvisí s její amplitudou podle jednoduchého vztahu σ = =A Aef2 . Efektivní hodnota vystupuje ve výpočetních vzorcích výkonu, např. střídavého elektrického proudu, ve druhé mocnině. Ve vzorci pro elektrický výkon je navíc součinitel měřítka, kterým je odpor pro výpočet výkonu z proudu nebo vodivost pro výpočet z napětí.

    Pro harmonickou funkci lze užitím vzorce (82) určit také její autokorelační funkci

  • 29

    ( ) ( ) ( )( )

    ( ) ( )( )

    ( ) ( )

    RT

    A t t dt

    TA

    t dt

    TT

    A t

    xx T

    T

    T

    T

    T

    T

    τ ω ϕ ω τ ϕ

    ω ωτ ϕ ωτ

    ωτω ωτ ϕ

    ω

    = + + + =

    = + + + =

    = ++ +⎡

    ⎣⎢⎢

    ⎦⎥⎥

    ⎝⎜⎜

    ⎠⎟⎟

    →+∞

    →+∞

    →+∞

    lim cos cos

    lim cos cos

    lim cossin

    1

    12

    2 2

    12

    2 22

    2

    0

    2

    0

    2

    0

    ( ) ( )RA

    xx τ ωτ=2

    2cos (3-29)

    Autokorelační funkce libovolně fázově posunutého harmonického signálu má vždy tvar funkce kosinus s periodou, která je shodná s periodou výchozího signálu. Ukázka je na obr. 14, ve kterém výchozí signál ( )x t má amplitudu rovnou jedné, tj. efektivní hodnotu 1 2 . Polovina druhé mocniny efektivní hodnoty je rovna 0.5, což je amplituda autokorelační funkce.

    Obr. 14. Autokorelační funkce harmonického signálu

  • 30

    3.6 Použití Markovových řetězců k popisu náhodných procesů

    Nástroje teorie Markovových řetězců jsou vhodné zvláště k popisu náhodných procesů s diskrétním časem [31]. V čase diskrétní náhodný proces je tvořen posloupností náhodných veličin ξ t t, , ,...= 0 1 , u kterých t znamená diskrétní čas, jehož změna o jednotku představuje jeden časový krok. Pro další rozbor bude předpokládáno, že náhodné veličiny nabývají konečný počet N hodnot, tj. jsou diskrétní ve svých hodnotách. Všechny možné hodnoty této veličiny je možné uspořádat do sloupcového vektoru

    [ ]X = X X X N T1 2, ,..., , (3-30) kde exponent [ ]... T značí transponování vektoru nebo matice. Tento zápis je použit z důvodu úspornosti zápisu v textu. Index i u hodnot Xi může být považován za označení okamžitého stavu náhodného procesu. Posloupnost náhodných veličin ξ t takto může být nahrazena posloupností stavů i tt , , ,...= 0 1 . Při analýze se lze pak zajímat místo hodnot procesu jen jeho stavy, což je pro některé úlohy výhodné. Náhodný průběh procesu je hodnocen pravděpodobnostmi přechodů mezi stavy a pravděpodobnostmi výskytu jednotlivých stavů. Tyto pravděpodobnosti stavů a přechodů lze určit na základě dostupných informací a z těch pak je možné autokorelační funkci vypočítat. Tímto způsobem se nahradí případný rozbor realizací náhodného procesu.

    3.6.1 Nástroje popisu náhodných procesů Markovovými řetězci

    Markovovy řetězce jsou zvláštní tím, že pravděpodobnost stavu it , kterému předcházel vývoj procesu řetězcem minulých stavů i i i it t− −1 2 1 0, ,..., , , je z těchto minulých stavů závislá pouze na předposledním stavu it−1 . Nezáleží tedy na posloupnosti stavů předcházející stavu it−1 , proto pro podmíněné pravděpodobnosti platí

    { } { }P i i i i i P i it t t t t− − −=1 2 1 0 1, ,..., , . (3-31) Jak již bylo upozorněno, změny náhodného procesu se hodnotí pravděpodobnostmi

    přechodů. Jestliže i označuje výchozí stav v čase t a j konečný stav o jeden časový krok dále, tj. v čase t +1, přičemž oba tyto stavy patří do zmíněné množiny stavů 1 2, ,..., N , pak pravděpodobnost přechodu za jeden krok se značí ( )pij 1 . Pravděpodobnosti přechodů lze

    uspořádat do čtvercové matice ( )[ ]R1 1= pij . Pro zjednodušení popisu lze závorku s jedničkou vynechat, ( )p pij ij1 = . U tzv. homogenních Markovových řetězců jsou pravděpodobnosti přechodů konstantní, naproti tomu u nehomogenních procesů se závislost na čase předpokládá. Graficky lze přechod znázornit následujícím orientovaným grafem s uzly, které představují stavy, a orientovanými hranami, které představují přechody:

    Pro výpočet pravděpodobností přechodů přes dva časové kroky, tj. s jedním stavem

    uprostřed mezi těmito krajními časovými okamžiky, je třeba předpokládat, že tímto mezistavem mohou být všechny možné stavy procesu, jak je znázorněno na následujícím grafu:

  • 31

    Pravděpodobnost přechodu mezi oběma stavy se vypočte podle vzorce

    ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )p p p p p p p p pis i s ij js iN Ns ij jsj

    N

    2 1 1 1 1 1 1 1 11 11

    = + + + + ==∑... ... . (3-32)

    Předchozí vzorec je shodný se vzorcem pro výpočet prvků součinu matic, proto pravděpodobnosti přechodů ze všech možných výchozích stavů v čase t do všech možných konečných stavů v čase t s+ lze použít maticový zápis

    R Rss= 1 . (3-33)

    Pro s = 0 je vhodné definovat R E0 = , kde E je jednotková matice s jednotkami na hlavní diagonále a ostatními prvky nulovými. Prvky matice přechodů nejsou libovolné, ale jsou vázány jistými podmínkami. První podmínkou je, aby součet pravděpodobností přechodů z každého stavu do všech ostatních stavů byl roven jedné, tj.

    ( ) ( ) ( ) ( )p p p pi ij iN ijj

    N

    11

    1 1 1 1 1+ + + + = ==∑... ... , (3-34)

    což lze symbolicky zapsat rovněž maticovou rovnicí

    R I Is = , (3-35)

    kde I je sloupcový vektor s jednotkovými prvky. Součet řádků matice R s musí být tedy roven jedné.

    Dosažitelnost stavu j ze stavu i znamená, že existuje s takové, aby ( )p sij > 0 . Množina stavů se nazývá stochasticky uzavřená, jestliže pravděpodobnost přechodu mimo tuto množinu je nulová. Uzavřená množina stavů je nerozložitelná, jestliže každé dva stavy z této množiny je vzájemně dosažitelná.

    Pravděpodobnosti jednotlivých stavů po počtu časových kroků t jsou značeny následujícím způsobem

    ( ) { } ( ) ( )p t P x p p t i Ni t i k kik

    = = = =∑ξ 0 1 2, , ,..., , (3-36)

    kde ( )p k Nk 0 1 2, , ,...,= představuje rozdělení pravděpodobností stavů v čase t = 0 . Je dokázáno, že pravděpodobnosti jednotlivých stavů konvergují s rostoucím časem k ustáleným hodnotám

    ( )limt i i

    p t p→+∞

    = , pii

    N

    =∑ =

    11. (3-37)

  • 32

    K existenci limity p i Ni > =0 1 2, , ,..., stačí, aby každý stav byl dosažitelný ze všech ostatních stavů a aby aspoň pro jeden stav platilo pjj > 0 . Pro posloupnosti stavů, jejichž pravděpodobnosti konvergují, se používá označení finální. V teorii Markovových řetězců se dokazuje věta, podle které finální posloupnost stavů je stacionární.

    Jestliže se uspořádají ustálené pravděpodobnosti p i Ni > =0 1 2, , ,..., výskytu jednotlivých stavů do sloupcového vektoru

    [ ]p = p p pN T1 2, ,..., , (3-38) pak v souvislosti s existenci limit platí

    R p psT = , resp. p R pT s