Ентрописка стапка

Во математичката теорија на веројатност, стапката на ентропија или стапката на изворна информација на стохастички процес е, неформално, временската густина на просечната информација во стохастичкиот процес. За стохастички процеси со пребројлив индекс, стапката на ентропија $H(X)$ е граница на заедничката ентропија на $n$ членови на процесот $X_{k}$ поделено со $n$ , кога $n$ се стреми кон бесконечност:

H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})

кога постои граница. Алтернативно, соодветната количина е:

H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})

За силно стационарни стохастички процеси, $H(X)=H'(X)$ . Ентрописката стапка може да се смета како општо својство на стохастичките извори; ова е својство на асимптотска еквиподелба. Стапката на ентропија може да се користи за да се процени сложеноста на стохастичките процеси. Се користи во различни апликации кои се движат од карактеризирање на сложеноста на јазиците, слепо одвојување на изворите, до оптимизирање на квантизаторите и алгоритми за компресија на податоци. На пример, може да се користи критериум за максимална стапка на ентропија за избор на одлики во машинското учење.^[1]

Ентрописки стапки за Марковски вериги

Бидејќи стохастичкиот процес дефиниран со Марковска верига која е несводлива, апериодична и позитивно рекурентна има стационарна распределба, стапката на ентропија е независна од почетната распределба.

На пример, за таква Марковска верига $Y_{k}$ дефинирана на пребројлив број на состојби, со оглед на транзициската матрица $P_{ij}$ , $H(Y)$ е дадена со:

\displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}

каде $\mu _{i}$ е асимптотската дистрибуција на веригата.

Едноставна последица на оваа дефиниција е дека стохастичкиот процес на независни еднакво распределени случајни има стапка на ентропија која е иста како ентропијата на секој поединечен член на процесот.

Поврзано

Наводи

Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., [1]

↑ Einicke, G. A. (2018). „Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running“. IEEE Journal of Biomedical and Health Informatics. 28 (4): 1097–1103. doi:10.1109/JBHI.2017.2711487. PMID 29969403.

[1] Einicke, G. A. (2018). „Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running“. IEEE Journal of Biomedical and Health Informatics. 28 (4): 1097–1103. doi:10.1109/JBHI.2017.2711487. PMID 29969403.

[1]