|
Звуки и знакиИзвестие о том, что подброшенная в воздух монета упала гербом, принесет нам информацию ровно в один бит. Ведь log2 2 («орел» или «решка»?) равен 1, то есть одному биту. Известие о том, что выпала игральная карта трефовой, пиковой или другой из четырех мастей, принесет нам информацию в два бита, ибо log2 4 = 2. Сообщение об исходе ситуации, где были возможны (и равновероятны!) восемь вариантов, даст информацию в три бита (log2 8 = 3, или 2c = 8, а число битов и есть показатель степени числа два). Но эта мера удобна и верна лишь при условии, если все наши «выборы» равноправны, имеют одинаковую вероятность появления. И масть игральной карты, и любая грань кубика, и герб или решетка монеты выпадают с равной вероятностью. А как быть, если вероятности не равны? Хартли понимал, что вероятности исходов влияют на количество информации, которое несет сообщение. Почти невероятному исходу нельзя придавать такое же значение, как и самому правдоподобному. Но он считал, что различия между этими исходами нельзя выразить в числах ...» |
Код для вставки книги в блог HTML
phpBB
текст
|
|