Чем отличается формула хартли от формулы шеннона?

Формулы Хартли и Шеннона являются фундаментальными в теории информации, определяя способы измерения количества информации. Основное различие между ними заключается в том, как они учитывают вероятность наступления событий. 1. Формула Хартли Формула Хартли используется для систем, в которых все возможные состояния равновероятны. Она была предложена Ральфом Хартли в 1928 году. Математическая запись: $I={\log }_{2}N$

• $I$ — количество информации (в битах).
• $N$ — общее количество возможных равновероятных событий (состояний).

Особенности:

• Предполагает, что у каждого исхода одинаковый шанс на реализацию ( $P=1/N$). Отражает структурный подход: чем больше вариантов выбора, тем больше информации несет выбор одного из них. Применяется в идеализированных случаях, когда неопределенность распределена равномерно.

2. Формула Шеннона Клод Шеннон в 1948 году расширил подход Хартли, введя понятие информационной энтропии для систем, где события имеют разную вероятность появления. Математическая запись: $H=-\sum _{i=1}^n{p}_i{\log }_2{p}_i$

• $H$ — энтропия (среднее количество информации на один символ).
• $p_i$ — вероятность наступления $i$-го события. $n$ — общее количество возможных событий.

Особенности:

• Учитывает «неожиданность» события: маловероятные события несут больше информации, чем часто повторяющиеся.
• Если одно из событий имеет вероятность 100%, энтропия равна нулю (информации нет, так как результат предсказуем).
• Является более универсальной и включает в себя формулу Хартли как частный случай.

Ключевые различия

Практический пример Представьте алфавит из 4 букв (А, Б, В, Г).

• По Хартли: Если каждая буква встречается с вероятностью 25%, то одна буква несет ${\log }_{2}4=2$ бита информации. По Шеннону: Если буква «А» встречается в 90% случаев, а остальные три — крайне редко, то среднее количество информации на букву будет значительно меньше 2 бит, так как появление «А» почти не устраняет неопределенность.

Я могу составить для вас таблицу расчета энтропии Шеннона для конкретных значений вероятностей, если вам нужно увидеть математическую разницу в цифрах.