Основное
Вспомогательная страница к разделу ☞ ТЕОРИЯ ИНФОРМАЦИИ ПО ШЕННОНУ
«Условная энтропия» $ H_M $ представляет собой меру неопределенности опыта $ A_{M} $, состоящего в определении $ M $-й буквы текста при условии, что предшествующие $ M-1 $ букв нам известны. Естественно, что эта величина определяет степень трудности отгадывания $ M $-й буквы по $ M-1 $ предыдущим. Но эксперимент по отгадыванию $ M $-й буквы легко может быть поставлен: для этого достаточно выбрать $ (M-1) $-буквенный отрывок осмысленного текста и предложить кому-либо отгадать следующую букву. Подобный опыт может быть повторен многократно; при этом трудность отгадывания $ M $-й буквы может быть оценена с помощью среднего значения $ Q_M $ числа попыток, требующихся для нахождения правильного ответа.
Очевидно, что $ Q_M $ с возрастанием $ M $ может только уменьшаться; прекращение этого уменьшения будет свидетельствовать о том, что соответствующие опыты имеют одинаковую степень неопределенности, т.е. что $ H_M \approx H_{\infty} $. Шеннон провел ряд экспериментов, в которых $ M $ принимало значения $ 1, 2, 3, \dots,15 $ и $ 100 $. При этом он обнаружил, что отгадывание $ 100 $-й буквы по $ 99 $ предыдущим является заметно более простой задачей, чем отгадывание $ 15 $-й буквы по $ 14 $ предыдущим. Отсюда можно сделать вывод, что $ H_{15} $ ощутимо больше, чем $ H_{100} $. Впоследствии такие же опыты были произведены для $ M \in \{ 1,2,4,8,16,32,64,128 \} $ и $ M \approx 10\,000 $; результатом явился вывод, что величина $ H_{32} $ (так же как и $ H_{64} $ и $ H_{128}^{} $) практически не отличается от $ H_{10000} $, в то время как условная энтропия $ H_{16}^{} $ еще заметно больше этой величины.
Низкая избыточность может служить свидетельством богатства и яркости (неожиданности, нестандартности) литературного языка — однако слишком низкая избыточность языка произведения неизбежно будет восприниматься как нарочитая усложненность речи.
Синтаксис и семантика
Синтаксис часто определяют как раздел грамматики, изучающий порождение речи –– образование из ограниченного множества слов теоретически неограниченного множества предложений и текстов.
Семантика — раздел лингвистики, отвечающий на вопрос, каким образом человек, зная слова и грамматические правила какого-либо естественного языка, оказывается способным передать с их помощью самую разнообразную информацию о мире (в том числе и о собственном внутреннем мире), даже если он впервые сталкивается с такой задачей, и понимать, какую информацию о мире заключает в себе любое обращенное к нему высказывание, даже если он впервые слышит его.
Очень-очень вкусный пирог
Даниил Хармс
Я захотел устроить бал,
И я гостей к себе…
Купил муку, купил творог,
Испек рассыпчатый…
Пирог, ножи и вилки тут,
Но что-то гости…
Я ждал, пока хватило сил,
Потом кусочек…
Потом подвинул стул и сел
И весь пирог в минуту…
Когда же гости подошли,
То даже крошек…
Еще более низкую избыточность будет иметь «заумь» — язык, который придумывали в начале XX века русские футуристы
Весна с угощением
Алексей Кручёных
— Алла! Алла! Велик Алла! —
С часовни запел муэдзин,
— Хвала подателю тепла, Алла — а! —
Зима уходит опостылая!
Все церкви выпиты лужами
Выдувает Москву ветерок!
Вот, вот воробей п — о — н — а — т — у — ж — и — т — с — я
И станет совсем хорошая погода!..
В сарафане храсном Хатарина
Хитро — цветисто
Голосом нежней, чем голубиный пух под мышкою,
Приглашала дорогих гостей
И дородных приезжай:
— Любахари, любуйцы — помаюйте!
Бросьте декабрюнить!
С какой поры мы все сентябрим и сентябрим
Закутавшись в фуфайки и рогожи!..
Вот на столе пасхальном
Блюдоносном
Рассыпан щедрою рукою
Сахарный сохрун
Кусочки зользы
И сладкостный мизюль (мизюнь)
— Что в общежитьи называется ИЗЮМ! —
Вот сфабрикованные мною фру — фру,
А кто захочет — есть хрю — хрю
Брыкающийся окорок!..
А вот закуски:
Юненький сырок
Сырная баба в кружевах
И храсные
И голубые
Ю — юйца —
Что вам полюбится
То и глотайте!..
А муж ее
Угрыз Талыблы
Нижней педалью глотки
Добавил:
Любахари, блюдахари
Губайте вин сонливое соченье;
Вот крепкий шишидрон
И сладкий наслаждец!
А раньше чем пройтись по хересам,
Закуски —
Жареный зудак,
Средь моксы корчатся огромныесоленые зудавы
и агарышка с луком!
Для правоверных немцев всегда есть
ДЕР ГИБЕН ГАГАЙ КЛОПС ШМАК
АЙС ВАЙС ПЮС, КАПЕРДУФЕН —
БИТЕ!..……
А вот глазами рококоча,
Глядит на вас с укором
РОКОКОВЫЙ РОКОКУЙ!
Как вам понравится размашистое разменю
И наше блюдословье?!..
Погуще нажимайте
На мещерявый мещуй!
Зубайте все!
Без передышки!
Глотайте улицей
и переулками
до со — н — но — го отвала
Ы — АК!
В 60-е годы прошлого века обсуждался вопрос о сравнении избыточности прозаической и поэтической речи. Поэтическая форма (ритм, рифма) накладывает на язык некоторые дополнительные ограничения, т.е. повышает его избыточность. Сложно учесть влияние рифмы, но и здесь возможны грубые оценки. А.Н.Колмогоров производил оценку для классического русского четырехстопного ямба — этим стихом написан «Евгений Онегин»
И вот уже трещат морозы
И серебрятся средь полей…
(Читатель ждет уж рифмы розы;
На, вот возьми ее скорей!)
По его оценкам, выполнение требований, накладываемых поэтической формой, снижает «неопределенность» $ H_{\infty} $ одной буквы текста на довольно значительную величину, порядок которой сравним с половиной величины $ H_{\infty} $, подсчитанной для одной буквы «среднелитературного» текста.
Андрей Анатольевич Зализняк очень любил задавать студентам и сотрудникам разные лингвистические задачи. Одна из таких задач стала результатом бытовой ситуации. По пути на работу, А.А. на своем «Жигуленке» случайно подрезал какой-то грузовик. Водитель грузовика произнес некую речь. Приехав на работу, А.А. сразу собрал сотрудников сектора русского языка, обрисовал ситуацию и предложил следующую задачу: В переводе на русский литературный язык речь водителя грузовика звучит следующим образом:
«О,неосторожный, куда въехали? Что происходит? Вы что, ненормальный? Наказать бы Вас ударом по лицу, чтобы не вели себя так вызывающе».
Коллегам предлагалось по переводу восстановить оригинальный текст речи водителя грузовика, с учетом того, что все ее основные слова восходят к одному корню.