!!§!! Вспомогательная страница к разделу ☞ ((:shannon ТЕОРИЯ ИНФОРМАЦИИ ПО ШЕННОНУ)) ---- "Условная энтропия" $ H_M $ представляет собой меру неопределенности опыта $ A_{M} $, состоящего в определении $ M $-й буквы текста при условии, что предшествующие $ M-1 $ букв нам известны. Естественно, что эта величина определяет степень трудности отгадывания $ M $-й буквы по $ M-1 $ предыдущим. Но эксперимент по отгадыванию $ M $-й буквы легко может быть поставлен: для этого достаточно выбрать $ (M-1) $-буквенный отрывок осмысленного текста и предложить кому-либо отгадать следующую букву. Подобный опыт может быть повторен многократно; при этом трудность отгадывания $ M $-й буквы может быть оценена с помощью среднего значения $ Q_M $ числа попыток, требующихся для нахождения правильного ответа. Очевидно, что $ Q_M $ с возрастанием $ M $ может только уменьшаться; прекращение этого уменьшения будет свидетельствовать о том, что соответствующие опыты имеют одинаковую степень неопределенности, т.е. что $ H_M \approx H_{\infty} $. Шеннон провел ряд экспериментов, в которых $ M $ принимало значения $ 1, 2, 3, \dots,15 $ и $ 100 $. При этом он обнаружил, что отгадывание $ 100 $-й буквы по $ 99 $ предыдущим является заметно более простой задачей, чем отгадывание $ 15 $-й буквы по $ 14 $ предыдущим. Отсюда можно сделать вывод, что $ H_{15} $ ощутимо больше, чем $ H_{100} $. Впоследствии такие же опыты были произведены для $ M \in \{ 1,2,4,8,16,32,64,128 \} $ и $ M \approx 10\,000 $; результатом явился вывод, что величина $ H_{32} $ (так же как и $ H_{64} $ и $ H_{128}^{} $) практически не отличается от $ H_{10000} $, в то время как условная энтропия $ H_{16}^{} $ еще заметно больше этой величины. Низкая избыточность может служить свидетельством богатства и яркости (неожиданности, нестандартности) литературного языка --- однако слишком низкая избыточность языка произведения неизбежно будет восприниматься как нарочитая усложненность речи. ==Синтаксис и семантика== **Синтаксис** часто определяют как раздел грамматики, изучающий порождение речи –-- образование из ограниченного множества слов теоретически неограниченного множества предложений и текстов. **Семантика** --- раздел лингвистики, отвечающий на вопрос, каким образом человек, зная слова и грамматические правила какого-либо естественного языка, оказывается способным передать с их помощью самую разнообразную информацию о мире (в том числе и о собственном внутреннем мире), даже если он впервые сталкивается с такой задачей, и понимать, какую информацию о мире заключает в себе любое обращенное к нему высказывание, даже если он впервые слышит его. Очень-очень вкусный пирог Даниил Хармс Я захотел устроить бал, \\ И я гостей к себе... Купил муку, купил творог, \\ Испек рассыпчатый... Пирог, ножи и вилки тут, \\ Но что-то гости... Я ждал, пока хватило сил, \\ Потом кусочек... Потом подвинул стул и сел \\ И весь пирог в минуту... Когда же гости подошли, \\ То даже крошек... ---- Еще более низкую избыточность будет иметь "заумь" --- язык, который придумывали в начале XX века русские футуристы Весна с угощением Алексей Кручёных — Алла! Алла! Велик Алла! — С часовни запел муэдзин, — Хвала подателю тепла, Алла — а! — Зима уходит опостылая! Все церкви выпиты лужами Выдувает Москву ветерок! Вот, вот воробей п — о — н — а — т — у — ж — и — т — с — я И станет совсем хорошая погода!.. В сарафане храсном Хатарина Хитро — цветисто Голосом нежней, чем голубиный пух под мышкою, Приглашала дорогих гостей И дородных приезжай: — Любахари, любуйцы — помаюйте! Бросьте декабрюнить! С какой поры мы все сентябрим и сентябрим Закутавшись в фуфайки и рогожи!.. Вот на столе пасхальном Блюдоносном Рассыпан щедрою рукою Сахарный сохрун Кусочки зользы И сладкостный мизюль (мизюнь) — Что в общежитьи называется ИЗЮМ! — Вот сфабрикованные мною фру — фру, А кто захочет — есть хрю — хрю Брыкающийся окорок!.. А вот закуски: Юненький сырок Сырная баба в кружевах И храсные И голубые Ю — юйца — Что вам полюбится То и глотайте!.. А муж ее Угрыз Талыблы Нижней педалью глотки Добавил: Любахари, блюдахари Губайте вин сонливое соченье; Вот крепкий шишидрон И сладкий наслаждец! А раньше чем пройтись по хересам, Закуски — Жареный зудак, Средь моксы корчатся огромныесоленые зудавы и агарышка с луком! Для правоверных немцев всегда есть **ДЕР ГИБЕН ГАГАЙ КЛОПС ШМАК** **АЙС ВАЙС ПЮС, КАПЕРДУФЕН** — **БИТЕ!**..…… А вот глазами рококоча, Глядит на вас с укором **РОКОКОВЫЙ РОКОКУЙ**! Как вам понравится размашистое разменю И наше блюдословье?!.. Погуще нажимайте На мещерявый мещуй! Зубайте все! Без передышки! Глотайте улицей   и переулками до со — н — но — го отвала      Ы — АК! ---- В 60-е годы прошлого века обсуждался вопрос о сравнении избыточности прозаической и поэтической речи. Поэтическая форма (ритм, рифма) накладывает на язык некоторые дополнительные ограничения, т.е. повышает его избыточность. Сложно учесть влияние рифмы, но и здесь возможны грубые оценки. А.Н.Колмогоров производил оценку для классического русского четырехстопного ямба --- этим стихом написан "Евгений Онегин" ---- И вот уже трещат морозы И серебрятся средь полей... (Читатель ждет уж рифмы розы; На, вот возьми ее скорей!) ---- По его оценкам, выполнение требований, накладываемых поэтической формой, снижает "неопределенность" $ H_{\infty} $ одной буквы текста на довольно значительную величину, порядок которой сравним с половиной величины $ H_{\infty} $, подсчитанной для одной буквы "среднелитературного" текста. ---- ((https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BB%D0%B8%D0%B7%D0%BD%D1%8F%D0%BA,_%D0%90%D0%BD%D0%B4%D1%80%D0%B5%D0%B9_%D0%90%D0%BD%D0%B0%D1%82%D0%BE%D0%BB%D1%8C%D0%B5%D0%B2%D0%B8%D1%87 Андрей Анатольевич Зализняк)) очень любил задавать студентам и сотрудникам разные лингвистические задачи. Одна из таких задач стала результатом бытовой ситуации. По пути на работу, А.А. на своем "Жигуленке" случайно подрезал какой-то грузовик. Водитель грузовика произнес некую речь. Приехав на работу, А.А. сразу собрал сотрудников сектора русского языка, обрисовал ситуацию и предложил следующую задачу: В переводе на русский литературный язык речь водителя грузовика звучит следующим образом: "//О,неосторожный, куда въехали? Что происходит? Вы что, ненормальный? Наказать бы Вас ударом по лицу, чтобы не вели себя так вызывающе//". Коллегам предлагалось по переводу восстановить оригинальный текст речи водителя грузовика, с учетом того, что все ее основные слова восходят к одному корню.