Шеннона не интересовало семантическое понятие информации, согласно которому информация — это всегда информация о чем-то. Он сосредоточился скорее на формальном или синтаксическом понятии информации, где ключевым оказывается понятие о состоянии, выбранном из множества возможностей. Самым фундаментальным видом информации является бит, отражающий выбор между двумя возможностями: информацию, как утверждается, несет единичный бит (О или 1), выбранный в пространстве, имеющем два состояния. В более сложном случае аналогичным образом несет информацию «сообщение», такое как «0110010101», выбранное из пространства возможных бинарных сообщений. Согласно Шеннону, важна не какая-либо интерпретация этих состояний, а специфика состояния в пространстве различных возможностей.
Мы можем формализовать эту идею, обратившись к понятию информационного пространства. Информационное пространство — это абстрактное пространство, образованное множеством состояний, которые я буду называть информационными состояниями, и базовой структурой отношений различия между этими состояниями. Простейшее нетривиальное информационное пространство — это пространство, образованное двумя состояниями и их элементарным различием. Можно представить эти состояния в качестве двух «битов», 0 и 1. Их природа исчерпывается тем фактом, что эти состояния отличны друг от друга. То есть данное информационное пространство полностью характеризуется структурой его различия.
Другие информационные пространства более сложны. Усложнение может происходить двумя путями: допущением более сложной структуры различия между состояниями или допущением наличия внутренней структуры у самих состояний. Для иллюстрации первой возможности мы могли бы перейти к пространству с четырьмя состояниями — 0, 1, 2 и 3, для иллюстрации второй — к структурированному пространству с такими состояниями, как «110010101». Разумеется, эти способы можно было бы сочетать, что давало бы вдвойне усложненные состояния, вроде тех, что имеются в пространстве таких сообщений, как «233102032». Сейчас я более детально рассмотрю две этих разновидности усложнений.
Начнем с первой разновидности усложнения, где очевиднее всего оказывается существование пространств с тремя состояниями, с четырьмя состояниями и т. д., структура различия которых является естественным продолжением структуры различия пространства с двумя состояниями. К примеру, элемент А, В, С или D, выбранный в четырехэлементном пространстве, несет информацию тем же способом, каким несет информацию бит. Природа значков «А», «В» и т. д., конечно, не имеет здесь значения; существенна для данного пространства опять-таки лишь его структура.
Более важным обстоятельством является наличие континуальных информационных пространств, состояния которых представляют собой континуум, аналогичный континууму реальных чисел между 0 и 1. В таком пространстве имеется бесконечное множество состояний. Структура различия этого пространства гораздо сложнее, чем в предыдущих случаях: эта структура прямо соответствует топологии континуума, где какие-то состояния находятся между другими состояниями, какие-то состояния — ближе друг другу, чем иные состояния и т. д. Но, как и прежде, мы можем считать информативной любую точку, выбранную из этого континуума.
Структура информационного пространства может быть и двумерным или многомерным континуумом, аналогичным структуре региона n — мерного пространства. Информацию будет нести, к примеру, единичная точка, выбранная из региона трехмерного пространства. В самом общем случае эта структура может быть задана структурой произвольного топологического пространства, по сути, являющегося неким множеством с отношениями «близости» или «соседства». Детали этого, впрочем, не будут иметь такого уж большого значения в дальнейшем, так как я буду говорить об интуитивно привычных структурах, таких как структура континуума.
Второй тип усложнения предполагает состояния с внутренней структурой. Они образованы множеством более базовых состояний, которые я буду называть элементами. Пример — пространство десятибитных состояний, аналогичных таким «сообщениям», как «1001101000». Каждое состояние образовано здесь десятью элементами, и каждый элемент можно рассматривать так, будто он включается в свое собственное подпространство двух состояний, соответствующее изначальному пространству, содержащему два состояния. Данное информационное пространство можно трактовать в качестве некоего продукта десяти подпространств, каждое из которых является самодостаточным информационным пространством.
Могут быть и более интересные внутренние структуры. Так, информационное состояние могло бы иметь континуальную внутреннюю структуру, будучи своего рода континуальным аналогом обсуждавшейся выше десятиэлементной структуры. Подобное состояние обладало бы бесконечным множеством элементов, каждый из которых включался бы в свое собственное подпространство. Соответствующее информационное пространство можно было бы представить как что-то родственное пространству функций в континууме (каждому значению которых соответствовало бы свое подпространство) или в более сложном континуальном пространстве.
Может быть и так, что подпространства были бы сложны в первом из упомянутых выше смыслов: элементы каждого подпространства могли бы, к примеру, распределяться в континууме. Так что здесь есть место для двух одновременно существующих уровней сложности. Скажем, каждое состояние могло бы быть образовано континуальной структурой элементов, каждый из которых мог бы принимать те или иные значения в континуальном подпространстве. Информационное состояние этого пространства могло бы рассматриваться в виде волновой формы или какой-то другой функции с континуальной областью определения и амплитудой: это непрерывный аналог описанных выше дискретных «сообщений».
В самом общем случае у информационного пространства будет два вида структуры: каждое комплексное состояние могло бы иметь внутреннюю структуру, и каждый элемент этого состояния принадлежал бы подпространству со своей структурой топологического различия. Первую из них можно было бы назвать комбинаторной структурой этого пространства, вторую — реляционной структурой подпространств. Каждое подпространство будет, как правило, иметь одну и ту же реляционную структуру, так что мы можем говорить просто о реляционной структуре самого пространства. Общая структура пространства задается соединением комбинаторных и реляционных структур. Зачастую я буду ограничиваться рассмотрением информационных пространств с одной лишь реляционной, а не комбинаторной структурой — когда в информационном состоянии есть только один элемент — так как это намного упрощает обсуждение.
Эта модель совершенно обходит стороной понятие семантического содержания, так что обсуждаемая здесь разновидность информации в лучшем случае имеет косвенное отношение к семантической разновидности информации, которая рассматривалась такими философами, как Дретске (Dretske 1981) и Барвайс с Перри (Barwise and Perry 1983).
Не исключено, что данную модель можно было бы расширить таким образом, чтобы она включала семантический элемент — привязывая к каждому информационному состоянию некое семантическое содержание — но в имеющемся виде эта модель независима от семантических соображений.
Данная формализация фиксирует идею Шеннона о том, что информация существенным образом предполагает состояние, выбранное из множества возможностей (в реляционной структуре пространства), а также фиксирует ту идею, что сложная информация может быть составлена из простой (в комбинаторной структуре пространства). Единичный бит, по Шеннону, может быть информацией не менее, чем длинное «сообщение» типа «10011010». Шеннон также рассматривает случай, когда информация содержится в континуальном пространстве, или в пространстве функций с континуальной областью определения. В каждом случае существен выбор одного элемента в пространстве контрастирующих возможностей.
