519.9
519.9
СМАГИН В.А.
Предложена вероятностная передаточная функция в виде отношения энтропий на выходе и входе элемента. Исследованы передаточные функции логических и функциональных операторов. Построена матричная модель оценивания свойств информационной сети.
ЭНТРОПИЙНЫЙ МЕТОД ИССЛЕДОВАНИЯ ИНФОРМАЦИОННЫХ
СЕТЕВЫХ СТРУКТУР
Введение. Информатизация общества неразрывно связана с информатизацией науки. Она должна опираться на дальнейшее развитие количественных методов исследования информации[1].Теория информации является составной частью кибернетики.Общепризнано,что она одна из фундаментальных теорий, имеющих общее значение. Положение в ней таково, что хорошо изученными могут считаться процессы передачи и хранения информации, из процессов преобразования рассмотрены лишь наиболее простые (перекодирование, линейное предсказание, квантование и др.). Вопросы использования информации в современных сложных информационно- вычислительных системах, сложных управленческих, социальных и биологических системах пока практически остаются вне рамок теории информации. Одной из причин этого является отсутствие принятия во внимание особенностей информации: осмысленности, степени истинности, ценности и т.п.[2].
В технической кибернетике, точнее в теории автоматического регулирования, широкое распространение получил метод передаточных функций[3]. Он позволяет на основе передаточных функций элементарных звеньев изучать структуры сложных систем управления, производить их синтез по определенным критериям качества, а также решать и некоторые другие задачи. Передаточная функция это отношение изображений в частотной области выходной переменной ко входной переменной. Несмотря на высокую результативность применения в технике метод передаточных функций в силу ряда трудностей не нашел достойного практического применения в сложных информационных системах, системах массового обслуживания,социальных, биологических системах и даже в современных широко используемых вычислительных системах, особенно иерархической, сетевой структуры. Тем не менее, теоретиками кибернетики неоднократно высказывалась мысль о построении и использовании аналогов передаточных функций в указанных выше сложных системах, теории алгоритмов на основе положений теории информации. На наш взгляд эти соображения заслуживают внимания и нуждаются в изучении.
Целью данной статьи является попытка построить элементарную теорию прикладного характера, дающую возможность исследовать различные информационные системы сетевой структуры. В рамках выполненного исследования мы не претендуем на исключительную оригинальность, единственность предлагаемого подхода, но надеемся, что он послужит необходимым импульсом возбуждения для других авторов с целью их научного изыскания в данной интересной и практически важной области знаний.
Передаточные функции элементарных логических операторов. В технической кибернетике аргументом передаточной функции служит комплексная величина. В нашем случае аргументом передаточной функции является вероятность. Под передаточной функцией логического элемента будем понимать отношение энтропии выходного сигнала элемента к суммарной энтропии его входных сигналов. По сути это энтропийный коэффициент передачи элемента при заданных вероятностях появления сигналов на его входах. Этот коэффициент передачи по аналогии назван передаточной функцией.
Рассмотрим простейший логический элемент
–логическое „И“(конъюнктор) на два входа. Если x
, y означают
его входные и выходную переменные, то y=x
&x
. Для простоты
анализа полагаем, что не снижает общности,
вероятность появления сигналов x
и x
одинакова и равна p. Входы статистически
независимы. Тогда энтропийная передаточная
функция будет равна:
W
.(1)
Количество информации, полученной на выходе элемента, равно разности энтропий на входах и выходе элемента:
. (2)
На рисунке 1 показаны зависимости (1) и(2).
Рис.1.
Если рассмотреть элемент Шеффера y=
, то придем к тем же зависимостям (1) и
(2).
Рассмотрим элемент „ИЛИ“(дизъюнктор) с двумя входами. Имеем y
=x
v x
. Энтропийная передаточная
функция данного элемента будет равна:
W
, (3)
а количество информации, получаемой на его выходе, равно:
I
.
На рисунке 2 представлены зависимости (3) и (4).
-
Рис.2.
Если рассмотреть элемент стрелка Пирса 
то придем к тем же зави-
cимостям (3) и (4).
Рассмотрим мажоритарный элемент с одним видом отказов
Энтропийная передаточная функция этого элемента равна:
W
,
а количество информации, получаемой на его выходе, равно:
I
На рисунке 3 показаны зависимости (5) и (6).
Рис.3.
Рассмотрим мажоритарный элемент с двумя видами отказов составляющих элементов, считая отказы по нулю и единице равновероятными. Энтропийная передаточная функция данного элемента и количество информации на его выходе будут равны:
W
I
Зависимости (7)
и (8) показаны на рисунке 4.
Рис.4.
При выводе формул (1)-(8) использовалось основание натуральных логарифмов.
Из представленных рисунков следуют общие выводы:
-величина энтропийной передаточной функции W(p)
-количество информации на выходе элемента может быть как меньше, так и больше единицы (в нитах).
Из графиков также следует, что чем меньше значения передаточных функций элементов по энтропии, тем больше значения информации на их выходах. Количество информации на выходе элемента зависит от типа элемента, числа его входов и способа организации взаимодействия входных сигналов.
Можно также установить, что последовательное соединение логических элементов только уменьшает значение передаточной функции соединения, а количество информации на выходе соединения по отношению к количеству информации на входах первого элемента возрастает с увеличением сложности соединения.
Если принять во внимание положение теории информации о том, что количество информации есть мера снятой неопределенности об объекте, то можно прийти к выводу, что мажоритарный элемент по отношению к конъюнктору (или дизъюнктору) более ,,организован’’, то есть обладает большей степенью организации его структуры. Последовательное соединение логических элементов в этом смысле является более организованной структурой по отношению к элементу и степень его организации тем выше, чем сложнее это соединение. Действительно, реализуя вычислительный процесс
(алгоритм) определенной природы в условиях большой неопределенности исходных данных, мы получаем тем большее количество информации, чем больше исходная неопределенность и сложнее процесс вычислений (большее количество операций).Элементарный функциональный оператор. В предыдущем разделе были рассмотрены логические операторы, являющиеся существенно нелинейными преобразователями сигналов. В данном разделе изучим простейший функциональный оператор, который может быть как нелинейным, так и линейным. Термин простейший означает, что оператор имеет один вход и один выход. Это принято для простоты количественного исследования его передаточной функции и количества информации на его выходе.
Пусть известен оператор A с функциональным
преобразованием y=?(x) входного сигнала x
, определенного плотностью
вероятности 
Выходная
переменная y
определена плотностью вероятности 
Преобразование
?(x) будем
считать однозначным и монотонным в области D
. Найдем выражение для
энтропийной передаточной функции оператора A.
Согласно нашему допущению ?(x) имеет однозначную
обратную функцию и ее конечную производную.
Поэтому согласно [4] 
можно
представить в виде
(9 )
где 
-дельта-функция
Дирака. Поэтому выражение для передаточной
функции оператора A равно:
W
=
а количество информации на выходе оператора по отношению ко входу определяется как
I
В качестве примеров рассмотрим два простейших нелинейных оператора.
1).y=x
W
=
I
На рисунке 5 показаны зависимости
W
I
Рис.5.
2).
W
I
На рисунке 6 показаны
зависимости W
I
Рис.6.
Рассмотрим также линейный оператор. Пусть 
Тогда
W
I
.
На рисунке 7
показаны зависимости W
I
Для k=5
Для к=0,2
.
Рис..7.
Для значений параметра равномерного
распределения 
>1 из
представленных графиков на рисунках можно
сделать следующие общие выводы:
-функциональный оператор в отличие от логического оператора может иметь величину энтропийной передаточной функции как меньше, так и больше единицы;
-величина энтропийной передаточной функции больше единицы у оператора с выпуклой вниз функцией, а также у линейного оператора с коэффициентом пропорциональности большим единицы;
- величина энтропийной передаточной функции меньше единицы у оператора с выпуклой вверх функцией и линейного оператора с коэффициентом пропорциональности меньшим единицы;
-количество информации на выходе оператора
характеризуется противоположной тендецией
изменения по сравнению с энтропийной
передаточной функцией.Как следует из рисунков
оно может быть и отрицательным (для y=x
и y=kx при
k>1).
Замечание. Если функциональный оператор будет иметь не одну входную переменную, а две или более, то рассуждая аналогично можно построить энтропийную передаточную функцию и для этих случаев.Принципиальной трудности это не вызывает. Если входные переменные оператора будут зависимыми, то выкладки при выводе энтропийных передаточных функций усложнятся, но и это не является принципиальной трудностью для их получения.
Информационная сеть. В дальнейшем будем полагать, что операторы образуют последовательностную структуру, передавая информацию с выхода предыдущего оператора на вход следующего оператора. Разрешается ветвление передачи от оператора к нескольким последующим операторам с определенной вероятностью, включая и обратные связи выходов последующих операторов на входы предыдущих операторов. Параллелизм работы и одновременная обработка информации несколькими операторами невозможны. Таким образом, мы имеем дело с последовательной реализацией функций операторов на некоторой, в общем то случайной траектории. Направление движения в сети определяется либо условиями ветвления на основе результата обработки информации, либо условиями управления.
Напомним, что величины передаточных функций могут быть меньше или больше единицы, не носят вероятностного характера. Но важно то, что передаточная функция последовательно соединенных операторов определяется произведением передаточных функций отдельных операторов. Ветвление передач между операторами может определяться либо значениями вероятностей, либо значениями относительных энтропий. Величина относительной энтропии определяется следующим образом. Пусть оператор i передает управление оператору j с вероятностью
или
оператору k с вероятностью 
, 
1. Тогда условные энтропии
передач от оператора i к операторам j и k ,будут
равны:
(12)
Если проанализировать сравнение 
то можно установить, что в области
малых значений p коэффициенты r будут несколько
меньше, напротив, в области больших значений p
коэффициенты r будут несколько больше значений p.
Таким образом, энтропийная трактовка переходов между операторами уменьшает их относительную неопределенность при малых значениях вероятностей и увеличивает при больших значениях вероятностей. Использование относительных энтропий переходов может быть оправдано лишь введением одинакового энтропийного подхода и к операторам и к переходам между ними при исследовании сети.
В дальнейшем будем пользоваться величинами 
Формальная постановка и
решение задачи определения энтропийной
передаточной функции сложной информационной
сети сводится к следующему. Рассмотрим структуру
сети, состоящую из М узлов, представленную в виде
ориентированного графа,нулевая вершина которого
(исток) идентифицирует источник исходной
информации, вершины 1,2,…,М-узлы сети, а (М+1)-я
вершина сети-выход (сток) сети. Переходы
информации между узлами случайны, задаются
стохастической матрицей вероятностей переходов 
или матрицей
относительных энтропий переходов 
В любом узле, кроме 1 и (М+1),
реализуется определенный оператор
преобразования информации. Зная структуру сети,
ее элементарные операторы и относительные
энтропии переходов между узлами сети, требуется
определить энтропийную передаточную функцию
сети, а также количество информации на ее выходе
по отношению ко входу сети.
Введем матрицу, характеризующую структуру сети [5]:
.
G=
Каждый элемент матрицы 
равен произведению коэффициента
относительной энтропии перехода от i-го
оператора к j-му оператору на энтропийную
передаточную функцию i-го оператора.
Передаточные функции 0 и M+1 операторов
приравниваются к единице. Передаточная функция
от i-го до j-го оператора сети будет равна элементу
с номером (i,j) матрицы T=G
+
=
1(1-G)
где 1-единичная матрица. Элемент с
номером (i,j)-W
будет
равен:
W
(13)
где 
алгебраическое
дополнение элемента с номером (i,j) матрицы (
(от нулевого
оператора до M+1 оператора), то из (13) следует:
W
(14)
Количество информации, получаемой на выходе сети, будет равно:
I
(15)
где H
энтропия на
входе сети. Тогда
I
. (16)
Количество информации на выходе сети, отнесенное к величине энтропии на ее входе, будем называть информационным коэффициентом передачи сети (аналог коэффициента полезного действия в энергетике [6]):
K
(17)
Таким образом, если известна топологическая
структура информационной сети, матрица
коэффициентов 
операторы
всех узлов сети, то пользуясь выражениями,
приведенными выше, можно найти энтропийную
передаточную функцию сети в целом, или, в
частности, между двумя любыми ее узлами-нужным
направлением информационного преобразования.
Пример. Требуется найти энтропийную передаточную функцию сети, граф переходов которой изображен на
рисунке 8.
Рис. 8
Решение поставленной задачи в общем виде на основании полученных выше выражений примет вид:
W
где 
энтропийные
передаточные функции операторов узлов,
определяемые
как было показано в п.„ Элементарный
функциональный оператор“, а 
относи-тельные энтропийные коэффициенты
передач, определяемые в соответствии с (12).
Количество информации, полученное на выходе узла 4, определится по формуле:
(19)
энтропии
на выходах 0 и 4 операторов узлов. Окончательно
будем иметь
I
а информационный коэффициент передачи сети будет равен:
(21)
Этим завершается решение прямой задачи-задачи анализа сети. На практике часто интересует решение обратной задачи -задачи синтеза сети при некоторых ограничениях на ресурсы сети или задачи достижения требуемого значения показателя качества сети при минимуме ресурсов. Для решения обратной задачи необходимо знать зависимости энтропийных передаточных функций от величины ресурсных затрат
W
(22)
где 
k-ый вид затрат.
При этом можно управлять либо областью задания
переменных операторов, либо видом законов
распределения этих переменных, либо видом
функциональных зависимостей операторов и т.д.
При наличии функций (22) оптимизационные задачи
решаются известными методами.
СПИСОК ЛИТЕРАТУРЫ
1. Юсупов Р.М.,Заболоцкий В.П. Научно-методические основы информатизации. -СПб.: Наука. -2001.-456c.
2.Тарасенко Ф.П. Введение в курс теории информации. -Томск.: Изд.Томского университета.-1963.-240c.
3. Красовский А.А.,Поспелов Г.С. Основы автоматики и технической кибернетики.-М.-Л.: ГЭИ. -1962.-600c.
4. Пугачев В.С. Теория случайных функций.-М.: ГИФМЛ.-1962.-884c.
5. Смагин В.А. Техническая синергетика. Вып.1.Вероятностные модели элементов сложных систем. -СПб.:ВИКУ. -2000.-63c.
6. Горский Ю.М. Cистемно-информационный анализ процессов управления. -Новосибирск: Наука, Сибирское отделение. -1988.-328c
.
Только подписка гарантирует Вам оперативное получение информации о новинках данного раздела
Нужное: Услуги нянь Коллекционные куклы Уборка, мытье окон
