Новые информационные технологии и системы их автоматизации

энтропия  равна нулю, когда  одно из событий достоверно, а другие невозможны; 

энтропия  максимальна, когда  все возможные  события равновероятны, и растет с увеличением  числа равновероятных состояний; 

энтропия  обладает свойством  аддитивности, т.е. энтропию независимых систем можно складывать. 

Поясним каждое из перечисленных  свойств. 

Если  ситуация полностью  ясна, то никакой  неопределенности нет, и энтропия в этом случае равна нулю. Например: если ток  в цепи равен 10А, то он не может быть одновременно равным 5А. 

На  этом примере можно  пояснить и второе свойство. Если одно из событий ожидается  с очень малой  вероятностью, например, Р1 = 0,01, а другое с высокой, например, Р2 = 0,99, то неопределенность невелика, т.к. почти наверняка получим второе сообщение. 

Если  же оба события  равновероятны и  Р1 = Р2 = 0,5, то уже нет уверенности, что будет получено какое - то из сообщений, т.е. неопределенность возрастает. Очевидно, что неопределенность возрастает, если вместо одного из двух сообщений может прийти одно из трех, четырех и более. 

Сообщения источника обладают избыточностью. Дело в том, что отдельные  знаки сообщения  находятся в определенной статической связи. Так, в словарях русского языка после двух подряд стоящих согласных  букв более вероятна гласная, а после  трех подряд согласных  наверняка будет  гласная. Избыточность позволяет представлять сообщения в более  экономной, сжатой форме. Мера возможного сокращения сообщения без  потери информации за счет статистических взаимосвязей между  его элементами определяется избыточностью. Понятие  избыточность применимо  не только к сообщениям или сигналам, но и к языку в  целом, коду (алфавит  любого языка и  слова, составленные из его букв, можно  рассматривать как  код). Например, избыточность европейских языков достигает 60 – 80%. 

Наличие избыточности в сообщении  часто оказывается  полезным и даже необходимым, т.к. позволяет обнаруживать и исправлять ошибки, т.е. повысить достоверность  воспроизведения  его. Если избыточность в сообщении не используется для повышения достоверности, то она должна быть исключена. Это достигается использованием специального статистического кодирования. При этом избыточность сигнала уменьшается по отношению к избыточности сообщения. 

Избыточное  кодирование уменьшает  неопределенность воспроизведения  передаваемого сообщения, т.е. уменьшает ошибки при его приеме. 

Избыточностью кода называют разность между средней  длинной слова  и энтропией. 

Избыточность  находят следующим  образом: 

R=1-Hф/Hм, где: 

Hф - фактическая энтропия, 

Hм - максимальная энтропия. 
 

Кодирование 

Идея  кодирования возникла давно и преследовала в основном быстроту и секретность  передачи информации. В современных  условиях кодирование  используется и для  создания условий, обеспечивающих надежную и экономичную  передачу сообщений  по каналам связи. 

Под кодированием понимают процедуру сопоставления  дискретному сообщению  вида: ai (i=1, 2, 3, …,к) определенной последовательности кодовых символов, выбираемых из конечного множества различных элементарных кодовых символов: bi (i=1, 2, 3, …,m). 

В кодировании используются различные системы  счисления. 

Из  всех систем счисления  практическое назначение имеют: двоичная (R=2), троичная (R=3), четверичная (R=4), восьмеричная (R=8) и десятичная (R=10). Кроме этих систем, человек издавна пользуется двенадцатиричной системой, отсчитывая время, и шестидесятиричной для отсчета углов. Во всех системах используется различное количество цифр. Например: в двоичной используется две цифры: 0 и 1 (011001). Представление машинных кодов производится в шестнадцатеричной системе счисления, где для кодирования информации используется сочетание цифр (0, 1, 2, …9) и букв (A, B, C, D, E, F). 

В кодировании используются различные типы кодов: равномерный, неравномерный, избыточный, безизбыточный, помехоустойчивый, оптимальный. 

Повышение коэффициента использования  канала достигается  за счет создания оптимального кода, т.е. вероятность  встречаемости элементов  одинакова. 

Базовыми  являются коды Морзе  и Шеннона - Фанно. 

Код Морзе: наиболее часто  встречающимся знакам присваиваются наименее короткие и наоборот. 

Код Шеннона – Фанно: принцип кодирования состоит в следующем: множество кодируемых знаков разбиваются на две группы, так, чтобы вероятности их встречаемости были одинаковыми 
 

«Единицы  измерения информации. Системы исчисления»

В мире существует пока что 2 вида информации аналоговая и цифровая. Аналоговая - это  та информация которую  воспринимаем мы посредством  наших сенсоров (видим, нюхаем, трогаем, пробуем  на вкус, слышим), цифровая - это информация отраженная в зашифрованном виде. Компьютер работает с цифровой информацией. То есть для того чтобы передать нам рисунок он должен сначала его закодировать в набор чисел, а потом уже раскодировать обратно чтобы вывести на экран монитора. Возьмем к примеру обычные символы. Например когда мы набираем какой-нибудь текст то каждый символ (буква, цифра, знак) имеет свой код. Ведь не надо придумывать несколько сотен тысяч символов для каждого символа каждого языка отдельно. Язык цифр может упростить все. Даже у каждого цвета есть своя цифра, а человеческий глаз может отличит около 16 миллионов цветов. Так что вот почему компьютеры пользуются цифровой информацией. Теперь подробнее о способах измерения информации. Длину мерят метрами и километрами, вес граммами, килограммами и тоннами, надо же информацию чем то мерить вот и придумали специальные единицы измерения биты, байты, килобайты и т.д. Бит (от английского binary digit - двойной разряд, соответственно 0 и 1) означает самую маленькую единицу измерения.

1 байт - 8 бит

1 КБ (Килобайт) - 1024 Байт

1 МБ (Мегабайт) - 1024 КБ

1 ГБ (Гигабайт) - 1024 МБ

1 ТБ (Терабайт) - 1024 ГБ

Компьютерная  система исчисления немного отличается от обычной. В компьютерной системе все исчисления происходят по двоичной системе, т.е. 2-4-8-16-32-64-128-256-512-1024. Вот поэтому ученые и взяли за основу цифру 1024.

Информация  единицы измерения  количества информации служат для измерения  объёма информации -- величины, исчисляемой логарифмически. Чаще всего информация единицы измерения количества информации касается объёма компьютерной памяти и объёма данных, передаваемых по цифровым каналам связи. Единица -- бит -- является основой исчисления информации в цифровой технике. Особое название имеет 4 бита -- ниббл (полубайт, тетрада, четыре двоичных разряда), которые вмещают в себя количество информации, содержащейся в одной шестнадцатеричной цифре. Итак, информация о единицах измерения количества информации будет выглядеть следующим образом: байт, килобайт, мегабайт, гигабайт. Понятия информация и единицы измерения количества информации и качество информации тесно связаны между собой. Вопрос выбора информации, единицы измерения количества информации фактически равнозначен выбору основания для логарифма количества состояний. Следует также заметить, что информация, единицы измерения количества информации случайной величины точно равна логарифму количества состояний лишь при равномерном распределении. Во всех прочих случаях количество информации будет меньше.

И конечно система  счисления - это способ записи (изображения) чисел. Различные  системы счисления, которые существовали раньше и которые  используются в настоящее  время, делятся на две группы:

· Позиционные;

· Непозиционные.

Наиболее  совершенными являются позиционные системы  счисления - системы  записи чисел, в которых  вклад каждой цифры  в величину числа  зависит от ее положения (позиции) в последовательности цифр, изображающей число.

Наша  привычная десятичная система является позиционной.

В числе 34 цифра 3 обозначает количество десятков и «вносит» в величину числа 30: 3?10 + 4 = 34

В числе 304 цифра 3 обозначает количество сотен  и «вносит» в величину числа 300: 3?100 + 4 = 304

Системы счисления, в которых  каждой цифре соответствует  величина, не зависящая  от ее места в записи числа, называются непозиционными.

Непозиционной системой счисления  является римская  система записи чисел. XXXIV = 10+10+10-1+5 = 3?10 + -1 +5 = 34

Позиционные системы счисления - результат длительного  исторического развития непозиционных систем счисления. 
 
 

Кодирование информации 

С появлением языка, а  затем и знаковых систем расширились  возможности общения  между людьми. Это  позволило хранить  идеи, полученные знания и любые данные, передавать их различными способами на расстояние и в другие времена  — не только своим  современникам, но и  будущим поколениям. До наших дней дошли  творения предков, которые  с помощью различных  символов увековечили  себя и свои деяния в памятниках и  надписях. Наскальные рисунки (петроглифы) до сих пор служат загадкой для ученых. Возможно, таким способом древние люди хотели вступить в контакт  с нами, будущими жителями планеты  и сообщить о событиях их жизни. 

Каждый  народ имеет свой язык, состоящий из набора символов (букв): русский, английский, японский и многие другие. Вы уже познакомились  с языком математики, физики, химии. 

Представление информации с помощью  какого-либо языка  часто называют кодированием. 

Код — набор символов (условных обозначений) дли  представления информации. Кодирование —  процесс представления  информации в виде кода. 

Водитель  передает сигнал с  помощью гудка  или миганием фар. Кодом является наличие  или отсутствие гудка, а в случае световой сигнализации — мигание  фар или его  отсутствие. 

Вы  встречаетесь с кодированием информации при переходе дороги по сигналам светофора. Код определяют цвета светофора  — красный, желтый, зеленый. 

В основу естественного  языка, на котором  общаются люди, тоже положен код. Только в этом случае он называется алфавитом. При разговоре  этот код передается звуками, при письме — буквами. Одну и  ту же информацию можно  представить с  помощью различных  кодов. Например, запись разговора можно  зафиксировать посредством  русских букв или  специальных стенографических значков. 

По  мере развития техники  появлялись разные способы  кодирования информации. Во второй половине XIX века американский изобретатель Сэмюэль Морзе изобрел удивительный код, который служит человечеству до сих пор. Информация кодируется тремя «буквами»: длинный сигнал (тире), короткий сигнал (точка) и отсутствие сигнала (пауза) для разделения букв. Таким образом, кодирование сводится к использованию набора символов, расположенных в строго определенном порядке. 

Люди  всегда искали способы  быстрого обмена сообщениями. Для этого посылали гонцов, использовали почтовых голубей. У  народов существовали различные способы  оповещения о надвигающейся  опасности: барабанный бой, дым костров, флаги и т. д. Однако использование такого представления информации требует предварительной  договоренности о  понимании принимаемого сообщения. 

Знаменитый  немецкий ученый Готфрид  Вильгельм Лейбниц  предложил еще  в XVII веке уникальную и простую систему  представления чисел. «Вычисление с помощью двоек... является для науки основным и порождает новые открытия... при сведении чисел к простейшим началам, каковы 0 и 1, везде появляется чудесный порядок». 

Сегодня такой способ представления  информации с помощью  языка, содержащего  всего два символа  алфавита — 0 и 1, широко используется в технических  устройствах, в том  числе и в компьютере. Эти два символа 0 и 1 принято называть двоичными цифрами  или битами (от англ. bit  — Binary Digit - двоичный знак). 

Инженеров такой способ кодирования  привлек простотой  технической реализации — есть сигнал или  нет сигнала. С  помощью этих двух цифр можно закодировать любое сообщение.