Новосибирский Государственный Университет
Опубликован: 25.07.2006 | Доступ: свободный | Студентов: 2864 / 441 | Оценка: 4.21 / 3.83 | Длительность: 11:03:00
ISBN: 978-5-9556-0069-7
Специальности: Программист, Математик
Лекция 10:

Цепи Маркова

< Лекция 9 || Лекция 10: 1234 || Лекция 11 >

Цепи Маркова

Орграфы возникают во многих жизненных ситуациях. Не пытаясь охватить большое число таких ситуаций, ограничимся рассмотрением одной из них. Интересующихся данными приложениями отошлем к главе 6 книги Басакера и Саати "Конечные графы и сети".М.: Наука. 1974.

Задача, которую мы рассмотрим, интересна сама по себе, а отчасти рассматриваем мы ее из-за того, что ее изложение не требует введения большого количества новых терминов.

Рассмотрим задачу об осле, стоящем точно между двумя копнами: соломы ржи и соломы пшеницы (рис. 10.5).

Осел стоит между двумя копнами: "Рожь" и "Пшеница" (рис. 10.5). Каждую минуту он либо передвигается на десять метров в сторону первой копны (с вероятностью 1/2 ), либо в сторону второй копны (с вероятностью 1/3 ), либо остается там, где стоял (с вероятностью 1/6 ); такое поведение называется одномерным случайным блужданием. Будем предполагать, что обе копны являются "поглощающими" в том смысле, что если осел подойдет к одной из копен, то он там и останется. Зная расстояние между двумя копнами и начальное положение осла, можно поставить несколько вопросов, например: у какой копны он очутится с большей вероятностью и какое наиболее вероятное время ему понадобится, чтобы попасть туда?


Рис. 10.5.

Чтобы исследовать эту задачу подробнее, предположим, что расстояние между копнами равно пятидесяти метрам и что наш осел находится в двадцати метрах от копны "Пшеницы". Если места, где можно остановиться, обозначить через E_{1} \dts E_{6} ( E_{1},E_{6} — сами копны), то его начальное положение E_{4} можно задать вектором x=(0,0,0,1,0,0), i -я компонента которого равна вероятности того, что он первоначально находится в E_{i}. Далее, по прошествии одной минуты вероятности его местоположения описываются вектором (0,0,1/2,1/6,1/3,0), а через две минуты — вектором (0,1/4,1/6,13/36,1/9,1/9). Ясно, что непосредственное вычисление вероятности его нахождения в заданном месте по прошествии k минут становится затруднительным. Оказалось, что удобнее всего ввести для этого матрицу перехода.

\begin{pmatrix}
{1} & {0} & {0} & {0} & {0} & {0} \\
{1/2} & {1/6} & {1/3} & {0} & {0} & {0} \\
{0} & {1/2} & {1/6} & {1/3} & {0} & {0} \\
{0} & {0} & {1/2} & {1/6} & {1/3} & {0} \\
{0} & {0} & {0} & {1/2} & {1/6} & {1/3} \\
{0} & {0} & {0} & {0} & {0} & {1}
\end{pmatrix}

Пусть p_{ij}вероятность того, что он переместится из E_{i} в E_{j} за одну минуту. Например, p_{23} =1/3 и p_{24} =0. Эти вероятности p_{ij} называются вероятностями перехода, а (6\times 6) -матрицу P=(p_{ij}) называют матрицей перехода. Заметим, что каждый элемент матрицы P неотрицателен и что сумма элементов любой из строк равна единице. Из всего этого следует, что x — начальный вектор-строка, определенный выше, местоположение осла по прошествии одной минуты описывается вектором-строкой xP, а после k минут — вектором xP^{k}. Другими словами, i -я компонента вектора xP^{k} определяет вероятность того, что по истечении k минут осел оказался в E_{i}.

Можно обобщить эти понятия. Назовем вектором вероятностей вектор-строку, все компоненты которого неотрицательны и дают в сумме единицу. Тогда матрица перехода определяется как квадратная матрица, в которой каждая строка является вектором вероятностей. Теперь можно определить цепь Маркова (или просто цепь) как пару (P,x), где P есть (n\times n) -матрица перехода, а x есть (1\times
n) -вектор-строка. Если каждый элемент p_{ij} из P рассматривать как вероятность перехода из позиции E_{i} в позицию E_{j}, а x — как начальный вектор вероятностей, то придем к классическому понятию дискретной стационарной цепи Маркова, которое можно найти в книгах по теории вероятностей (см. Феллер В. Введение в теорию вероятностей и ее приложения. Т.1. М.: Мир. 1967) Позиция E_{i} обычно называется состоянием цепи. Опишем различные способы их классификации.

Нас будет интересовать следующее: можно ли попасть из одного данного состояния в другое, и если да, то за какое наименьшее время. Например, в задаче об осле из E_{4} в E_{1} можно попасть за три минуты и вообще нельзя попасть из E_{1} в E_{4}. Следовательно, в основном мы будем интересоваться не самими вероятностями p_{ij}, а тем, положительны они или нет. Тогда появляется надежда, что все эти данные удастся представить в виде орграфа, вершины которого соответствуют состояниям, а дуги указывают на то, можно ли перейти из одного состояния в другое за одну минуту. Более точно, если каждое состояние E_{i} представлено соответствующей ему вершиной v_{i}, то, проводя из v_{i} в v_{j} для тех и только тех вершин, для которых p_{ij} \ne 0, мы и получим требуемый орграф. Кроме того, этот орграф можно определить при помощи его матрицы смежности, если заменить каждый ненулевой элемент матрицы P на единицу. Мы будем называть этот орграф ассоциированным орграфом данной цепи Маркова. Ассоциированный орграф одномерного случайного блуждания, связанного с задачей об осле, изображен на (рис. 10.7).

< Лекция 9 || Лекция 10: 1234 || Лекция 11 >
Владислав Нагорный
Владислав Нагорный

Подскажите, пожалуйста, планируете ли вы возобновление программ высшего образования? Если да, есть ли какие-то примерные сроки?

Спасибо!

Лариса Парфенова
Лариса Парфенова

1) Можно ли экстерном получить второе высшее образование "Программная инженерия" ?

2) Трудоустраиваете ли Вы выпускников?

3) Можно ли с Вашим дипломом поступить в аспирантуру?

 

Петр Гончар-Зайкин
Петр Гончар-Зайкин
Россия
Светлана Ведяева
Светлана Ведяева
Россия, Саратов