Курс лекций по теории вероятностей

Раздел 1. Классическая вероятностная схема

1.1 Основные формулы комбинаторики

В данном разделе мы займемся подсчетом числа «шансов». О числе шансов говорят, когда возможно несколько различных результатов какого-либо действия (извлечение карты из колоды, подбрасывание кубика или монетки, двух кубиков и т.д.). Число шансов — это число таких возможных результатов, или, иначе говоря, число способов проделать это действие.

Теорема о перемножении шансов

Теорема 1. Пусть имеется, k групп элементов, причем i-я группа содержит ni элементов, 1 0, P(A) > 0).

Теорема умножения для большего числа событий:

Теорема 7. P(A1 ? A2 ?…? An) = P(A1) P(A2A1) P(A3 A1 ?A2)… P(An
A1?…?An-1)если соответствующие условные вероятности определены.

4.2 Независимость

Определение 16. События A и B называются независимыми, если P(A?B) =
P(A)P(B)

Пример 14.

1. Точка с координатами ?, ? бросается наудачу в квадрат со стороной 1.
Доказать, что для любых х, у (R события A = { ? np + p.

Видим, что в зависимости от того, является число 1 > np + p целым или нет, имеется либо два равновероятных «наиболее вероятных» числа успехов k0
= np + p и k0 –1 > np + p - 1,либо одно «наиболее вероятное» число успехов k0 = [np + p].

Сформулируем уже доказанное утверждение в виде теоремы.

Теорема 12. В n испытаниях схемы Бернулли с вероятностью успеха p наиболее вероятным числом успехов является

a) единственное число k0 = [np + p], если число np + p не целое;

б) два числа k0 = np + p и k0 -1= np + p -1, если число np + p целое.

Пример 19. Если p = q = 1/2, то при четном числе испытаний n число np + p = n/2 + 1 /2— не целое, так что наиболее вероятным является единственное число успехов [n/2 + 1 /2] = n/2. Что совершенно понятно, так как есть нечетное число возможностей — получить 0, 1, …n успехов, причем вероятности получить k и n-k успехов одинаковы.

При нечетном же числе испытаний n число np + p = n/2 + 1 /2 — целое, так что наиболее вероятными (и одинаково вероятными) являются два числа успехов n/2 + 1 /2 и n/2 - 1 /2.

5.3 Номер первого успешного испытания

Рассмотрим схему Бернулли с вероятностью успеха p в одном испытании.
Испытания проводятся до появления первого успеха. Введем величину ? , равную номеру первого успешного испытания.

Теорема 13. Вероятность того, что первый успех произойдет в испытании с номером k, равна

P(? = k) = p qk-1.

Доказательство. Действительно,

Определение 21. Набор чисел {p qk-1 } называется геометрическим распределением вероятностей и обозначается Gp или G(p).

Геометрическое распределение вероятностей обладает интересным свойством, которое можно назвать свойством «нестарения». Пусть величина ? обозначает, скажем, время безотказной работы (измеряемое целым числом часов) некоторого устройства. Предположим, что для величины ? вероятность принять любое свое значение k в точности равна pqk-1. Справедливо следующее утверждение.

Теорема 14. Пусть P(? = k) = p qk-1. Тогда для произвольных n, k ( 0

P(? > n+k ? > n) = P(? > k)

Данному равенству можно придать следующее звучание: если известно, что устройство проработало без отказов n часов, то вероятность ему работать еще не менее k часов точно такая же, как вероятность проработать не менее k часов для нового устройства.

Можно прочесть эту формулу и так: вероятность работающему устройству проработать еще сколько-то часов не зависит от того момента, когда мы начали отсчет времени, или от того, сколько уже работает устройство.

Доказательство. По определению условной вероятности,

(4)

Последнее равенство следует из того, что событие {? > n+k} влечет событие {? > n}, так что пересечение этих событий есть {? > n+k}. Найдем для произвольного m ( 0 вероятность P(? > m).

Можно также заметить, что событие {? > m} означает, что в схеме
Бернулли первые m испытаний завершились «неудачами», а это событие имеет вероятность как раз qm.

Возвращаясь к (4), получим

5.4 Приближение гипергеометрического распределения биномиальным

Рассмотрим урну, содержащую N шаров, из которых K шаров — белые, а оставшиеся N-K шаров — черные. Из урны наудачу (без возвращения) выбираются n шаров. Вероятность PN,K(n, k) того, что будет выбрано ровно k белых и n- k черных шаров, находится по формуле (см. определение 8 гипергеометрического распределения вероятностей):

Если число шаров в урне очень велико, то извлечение одного, двух, трех шаров почти не меняет пропорцию белых и черных шаров в урне, так что вероятности PN,K(n, k) не очень отличаются от вероятностей в процедуре выбора с возвращением

P(получить ровно k белых шаров при выборе n шаров с возвращением) =

Сформулируем нашу первую предельную теорему.

Теорема 15. Если N > ? и K > ? так, что K/N > p ( (0, 1) то для любых фиксированных n, 0 0,то, очевидно, вероятность получить любое конечное число успехов при растущем числе испытаний стремится к нулю. Необходимо чтобы вероятность успеха p = pn> 0 одновременно с ростом числа испытаний. Но от испытания к испытанию вероятность успеха меняться не может (см. определение схемы Бернулли).

Поэтому рассмотрим «схему серий»: есть

одно испытание ? с вероятностью успеха p1

два испытания ? , ? с вероятностью успеха p2

…

n испытаний ? , … , ? с вероятностью успеха pn

…

Вероятность успеха меняется не внутри одной серии испытаний, а от серии к серии, когда меняется общее число испытаний. Обозначим через vn число успехов в n-той серии испытаний.

Теорема 17 (Теорема Пуассона).

Пусть n > ? , pn> 0 так, что n pn> ? > 0. Тогда для любого k ? 0 вероятность получить k успехов в n испытаниях схемы Бернулли с вероятностью успеха pn стремится к величине

[pic]
(5)

[pic]для n > ? , pn> 0 так, что n pn> ?

Определение 22. Пусть ? > 0— некоторая постоянная. Набор чисел [pic] называется распределением Пуассона с параметром ?.

Пользуясь теоремой 17, можно приближенно посчитать вероятность получить не менее десяти успехов в 1000 испытаний схемы Бернулли с вероятностью успеха 0.003, с вычисления которой мы начали. Поскольку n = 1000 «велико», а pn = 0.003 «мало», то, взяв ? = n pn = 3 , можно написать приближенное равенство

[pic](6)

Осталось решить, а достаточно ли n=103 «велико», а pn = 0.003 «мало», чтобы заменить точную вероятность P(vn = k) на приближенное значение

[pic]

Для этого нужно уметь оценивать разницу между этими двумя вероятностями.

Теорема 18 (Теорема Пуассона с оценкой погрешности).

Пусть A ( {0, 1, …, n} — произвольное множество целых неотрицательных чисел, vn — число успехов в n испытаниях схемы Бернулли с вероятностью успеха p, ? = n p. Тогда

[pic]

Таким образом, теорема 18 предоставляет нам возможность самим решать, достаточно ли n «велико», а p «мало», руководствуясь полученной величиной погрешности.

Какова же погрешность в формуле (6)?

[pic]

Погрешность не более 0,009 (при вероятности около 0,001). Во всяком случае, можно утверждать, что искомая вероятность никак не больше, чем
0,01=0,001+0,009.

Рассмотрим еще одну формулу приближенного вычисления pn (m) когда n велико. В отличии от предыдущего результата число успехов m в этом случае тоже растет с ростом n, а вероятность успеха постоянна.

Локальная теорема Муавра – Лапласа

Пусть [pic].Предположим, что [pic]и величины [pic]являются ограниченными. Тогда

[pic]

В частности, если [pic], то

[pic]

Доказательство:

В силу ограниченности величин [pic] разность [pic]вместе с n и m
Воспользуемся формулой Стирлинга

[pic]

[pic]

В силу определения [pic]

[pic]

Раздел 6. Случайные величины и их распределения

6.1 Случайные величины

Мы уже видели, что для очень многих экспериментов нет никаких различий в подсчете вероятностей событий, тогда как элементарные исходы в этих экспериментах очень различаются. Но нас и должны интересовать именно вероятности событий, а не структура пространства элементарных исходов.
Поэтому пора во всех таких «похожих» экспериментах вместо самых разных элементарных исходов использовать, например, числа. То есть ввести соответствие (иначе говоря, отображение) между элементарными исходами и вещественными числами (с ними удобно работать).

Пусть имеется случайный эксперимент и задано вероятностное пространство
(?, ?,Р).

Определение 23. Функция ?: ? >R называется случайной величиной, если для любого х ( R множество { ? < x} = {?: ?(?) < x} является событием, то есть принадлежит ?-алгебре событий ?.

Замечание 10. Можно смело считать, что любое множество элементарных исходов есть событие, и, следовательно, случайная величина есть произвольная функция из ? в R. Никаких неприятностей на практике это обычно не влечет.

Определение 24. Будем говорить, что функция ?: ? >R является ?
-измеримой, если {?: ?(?) < x} принадлежит ? для любого х ( R.

Итак, случайная величина есть ? - измеримая функция, ставящая в соответствие каждому элементарному исходу ? ( ? число ?(?) ( R.

Пример 21. Подбрасываем 1 раз кубик. Пусть ? = {1, 2, 3, 4, 5, 6} , и две функции из ? в заданы так: ?(?)= ? , ?(?)= ?2.

Если ? есть множество всех подмножеств ?, то ? и ? являются случайными величинами, поскольку любое множество элементарных исходов принадлежит ?, в том числе и {?: ?(?) < x} или {?: ? (?) < x} . Можно записать соответствие между значениями случайных величин ? и ? вероятностями принимать эти значения в виде «таблицы распределения вероятностей» или, коротко, «таблицы распределения»:

|? |1 |2 |3 |4 |5 |6 |
|Р |1/6|1/6|1/6|1/6|1/6|1/6|

|? |1 |4 |9 |16 |25 |36 |
|Р |1/6|1/6|1/6|1/6|1/6|1/6|

Здесь 1/6 = Р(?=1)=…= Р(?=6) = Р(? =1)= …= Р(? =36)

Пусть ? -алгебра событий ? состоит всего из четырех множеств:

? = { ? ,(, {1,3,5},{2,4,6} }

то есть событием является, кроме достоверного и невозможного событий, выпадение четного (соответственно, нечетного) числа очков. Убедимся, что при такой «бедной» ? -алгебре ни ?, ни ? не являются случайными величинами, так как эти функции не ? - измеримы. Возьмем (например) x = 3,967. Видим, что

{? ( ?: ?(?) < 3,967}= {1, 2, 3}( ? и {? ( ?: ? (?) < 3,967}= {1}( ?

Теперь попробуем понять, зачем нужна ? - измеримость и почему требуется, чтобы {?: ?(?) < x} являлось событием.

Если задана случайная величина ?, нам может потребоваться вычислить вероятности типа

P(? = 5) = P{?: ?(?) = 5},

P (? ( [-3,7]),

P(? ( 3,2),

P(? > 0)

(и вообще самые разные вероятности попадания в различные множества на прямой). Это возможно только если множества, стоящие под знаком вероятности, являются событиями (напомню, что вероятность есть функция из ?
- алгебры событий в [0,1]).

Но если потребовать, чтобы Ax = {?: ?(?) < x} было событием при любом x, то мы из свойств ? - алгебры сразу получим, что

и [pic]— событие, и [pic]— событие,

и [pic]— событие,

и {?: ?(?) = x}= Bx Ax — событие,

(7)

и т.д., и т.п. (операции пересечения, объединения, дополнения событий не выводят из класса событий).

Можно потребовать в определении 23 чего-нибудь другого. Например, чтобы событием было попадание в любой интервал: (?: ?(?) ( [a, b]) для любых a < b.

Или чтобы {?: ?(?) ( x} было событием для любого x. Любое такое определение эквивалентно исходному.

Опишем различные типы распределений случайных величин. Под распределением случайной величины мы будем понимать соответствие

«значение случайной величины ? вероятность принимать это значение»,

либо (чаще)

«множество на прямой ? вероятность случайной величине попасть в это множество».

6.2 Дискретные распределения

Определение 25. Говорят, что случайная величина ? имеет дискретное распределение, если существует конечный или счетный набор чисел {a1, a2, …} такой, что:

а) pi = P{ ? = ai} > 0 для всех i;

б)[pic].

То есть случайная величина ? имеет дискретное распределение, если она принимает не более чем счетное число значений.

Определение 26. Если случайная величина ? имеет дискретное распределение, назовем таблицей распределения соответствие ai ? pi, которое чаще всего рисуют так:

|? |а1 |а2 |а3 |… |
|Р |р1 |р2 |р3 |… |

6.3 Примеры дискретных распределений

Вырожденное распределение.

Говорят, что случайная величина ? имеет вырожденное распределение с параметром а, и пишут ? ( Ia если ? принимает единственное значение а с вероятностью 1, то есть P(? = a) = 1. Таблица распределения ? имеет вид

|? |а |
|Р |1 |

Распределение Бернулли.

Говорят, что случайная величина ? имеет распределение Бернулли с параметром р, и пишут ? ( Вр, если ? принимает значения 1 и 0 с вероятностями р и 1 - р, соответственно. Случайная величина ? с таким распределением равна числу успехов в одном испытании схемы Бернулли с вероятностью успеха (0 успехов или 1 успех). Таблица распределения ? имеет вид

|? |0 |1 |
|Р |(1-p)|р |

Биномиальное распределение.

Говорят, что случайная величина ? имеет биномиальное распределение с параметрами n и p, где 0 ( p (, n и пишут ? ( Вn,р, если ? принимает значения 0, 1, …,n с вероятностями P(? = k) = Cnk pk (1-p)n-k . Случайная величина ? с таким распределением имеет смысл числа успехов в n испытаниях схемы Бернулли с вероятностью успеха р .

Таблица распределения ? имеет вид

|? |0 |1 |… |k |… |n |
|Р |(1-p)|n |… |Cnk pk |… |Pn |
| |n |p(1-p)n-1 | |(1-p)n-k | | |

Геометрическое распределение.

Говорят, что случайная величина ? имеет геометрическое распределение с параметром р, где 0 ( p (, n, и пишут ? ( Gр, если ? принимает значения 1,
2, 3, …с вероятностями P(? = k) = p (1-p)k-1. Случайная величина ? с таким распределением имеет смысл номера первого успешного испытания в схеме
Бернулли с вероятностью успеха р .

Таблица распределения ? имеет вид

|? |1 |2 |… |k |… |
|Р |p |Р (1 – р) |… |p (1-p)k-1|… |

Распределение Пуассона.

Говорят, что случайная величина ? имеет распределение Пуассона с параметром ?, где ? > 0 , и ? ( П ?, если ? принимает значения 0, 1, 2 … с вероятностями

[pic]

Таблица распределения ? имеет вид

|? |1 |2 |… |k |… |
|Р |е- ? |? е- ? |… |(?k /k!)е-|… |
| | | | |? | |

Гипергеометрическое распределение.

Говорят, что случайная величина ? имеет гипергеометрическое распределение с параметрами n, N и K, K ( N, n ( N если ? принимает целые значения от max (0, N - K – n ) до min (K ,n ) с вероятностями

[pic]

. Случайная величина ? с таким распределением имеет смысл числа белых шаров среди n шаров выбранных наудачу и без возвращения из урны, содержащей
К белых шаров и N-K не белых.

Заметьте, что со всеми этими распределениями мы уже хорошо знакомы.

Но распределения случайных величин далеко не исчерпываются дискретными распределениями. Так, например, если точка бросается наудачу на отрезок
[0,1], то можно задать случайную величину, равную координате этой точки. Но число значений этой случайной величины несчетно, так что ее распределение дискретным не является. Да и вероятность этой случайной величине принять каждое из своих возможных значений (попасть в точку) равна нулю. Так что не только таблица распределения не существует, но и соответствие «значение величины ( вероятность его принять» ничего не говорит о распределении случайной величины.

Какими же характеристиками еще можно описать распределение?

Раздел 7. Функция распределения

Заметим, что на том же отрезке [0, 1] вероятности попадания в множества положительной меры совсем не нулевые. И термин «наудачу» мы когда-то описывали как раз в терминах вероятностей попадания в множество. Может быть, разумно описать распределение случайной величины, задав для любого множества, вероятность принять значения из этого множества? Это действительно полное описание распределения, но уж очень трудно с ней работать — слишком много множеств на прямой.

Нельзя ли обойтись заданием вероятностей попадания в какой-нибудь меньший набор множеств на прямой? Оказывается, что можно ограничиться только вероятностями попадания в интервалы (-(, х) для всех х ( R, с помощью которых можно будет определить и вероятность попасть в любое другое множество.

Замечание 11. Можно с таким же успехом ограничиться набором вероятностей попадания в интервалы (-(, х], или в (х ,(), или в [х ,(), или в (х1 ,x2). Впрочем, последних уже слишком много.

Определение 27.Функцией распределения случайной величины ? называется функция F?(x) : R ( [0, 1], при каждом x ( R равная F?(x) = P(? < x) =
P{?: ?(?) < x}

Пример 22. Случайная величина ? имеет вырожденное распределение Ic.
Тогда

[pic]

Пример 23. Случайная величина ? имеет распределение Бернулли Вр. Тогда

[pic]

Пример 24. Будем говорить, что случайная величина ? имеет равномерное распределение на отрезке [a, b] и писать ? ( Ua,b (“ uniform”), если ? — координата точки, брошенной наудачу на отрезок [a, b] числовой прямой. Это распределение можно задать и с помощью функции распределения:

[pic]

7.1 Свойства функции распределения

Теорема 19.

Функция распределения F?(x) обладает следующими свойствами:

F1) Функция распределения F?(x) не убывает: если х1 < x2 то F?(x1)<
F?(x2);

F2) Существуют пределы

[pic] и [pic]

F3) Функция распределения F?(x) непрерывна слева:

[pic]

Теорема 20. Если функция F: R ( [0, 1] удовлетворяет свойствам
(F1)–(F3), то F есть функция распределения некоторой случайной величины ?, то есть найдется вероятностное пространство (?, ?, Р) и случайная величина
? на этом пространстве, что F(х) = F?(x).

Прочие полезные свойства функций распределения

F4) В любой точке х0 разница F?(х0+0) - F?(х0) равна P(? = х0):

Следствие 3. Если функция распределения F?(x) непрерывна в точке х0, то

P(? = х0) = 0

F5) Для любой случайной величины ? имеет место равенство P(а ( ? < b) =
F?(a) - F?(b).

Если же функция распределения F?(x) непрерывна (для любого x, или только в точках a и b), то

P(а ( ? < b) = P(а < ? < b) = P(а ( ? ( b) = P(а < ? ( b) =

F?(a) - F?(b)

Функция распределения дискретного распределения

Мы уже видели, как выглядят функции распределения некоторых дискретных распределений. Из свойств (F4), (F5) следует

Свойство 4. Случайная величина ? имеет дискретное распределение тогда и только тогда, когда функция распределения F? — ступенчатая функция. При этом возможные значения ? — точки ai скачков F?, и

pi = P(? = ai ) = F? (ai + 0) - F? (ai )— величины скачков.

В следующей главе мы рассмотрим случайные величины, функции распределения которых не удовлетворяют свойству 4 хотя бы потому, что они вовсе не имеют разрывов. Более того, мы выделим класс функций распределения, которые «восстанавливаются по своей производной» с помощью интегрирования (так называемые абсолютно непрерывные функции).

Раздел 8. Абсолютно непрерывные распределения

Определение 28.Случайная величина ? имеет называемые абсолютно непрерывное распределение, если существует неотрицательная функция f?(x) такая, что для любого х ( R функция распределения F?(x) представима в виде

[pic]

При этом функция f?(x) называется плотностью распределения случайной величины ?.

Теорема 21.Плотность распределения обладает свойствами:

(f1) f?(x)( 0 для любого x;

(f2) [pic]

Эти два свойства полностью характеризуют класс плотностей:

Лемма 2. Если функция f обладает свойствами (f1) и (f2), то существует вероятностное пространство и случайная величина ? на нем, для которой f является плотностью распределения.

Доказательство. Пусть ? есть область, заключенная между осью абсцисс и графиком функции f (« подграфик» функции f). Площадь области ? равна 1 по свойству (f2). И пусть случайная величина ? есть абсцисса точки, наудачу брошенной в эту область.

Тогда (вспомнить геометрическую вероятность) для любого х ( R

[pic]

то есть f является плотностью распределения случайной величины ?

Свойства плотностей

(f3) Если случайная величина ? имеет абсолютно непрерывное распределение, то ее функция распределения всюду непрерывна.

Следствие 4. Если случайная величина ? имеет абсолютно непрерывное распределение, то P(? = х) = 0 для любого х ( R.

(f4) Если случайная величина ? имеет абсолютно непрерывное распределение, то ее функция распределения дифференцируема почти всюду, и

[pic]

для почти всех х.

Замечание 12. Термин для «почти всех» означает «для всех, кроме
(возможно) х из некоторого множества нулевой меры (длины)». Заметьте, что стоящую под интегралом функцию можно изменить в одной точке (или на множестве нулевой длины), и интеграл (« площадь подграфика») от этого не изменится.

(f5) Если случайная величина ? имеет абсолютно непрерывное распределение, то

[pic]

Доказательство. Действительно,

[pic]

Остальные равенства вытекают из следствия 5.

8.1 Примеры абсолютно непрерывных распределений

Равномерное.

Это распределение нам уже знакомо. Говорят, что ? имеет равномерное распределение на отрезке [a, b], и пишут ? ( Ua,b если

[pic]

Заметьте, что в точках a и b функция распределения недифференцируема, и плотность можно задать как угодно.

Показательное.

Говорят, что ? имеет показательное распределение с параметром ?, ? > 0 и ? ( Е?, если

[pic]

Показательное распределение является единственным абсолютно непрерывным распределением, для которого выполнено свойство «не старения» (и в этом смысле оно является непрерывным аналогом дискретного геометрического распределения).

Теорема 21. Свойство «Не старения». Пусть ? ( Е?. Тогда для любых х, у
> 0

[pic]

Нормальное.

Говорят, что ? имеет нормальное распределение с параметрами а и ?2 , где а ( R, ? > 0, и пишут ? ( если ? имеет следующую плотность распределения:

[pic]для любого x ( R

Убедимся, что f?(x)действительно является плотностью распределения. Так как f?(x) > 0 для всех x ( R, то свойство (f1) выполнено. Проверим выполнение (f2). Используем табличный интеграл (интеграл Пуассона)

[pic]

Нормальное (иначе называемое гауссовским по имени Карла Гаусса распределение играет исключительно важную роль в теории вероятностей, поэтому мы очень подробно изучим все свойства этого распределения.

8.2 Свойства нормального распределения

Нормальное распределение задается, как мы видим, с помощью плотности распределения. Связано это с тем, что нельзя выписать первообразную от функции[pic] иначе как в виде интеграла, поэтому функцию распределения этого закона можно записать лишь в таком виде:

[pic]

Мы часто будем использовать обозначение для функции распределения нормального распределения с параметрами а и ?2.

Стандартное нормальное распределение

Нормальное распределение при [pic] а = 0 и ?= 1 называется стандартным нормальным распределением. Плотность стандартного нормального распределения имеет вид

[pic]для любого x ( R

а функция распределения

[pic]

табулирована (то есть ее значения вычислены при многих х) почти во всех математических справочниках. Установим связь между

[pic]

Свойство 5. Для любого x ( R справедливо соотношение

[pic]

То же самое на языке случайных величин можно сформулировать так:

Следствие 5. Если [pic] то

Следствие 6. Если [pic] то

[pic]

Как мы видим, вычисление любых вероятностей для нормально распределенной случайной величины сводится к вычислению функции распределения Ф0,1. Ее свойства

Свойство 6. Ф0,1(0) = 0,5

Свойство 7. Ф0,1(-х) = 1 - Ф0,1(х)

Свойство 8. Если ? ( N0,1, то

[pic]

Свойство 9 (« Правило трех сигм»).

Если [pic]то[pic]

Смысла в запоминании числа 0.0027 нет никакого, а вот помнить, что почти вся масса нормального распределения сосредоточена в границах [a - 3?, a - 3?] всегда полезно.

Смысла в запоминании числа 0.0027 нет никакого, а вот помнить, что почти вся масса нормального распределения сосредоточена в границах [a-3?, a+3?], всегда полезно.

Раздел 9. Случайные вектора и их распределения

Определение 29. Если случайные величины [pic] заданы на одном вероятностном пространстве, то вектор ([pic]) мы будем называть случайным вектором.

Определение 30. Функция [pic] называется функцией распределения случайного вектора ([pic]) или функцией совместного распределения случайных величин [pic].

9.1 Свойства функции совместного распределения

Для простоты обозначений все дальнейшие рассуждения и формулировки приводятся в случае n = 2 для случайного вектора ([pic])

F0) [pic]

F1) [pic] не убывает по каждой координате вектора (x1 x2).

F2) Для любого i = 1, 2, существуют

[pic]

[pic]

При этом

[pic]

F3) Функция [pic] по каждой координате вектора (x1 x2) непрерывна слева.

Только теперь этих свойств оказывается недостаточно для описания класса функций совместного распределения. Иначе говоря, выполнение этих свойств для некоторой функции F: R2 ( R вовсе не гарантирует, что эта функция является функцией распределения некоторого случайного вектора.

Пример 25. Функция

[pic][pic]

a) удовлетворяет всем свойствам (F0)-(F3);

б) не является функцией распределения никакого вектора (?1, ?2.) хотя бы потому, что, найдись такой вектор, найдется и прямоугольник [a1 b1] x
[a2 b2], вероятность попасть в который (вычисленная с помощью этой «функции распределения») отрицательна:

P(a1 ( ?1< b1 , a2 ( ?2 0, если она имеет плотность распределения

[pic]

где постоянная c вычисляется из условия

[pic]

Заметим, что показательное распределение Е? есть гамма-распределение
Г?,1.

Лемма 6. Пусть независимые случайные величины ?1, … , ?n имеют показательное распределение Е? = Г?,1 Тогда ?1 +…+?n ( Г?,n

«Случайных величин без мат. ожидания не бывает, так как, если у нас есть случайная величина мы всегда в праве от нее что-нибудь ожидать.»

Из студенческой контрольной работы.

Раздел 11. Числовые характеристики случайных величин

11.1 Математическое ожидание случайной величины

Определение 38. Математическим ожиданием E? (средним значением, первым моментом) случайной величины ? с дискретным распределением, задаваемым таблицей P(? = аi) = pi, называется число

[pic] если указанный ряд абсолютно сходится.

Если же

[pic], то говорят, что математическое ожидание не существует.

Определение 39. Математическим ожиданием E? случайной величины ? с абсолютно непрерывным распределением с плотностью распределения f?(x), называется число

[pic] если указанный интеграл абсолютно сходится.

Если же

[pic], то говорят, что математическое ожидание не существует.

Математическое ожидание имеет простой физический смысл: если на прямой разместить единичную массу, поместив в точку аi массу pi (для дискретного распределения), или «размазав» ее с плотностью f?(x) (для абсолютно непрерывного распределения), то точка E? есть координата «центра тяжести» прямой.

Пример 26. Пусть случайная величина ? равна числу очков, выпадающих при одном подбрасывании кубика. Тогда

[pic]

[pic][pic]

в среднем при подбрасывании кубика выпадает 3.5 очка

Пример 27. Пусть случайная величина ? — координата точки, брошенной наудачу на отрезок [a,b]. Тогда

[pic][pic]

центр тяжести равномерного распределения на отрезке есть середина отрезка.

11.2 Свойства математического ожидания

Во всех свойствах предполагается, что рассматриваемые математические ожидания существуют.

E0. Математическое ожидание случайной величины есть ЧИСЛО!

E1. Для произвольной функции функция g : R ( R

[pic]

Доказательство. Мы докажем это свойство (как и почти все дальнейшие) только для дискретного распределения. Пусть g(?) принимает значения с1 с2 … с вероятностями

[pic]

Тогда

[pic]

E2 Математическое ожидание const равно этой const Eс = с.

E3. const можно вынести за знак математического ожидания: E(с ?) = с
E?.

Доказательство. Следует из свойства E1 при g(?) = с ? .

E4. Математическое ожидание суммы любых случайных величин ? и ? равно сумме их математических ожиданий.

E (? + ? ) = E (? )+ E (?)

Доказательство. Для величин с дискретным распределением: пусть xk и yn
— значения ? и ?, соответственно.

[pic]

E5.Если ? ( 0 п.н. (« почти наверное», т.е. с вероятностью 1: P(? ( 0 )
= 1), то E ? ( 0;

Если ? ( 0 п.н., и при этом E? = 0, то ? = 0 п.н., то есть P(? = 0) =
1.

Следствие 11.

Если ? ( ? п.н., то E ? ( E? .

Если ? ( ? п.н., и при этом E? = E?, то ? = ? п.н.

E6. Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.: если ? и ? независимы, то

E(??) = E? E?.

Доказательство.

[pic]

Замечание 16. Обратное утверждение к свойству E6 неверно: из равенства
E(??) = E? E?. Не следует независимость величин ? и ?.

Пример 28. Пусть ? ( U0,2?, ? = cos ?, ? = sin ?— заведомо зависимые случайные величины. Но математическое ожидание их произведения равно произведению их математических ожиданий: по свойству E1

[pic]

11.3 Моменты старших порядков. Дисперсия

Определение 40. Если [pic], то число

[pic] называется моментом порядка k (k -м моментом) случайной величины
?;

[pic] называется абсолютным моментом порядка k (абсолютным k -м моментом) случайной величины ?;

[pic] называется центральным моментом порядка k (центральным k -м моментом) случайной величины ?;

[pic] называется абсолютным центральным моментом порядка k (абсолютным центральным k -м моментом) случайной величины ?.

Число D? = E(? – E?)2 (центральный момент порядка 2) называется дисперсией случайной величины ?

Пример 29. Пусть, скажем, случайная величина ? принимает значение 0 с вероятностью 1-10-5 , и значение 100 с вероятностью 10-5. Посмотрим, как моменты разных порядков реагируют на большие, но маловероятные значения случайной величины.

[pic]

Пример 30. Дисперсия D? = E(? – E?)2 есть «среднее значение квадрата отклонения случайной величины ? от своего среднего». Посмотрим, за что эта величина отвечает.

Пусть случайная величина ? принимает значения +-1 с вероятностью 1/2, а случайная величина ? — значения ю +-10 с вероятностью 1/2. Тогда E? = E? =
0 поэтому D ? = E ?2 = 1, D? = E?2 = 100. Говорят, что дисперсия характеризует степень разброса значений случайной величины вокруг ее математического ожидания.

Если говорить о распределении случайной величины, как о распределении единичной массы по невесомому стержню, то дисперсия есть в точности момент инерции этого стержня, закрепленного в центре тяжести.

Определение 40. Если дисперсия величины ? конечна, то число
[pic]называют среднеквадратичным отклонением случайной величины ?.

Следует хорошо понимать, что из существования моментов больших порядков следует существование моментов меньших порядков. В частности, конечность второго момента (или дисперсии) влечет существование математического ожидания.

11.4 Свойства дисперсии

Все свойства дисперсии следуют из соответствующих свойств математического ожидания.

D1. [pic]

Действительно,

[pic]

D2. [pic]

D3.

[pic]если и только если ?= const.п.н.

Доказательство. Дисперсия есть всего-навсего математическое ожидание п.н. неотрицательной с.в.:

D? = E(? – E?)2, и неотрицательность дисперсии следует из свойства E5.
По тому же свойству, D? = 0 если и только если E(? – E?)2 = 0 п.н., то есть
? = ? п.н.

D4. Дисперсия не меняется от сдвига с.в. на постоянную:

[pic]

D5. Если ? и ? независимы, то

[pic]

Действительно,

[pic]

так как математическое ожидание произведения независимых с.в. равно произведению их математических ожиданий.

D6. Минимум среднеквадратического отклонения случайной величины ? от точек вещественной прямой есть среднеквадратическое отклонение ? от своего математического ожидания:

[pic]

Наименьший момент инерции стержня с распределенной на нем единичной массой получится, если точка вращения – центр тяжести стержня, а не любая другая точка.

Доказательство.

[pic]причем равенство достигается только для а = E?.

11.5 Математические ожидания и дисперсии стандартных распределений

Пример 31. Распределение Бернулли Вр,

[pic]

Пример 32. Биномиальное распределение Вn,p

Воспользуемся свойством устойчивости биномиального распределения относительно суммирования — леммой 5. Возьмем n независимых случайных величин ?1 ?2 … ?n, имеющих распределение Бернулли В,p = В1,p.

Тогда их сумма Sn = ?1 + ?2 +… + ?n имеет распределение Вn,p

[pic]

так как все ?i одинаково распределены и их математическое ожидание равно pi;

[pic]

поскольку ?i независимы и дисперсия каждой равна pq.

Пример 33. Геометрическое распределение Gp

При p ( (0,1)

[pic]

Равенство (*) появилось из-за нежелания дифференцировать сумму геометрической прогрессии, которая начинается не с 0 а с q. Заметьте, что производная у добавленных слагаемых равна 0, так что производные от этих двух сумм равны

[pic]

Поэтому

Пример 34. Распределение Пуассона П?

[pic][pic]

Показать, что

[pic], следовательно [pic]

Пример 35. Равномерное распределение Ua,b

[pic][pic]

[pic]

Пример 36. Стандартное нормальное распределение N0,1

[pic]

поскольку под интегралом стоит нечетная функция, и сам интеграл абсолютно сходится (за счет быстро убывающей [pic]

[pic]

Последнее равенство следует из того, что

а интеграл по всей прямой от плотности любого распределения равен 1.
Поэтому

Пример 37. Нормальное распределение [pic]

Мы знаем, что если

[pic][pic]

Поэтому

[pic]

Пример 38. Показательное (экспоненциальное) распределение Е?

Найдем для произвольного k ( N момент порядка k.

[pic]

В последнем равенстве мы воспользовались гамма-функцией Эйлера:

[pic] Соответственно,

[pic]

Пример 39. Стандартное распределение Коши С0,1

Распределение Коши. Говорят, что ? имеет распределение Коши с параметрами ?, ?2, где ? ( R, ? > 0, если

[pic] для всех х ( R

Распределение Коши имеет, например, абсцисса точки пересечения луча, посланного из точки (?, ?) под наудачу выбранным углом,

[pic] с осью ОХ.

Математическое ожидание для распределения Коши не существует, поскольку

[pic]

расходится (подинтегральная функция ведет себя на бесконечности как
1/х).

Пример 40. Распределение Парето

Распределение Парето. Говорят, что ? имеет распределение Парето с параметрами х0, s, где х0 > 0, s > 0, если

[pic]

У распределения Парето существуют только моменты порядка u < s, поскольку

[pic]

сходится при u < s, то есть когда подинтегральная функция на бесконечности бесконечно мала по сравнению с 1/х.

«Случайных величин без мат. ожидания не бывает, так как, если у нас есть случайная величина мы всегда в праве от нее что-нибудь ожидать.»

Из студенческой контрольной работы.

Раздел 11. Числовые характеристики случайных величин

11.1 Математическое ожидание случайной величины

Определение 38. Математическим ожиданием E? (средним значением, первым моментом) случайной величины ? с дискретным распределением, задаваемым таблицей P(? = аi) = pi, называется число

[pic] если указанный ряд абсолютно сходится.

Если же

[pic], то говорят, что математическое ожидание не существует.

Определение 39. Математическим ожиданием E? случайной величины ? с абсолютно непрерывным распределением с плотностью распределения f?(x), называется число

[pic] если указанный интеграл абсолютно сходится.

Если же

[pic], то говорят, что математическое ожидание не существует.

Математическое ожидание имеет простой физический смысл: если на прямой разместить единичную массу, поместив в точку аi массу pi (для дискретного распределения), или «размазав» ее с плотностью f?(x) (для абсолютно непрерывного распределения), то точка E? есть координата «центра тяжести» прямой.

Пример 26. Пусть случайная величина ? равна числу очков, выпадающих при одном подбрасывании кубика. Тогда

[pic]

[pic][pic]

в среднем при подбрасывании кубика выпадает 3.5 очка

Пример 27. Пусть случайная величина ? — координата точки, брошенной наудачу на отрезок [a,b]. Тогда

[pic][pic]

центр тяжести равномерного распределения на отрезке есть середина отрезка.

11.2 Свойства математического ожидания

Во всех свойствах предполагается, что рассматриваемые математические ожидания существуют.

E0. Математическое ожидание случайной величины есть ЧИСЛО!

E1. Для произвольной функции функция g : R ( R

[pic]

Доказательство. Мы докажем это свойство (как и почти все дальнейшие) только для дискретного распределения. Пусть g(?) принимает значения с1 с2 … с вероятностями

[pic]

Тогда

[pic]

E2 Математическое ожидание const равно этой const Eс = с.

E3. const можно вынести за знак математического ожидания: E(с ?) = с
E?.

Доказательство. Следует из свойства E1 при g(?) = с ? .

E4. Математическое ожидание суммы любых случайных величин ? и ? равно сумме их математических ожиданий.

E (? + ? ) = E (? )+ E (?)

Доказательство. Для величин с дискретным распределением: пусть xk и yn
— значения ? и ?, соответственно.

[pic]

E5.Если ? ( 0 п.н. (« почти наверное», т.е. с вероятностью 1: P(? ( 0 )
= 1), то E ? ( 0;

Если ? ( 0 п.н., и при этом E? = 0, то ? = 0 п.н., то есть P(? = 0) =
1.

Следствие 11.

Если ? ( ? п.н., то E ? ( E? .

Если ? ( ? п.н., и при этом E? = E?, то ? = ? п.н.

E6. Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.: если ? и ? независимы, то

E(??) = E? E?.

Доказательство.

[pic]

Замечание 16. Обратное утверждение к свойству E6 неверно: из равенства
E(??) = E? E?. Не следует независимость величин ? и ?.

Пример 28. Пусть ? ( U0,2?, ? = cos ?, ? = sin ?— заведомо зависимые случайные величины. Но математическое ожидание их произведения равно произведению их математических ожиданий: по свойству E1

[pic]

11.3 Моменты старших порядков. Дисперсия

Определение 40. Если [pic], то число

[pic] называется моментом порядка k (k -м моментом) случайной величины
?;

[pic] называется абсолютным моментом порядка k (абсолютным k -м моментом) случайной величины ?;

[pic] называется центральным моментом порядка k (центральным k -м моментом) случайной величины ?;

[pic] называется абсолютным центральным моментом порядка k (абсолютным центральным k -м моментом) случайной величины ?.

Число D? = E(? – E?)2 (центральный момент порядка 2) называется дисперсией случайной величины ?

Пример 29. Пусть, скажем, случайная величина ? принимает значение 0 с вероятностью 1-10-5 , и значение 100 с вероятностью 10-5. Посмотрим, как моменты разных порядков реагируют на большие, но маловероятные значения случайной величины.

[pic]

Пример 30. Дисперсия D? = E(? – E?)2 есть «среднее значение квадрата отклонения случайной величины ? от своего среднего». Посмотрим, за что эта величина отвечает.

Пусть случайная величина ? принимает значения +-1 с вероятностью 1/2, а случайная величина ? — значения ю +-10 с вероятностью 1/2. Тогда E? = E? =
0 поэтому D ? = E ?2 = 1, D? = E?2 = 100. Говорят, что дисперсия характеризует степень разброса значений случайной величины вокруг ее математического ожидания.

Если говорить о распределении случайной величины, как о распределении единичной массы по невесомому стержню, то дисперсия есть в точности момент инерции этого стержня, закрепленного в центре тяжести.

Определение 40. Если дисперсия величины ? конечна, то число
[pic]называют среднеквадратичным отклонением случайной величины ?.

Следует хорошо понимать, что из существования моментов больших порядков следует существование моментов меньших порядков. В частности, конечность второго момента (или дисперсии) влечет существование математического ожидания.

11.4 Свойства дисперсии

Все свойства дисперсии следуют из соответствующих свойств математического ожидания.

D1. [pic]

Действительно,

[pic]

D2. [pic]

D3.

[pic]если и только если ?= const.п.н.

Доказательство. Дисперсия есть всего-навсего математическое ожидание п.н. неотрицательной с.в.:

D? = E(? – E?)2, и неотрицательность дисперсии следует из свойства E5.
По тому же свойству, D? = 0 если и только если E(? – E?)2 = 0 п.н., то есть
? = ? п.н.

D4. Дисперсия не меняется от сдвига с.в. на постоянную:

[pic]

D5. Если ? и ? независимы, то

[pic]

Действительно,

[pic]

так как математическое ожидание произведения независимых с.в. равно произведению их математических ожиданий.

D6. Минимум среднеквадратического отклонения случайной величины ? от точек вещественной прямой есть среднеквадратическое отклонение ? от своего математического ожидания:

[pic]

Наименьший момент инерции стержня с распределенной на нем единичной массой получится, если точка вращения – центр тяжести стержня, а не любая другая точка.

Доказательство.

[pic]причем равенство достигается только для а = E?.

11.5 Математические ожидания и дисперсии стандартных распределений

Пример 31. Распределение Бернулли Вр,

[pic]

Пример 32. Биномиальное распределение Вn,p

Воспользуемся свойством устойчивости биномиального распределения относительно суммирования — леммой 5. Возьмем n независимых случайных величин ?1 ?2 … ?n, имеющих распределение Бернулли В,p = В1,p.

Тогда их сумма Sn = ?1 + ?2 +… + ?n имеет распределение Вn,p

[pic]

так как все ?i одинаково распределены и их математическое ожидание равно pi;

[pic]

поскольку ?i независимы и дисперсия каждой равна pq.

Пример 33. Геометрическое распределение Gp

При p ( (0,1)

[pic]

Равенство (*) появилось из-за нежелания дифференцировать сумму геометрической прогрессии, которая начинается не с 0 а с q. Заметьте, что производная у добавленных слагаемых равна 0, так что производные от этих двух сумм равны

[pic]

Поэтому

Пример 34. Распределение Пуассона П?

[pic][pic]

Показать, что

[pic], следовательно [pic]

Пример 35. Равномерное распределение Ua,b

[pic][pic]

[pic]

Пример 36. Стандартное нормальное распределение N0,1

[pic]

поскольку под интегралом стоит нечетная функция, и сам интеграл абсолютно сходится (за счет быстро убывающей [pic]

[pic]

Последнее равенство следует из того, что

а интеграл по всей прямой от плотности любого распределения равен 1.
Поэтому

Пример 37. Нормальное распределение [pic]

Мы знаем, что если

[pic][pic]

Поэтому

[pic]

Пример 38. Показательное (экспоненциальное) распределение Е?

Найдем для произвольного k ( N момент порядка k.

[pic]

В последнем равенстве мы воспользовались гамма-функцией Эйлера:

[pic] Соответственно,

[pic]

Пример 39. Стандартное распределение Коши С0,1

Распределение Коши. Говорят, что ? имеет распределение Коши с параметрами ?, ?2, где ? ( R, ? > 0, если

[pic] для всех х ( R

Распределение Коши имеет, например, абсцисса точки пересечения луча, посланного из точки (?, ?) под наудачу выбранным углом,

[pic] с осью ОХ.

Математическое ожидание для распределения Коши не существует, поскольку

[pic]

расходится (подинтегральная функция ведет себя на бесконечности как
1/х).

Пример 40. Распределение Парето

Распределение Парето. Говорят, что ? имеет распределение Парето с параметрами х0, s, где х0 > 0, s > 0, если

[pic]

У распределения Парето существуют только моменты порядка u < s, поскольку

[pic]

сходится при u < s, то есть когда подинтегральная функция на бесконечности бесконечно мала по сравнению с 1/х.

Раздел 12. Числовые характеристики зависимости случайных величин

12.1 Чем отличается дисперсия суммы от суммы дисперсий?

Мы знаем, что для независимых с. в. с конечными вторыми моментами дисперсия их суммы равна сумме их дисперсий. Чему равна дисперсия суммы в общем случае?

[pic](10)

Величина E(??) - E? E? равняется нулю, если случайные величины ? и ? независимы (свойство E6 математического ожидания). С другой стороны, из равенства ее нулю вовсе не следует независимость, как показывает пример 30.
Оказывается, что эту величину часто используют как «индикатор наличия зависимости» пары с. в.

Определение 41. Ковариацией cov(?, ?) случайных величин ? и ? называется число

[pic]

Свойство 10.

[pic]

Свойство 11.

a) [pic];

b) [pic].

Свойство 12. Дисперсия суммы нескольких случайных величин вычисляется по любой из следующих формул:

[pic]

Обсудим достоинства и недостатки ковариации, как величины, характеризующей зависимость двух с. в.

1. Если ковариация cov(?, ?) отлична от нуля, то величины ? и ? зависимы!

2. С гарантией о наличии зависимости мы можем судить, если знаем совместное распределение пары ? и ?, и можем проверить, равна ли (например) плотность совместного распределения произведению плотностей.

Но найти совместное распределение часто бывает сложнее, чем посчитать математическое ожидание произведения ? и ?. Если нам повезет, и математическое ожидание произведения ? и ? не будет равняться произведению их мат. ожиданий, мы скажем, что ? и ? зависимы не находя их совместного распределения!

Пример 41. Покажем, что с помощью ковариации можно судить о зависимости даже когда для вычисления совместного распределения недостаточно данных.

Пусть ? и ? — независимые случайные величины, и дисперсия ? отлична от нуля. Докажем, что ? и ?+ ? зависимы.

[pic] (11)

Поэтому

[pic]

Следовательно, ? и ?+ ? зависимы.

3. Жаль, что величина cov(?, ?) не является «безразмерной»: если ? – объем газа в сосуде, а ? – давление этого газа, то ковариация измеряется в кубометрах х Паскали :).

Иначе говоря, при умножении одной из величин ?, ? на какое-нибудь число ковариация тоже умножается на это число. Но умножение на число не сказывается на «степени зависимости» величин (они от этого «более зависимыми» не становятся), так что большое значение ковариации не означает более сильной зависимости.

Нужно как-то нормировать ковариацию, получив из нее «безразмерную» величину, абсолютное значение которой

а) не менялось бы при умножении или сдвиге случайных величин на число;

б) свидетельствовало бы о «силе зависимости» с. в.

Говря о «силе» зависимости между с.в., мы имеем в виду следующее. Самая сильная зависимость – функциональная, а из функциональных – линейная зависимость, когда ?= а? + b п.н. Бывают гораздо более слабые зависимости.
Так, если по последовательности независимых случайных величин ?1 ?2 … построить ? = ?1 +…?24 + ?25 ? = ?25 +?26 + …+?90 , то эти величины зависимы, но очень “слабо зависимы”: через одно-единственное общее слагаемое ?25 .

Итак, следующая величина есть всего лишь ковариация, нормированная нужным образом.

12.2 Коэффициент корреляции

Определение 43. Коэффициентом корреляции ?(?, ?) случайных величин ?,
?, дисперсии которых существуют и отличны от нуля, называется число

[pic]

Пример 42. Рассмотрим продолжение примера 41, но пусть ? и ? будут не только независимыми, но и одинаково распределенными случайными величинами, и их дисперсия отлична от нуля. Найдем коэффициент корреляции величин ? и ?
+ ?. Согласно формуле (10),

[pic]

Поэтому

[pic]

Определение 44. Случайные величины ? и ? называют некоррелированными, если cov(?, ?) = 0 (или если ?(?, ?) = 0, — в том случае, когда коэффициент корреляции существует).

Замечание 17. Если одна из величин ? и ? — постоянная, то эти величины независимы, и cov (?, ?) = 0. Естественно в этом случае тоже полагать, что
? и ? «некоррелированы», хотя коэффициент корреляции не определен
(дисперсия постоянной равна 0).

12.3 Свойства коэффициента корреляции

Всюду далее специально не оговаривается, но предполагается, что коэффициент корреляции существует.

Теорема 26.

Коэффициент корреляции обладает следующими свойствами.

1. Если с. в. ? и ? независимы, то ?(?, ?) = cov(?, ?) = 0.

2. (?(?, ?)((. 1

3. (?(?, ?)(= 1, если и только если с. в. ? и ? с вероятностью 1 линейно связаны, т.е. существуют числа а ( 0 и b такие, что P(? = a?+ b) =
1.

Определение 45. Пусть D конечна и отлична от нуля. Определим случайную величину

[pic]

Преобразование [pic] называется стандартизацией случайной величины ?, а сама с. в. [pic] называется стандартизованной , или (слэнг!) центрированной и нормированной версией с. в. ?.

Свойство 13. Стандартизованная с. в. [pic]имеет нулевое математическое ожидание и единичную дисперсию.

Доказательство. Воспользуемся свойствами математического ожидания и дисперсии:

[pic]

Полезно знать следующие часто употребляемые термины.

Определение 46. Говорят, что величины ? и ? отрицательно коррелированы, если ?(?, ?) < 0; говорят, что величины ? и ? положительно коррелированы, если ?(?, ?) > 0.

Смысл знака коэффициента корреляции особенно ясен в случае (?(?, ?) (=
1. Тогда знак ? равен знаку a в равенстве ? = a?+ b п.н. То есть ?(?, ?) =
1 означает, что чем больше ?, тем больше и ?. Напротив, ?(?, ?) = -1 означает, что чем больше ?, тем меньше ?. Похожим образом можно трактовать знак коэффициента корреляции и в случае, когда (?(?, ?) (< 1, помня при этом, что зависимость величин ? и ? теперь уже не линейная и, возможно, даже не функциональная.

Так, величины ? и ? + ? в примерах 41 и 42 положительно коррелированы, но их зависимость не функциональная.

Пример 43.

Если с. в. ? и ? есть координаты точки, брошенной наудачу в треугольник с вершинами (2,0), (0,0) и (0,1), то коэффициент корреляции ?(?, ?) отрицателен. Это можно объяснить «на пальцах» так: Чем больше ?, тем меньше у ? возможностей быть большой) Предлагаю убедиться в этом, проверив справедливость следующих высказываний.

Во-первых,

[pic]

Во-вторых,

Совместное распределение координат точки, брошенной наудачу в произвольную (измеримую) область D на плоскости имеет постоянную плотность во всех точках области D. Это связано с понятием «наудачу»: вероятность попасть в любую область A( D, с одной стороны зависит только от площади А и не зависит от формы и положения А внутри D, равняясь с другой стороны, интегралу по области А от плотности совместного распределения координат точки. Эти два качества возможно совместить, только если плотность совместного распределения постоянна внутри D. Более того, эта постоянная, как легко видеть, есть просто [pic] (хотя бы потому, что интеграл от нее по всей области D должен ровняться вероятности попасть в D, или единице).

Распределение точки, брошенной наудачу в область (все равно где), называют равномерным распределением.

Итак, плотность равномерного распределения в произвольной области на плоскости — постоянная, равная (1/ площадь области) для точек внутри области и нулю — вне. Поэтому (а также потому, что площадь этого треугольника равна 1)

[pic]

То есть ковариация (а с ней и коэффициент корреляции) отрицательна
(посчитать cov(?, ?)).

Пример 44.

Найти коэффициент корреляции между числом выпадений единицы и числом выпадений шестерки при n подбрасываниях симметричного кубика.

Решение. Обозначим для i = 1, 2, 3, 4, 5, 6 через ?i случайную величину, равную числу выпадений грани с i очками при n подбрасываниях кубика. Посчитаем cov(?1, ?6).

Каждая из случайных величин ?i имеет биномиальное распределение с параметрами n и 1/6, поэтому

[pic].

Заметим, что сумма ?1 + … + ?n этих величин равна n. В силу симметрии кубика, все математические ожидания [pic]одинаковы, но, скорее всего, отличаются от

[pic]

Посчитаем

С одной стороны, это равно

с другой стороны,

Отсюда

Следовательно, искомый коэффициент корреляции равен

Интересно, что полученный коэффициент корреляции не зависит от n.

... Откуда, наконец, вытекает то удивительное, по-видимому, следствие, что, если бы наблюдения над всеми событиями продолжать всю вечность, причем вероятность, наконец, перешла бы в полную достоверность, то было бы замечено, что в мире все управляется точными отношениями и постоянным законом изменений, так что даже в вещах, в высшей степени случайных, мы принуждены были бы признать как бы некоторую необходимость и, скажу я, рок.

Я к о б Б е р н у л л и, Ars conjectandi

(1713)

Раздел 13. Куда и как сходятся последовательности случайных величин

13.1 Сходимость «почти наверное» и «по вероятности»

Напомню, что случайная величина есть (измеримая) функция из некоторого абстрактного множества ? в множество действительных чисел.
Последовательность случайных величин есть, тем самым, последовательность функций (определенных на одном и том же пространстве элементарных исходов
?). И если мы хотим говорить о сходимости последовательности случайных величин {?n }(n=1 , не будем забывать, что мы имеем дело не с последовательностью чисел, а с последовательностью функций. Существуют разные виды сходимости последовательности функций. Всякий раз давать определение какой-либо сходимости мы будем, опираясь на сходимость числовых последовательностей, как на уже известное основное понятие.

В частности, при каждом новом ? ( ? мы имеем новую числовую последовательность {?n (? )}(n=1 . Поэтому, во-первых, можно говорить о знакомой из математического анализа (почти) поточечной сходимости последовательностей функций: о сходимости «почти всюду», которую в теории вероятностей называют сходимостью «почти наверное».

Определение 46. Говорят, что последовательность с. в. {?n } сходится почти наверное к с. в. ? при n ( ( , и пишут: ?n ( ? п. н., если P{ ?: ?n
(? ) ( ? при n ( (} = 1.

Иначе говоря, если ?n (? ) ( ? при n ( ( для всех ? ( ?, кроме, возможно, ? ( A, где множество (событие) A имеет нулевую вероятность.

Заметим сразу: чтобы говорить о сходимости «почти наверное», требуется
(по крайней мере, по определению) знать, как устроены отображения ? ( ?n (?
). В задачах же теории вероятностей, как правило, известны не сами случайные величины, а лишь их распределения. Известно, то есть, какова вероятность тех элементарных исходов ?, для которых ?n (? ) принимает значения в заданном множестве. Можем ли мы, обладая только информацией о распределениях, говорить о какой-либо сходимости последовательности случайных величин {?n } к с. в. ??

Можно, например, потребовать, чтобы вероятность («доля») тех элементарных исходов ?, для которых ?n (? ) не попадает в «?-окрестность» числа ? (? ), уменьшалась до нуля с ростом n. Такая сходимость в функциональном анализе называется сходимостью «по мере», а в теории вероятностей — сходимостью «по вероятности».

Определение 47. Говорят, что последовательность с. в. { ?n } сходятся по вероятности к с. в. ? при n ( (, и пишут:

[pic]

если для любого ? > 0

[pic]

Пример 45. Рассмотрим последовательность с. в. ?1 , ?2, …, в которой все величины имеют разные распределения: с. в. ?n, n > 0, принимает значения и 0 и n7 с вероятностями [pic]. Докажем, что эта последовательность сходится по вероятности к случайной величине, равной нулю п. н. (к нулю, проще говоря).

Действительно, зафиксируем произвольное ? > 0. Для всех n начиная с некоторого n0 такого, что n07 > ? верно равенство (*) ниже

[pic]

Итак, случайные величины ?n с ростом n могут принимать все большие и большие значения, но со все меньшей и меньшей вероятностью.

Замечание 18. Сходимость по вероятности не обязательно сопровождается сходимостью математических ожиданий или моментов других порядков: из
[pic]не следует, что [pic]

Действительно, в примере 45 имеет место сходимость [pic], но неверно, что [pic]

Если вместо значения n7 взять, скажем, n (с той же вероятностью 1/ n), получим

[pic]

А если ?n принимает значения 0 и [pic] с теми же вероятностями, что и в примере 45, то [pic], но уже вторые моменты сходиться ко второму моменту ? не будут:

[pic]

Сходимость по вероятности обладает обычными для сходимостей свойствами.
Например, такими.

Свойство 13. Если [pic], то

1. [pic];

2. [pic].

Свойство 14.

Если [pic], и g – непрерывная функция, то [pic]

Если [pic], и g – непрерывна в точке с, то [pic]

Чтобы доказывать сходимость по вероятности, можно просто уметь вычислять [pic] при больших n. Но для этого нужно знать распределение ?n, что не всегда возможно. Скажем, ?n может быть суммой нескольких других с. в., распределения которых не устойчивы по суммированию, и вычислить распределение их суммы по формуле свертки или как-то еще бывает слишком сложно.

Если бы мы имели неравенства, позволяющие оценить [pic] сверху чем- либо, что мы умеем устремлять к нулю и что проще вычисляется, то сходимость по вероятности мы получили бы по лемме о двух милиционерах: [pic]. Итак, неравенства П. Л. Чебышёва.

13.2 Неравенства Чебышёва

Все неравенства в этом параграфе принято относить к одному классу, называемому «неравенствами Чебышёва». Следующее неравенство часто называют собственно неравенством Чебышёва, хотя в такой форме оно появилось впервые, видимо, в работах А. А. Маркова (например, Исчисление вероятностей, 1913 г.).

Теорема 27 (Неравенство Маркова).

Если [pic], то для любого положительного x

[pic]

Доказательство. Введем новую случайную величину ?x, называемую
«срезкой» с. в. (?( на уровне x:

[pic]

Для неё и,

1.[pic]

2. [pic]

Нам потребуется следующее понятие.

Определение 48. Пусть A — некоторое событие. Назовем индикатором события A случайную величину I(A), равную единице, если событие A произошло, и нулю, если A не произошло.

По определению, I(A) имеет распределение Бернулли с параметром p =
P(I(A) = 1) = P(A), и ее математическое ожидание равно вероятности успеха p
= P(A).

Случайную величину ?х можно представить в виде

[pic]

Тогда

[pic] (11)

Вспомним, что [pic], и оценим [pic]снизу согласно (11):

[pic]

Итак, [pic], что и требовалось доказать.

Следующее неравенство мы будем называть «обобщенным неравенством
Чебышёва».

Следствие 12. Пусть функция g монотонно возрастает и неотрицательна на
[0,(]. Если [pic], то для любого положительного х

[pic]

В 1853 г. И. Бьенеме (I. Bienayme) и в 1866 г., независимо от него, П.
Л. Чебышёв прямыми методами доказали следующее неравенство

Следствие 13 (Неравенство Чебышёва-Бьенеме). Если [pic], то

[pic]

В качестве следствия получим так называемое «правило трех сигм», которое формулируют, например, так: вероятность случайной величине отличаться от своего математического ожидания более, чем на три корня из дисперсии, мала. Разумеется, для каждого распределения величина этой вероятности своя: для нормального распределения, например, эта вероятность равна 0,0027 — см. свойство 9. Мы получим верную для всех распределений с конечной дисперсией оценку сверху для «вероятности с. в. отличаться от своего математического ожидания более, чем на три корня из дисперсии».

Следствие 14. Если [pic], то [pic]

13.3 Законы больших чисел

Определение 49. Говорят, что последовательность с. в. [pic]с конечными первыми моментами удовлетворяет закону больших чисел (ЗБЧ), если

[pic] (12)

Законами больших чисел принято называть утверждения об условиях, при которых последовательность с. в. «удовлетворяет закону больших чисел».

Выясним сначала, что означает и когда выполнен ЗБЧ для независимых и одинаково распределенных с.в.

Заметим, что если с. в. одинакого распределены, то математические ожидания у них одинаковы (и равны, например,[pic]), поэтому (12) можно записать в виде

[pic]

Итак, законы больших чисел.

Теорема 28 (ЗБЧ в форме Чебышёва).

Для любой последовательности независимых и одинаково распределенных случайных величин с конечным вторым моментом [pic] имеет место сходимость:

[pic]

ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых «стабилизируется» с ростом этого числа. Как бы сильно каждая с. в. не отклонялась от своего среднего значения, при суммировании эти отклонения «взаимно гасятся», так что среднее арифметическое приближается к постоянной величине.

В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение остается верным если требовать существования только первого момента.

Доказательство. Обозначим через [pic] сумму первых n с. в., а их среднее арифметическое через [pic]. Тогда

[pic]

Пусть ? > 0. Воспользуемся неравенством Чебышёва (следствие 13):

[pic] (13)

при [pic], поскольку [pic], по условию, конечна.

Следствие 15. Последовательность с. в. [pic] с конечными вторыми моментами удовлетворяет ЗБЧ, то есть

[pic]

при выполнении любого из следующих условий:

а) если [pic], то есть [pic] при [pic];

б) если [pic]независимы и [pic], то есть

[pic]

в) если [pic] независимы, одинаково распределены и имеют конечную дисперсию (ЗБЧ Чебышёва).

Теорема 29 (ЗБЧ в форме Хинчина).

Для любой последовательности независимых и одинаково распределенных случайных величин с конечным первым моментом [pic] имеет место сходимость:

[pic]

Более того, в условиях теоремы 29 имеет место сходимость «почти наверное». Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел
Я. Бернулли (1713). В отличие от доказанного через полтора столетия ЗБЧ
Чебышёва, описывающего предельное поведение среднего арифметического с. в. с произвольными распределениями, ЗБЧ Бернулли — утверждение только для схемы Бернулли.

Теорема 30 (ЗБЧ Бернулли).

Пусть А — событие, которое может произойти в любом из n независимых испытаний с одной и той же вероятностью P(А). Пусть vn(А) — число осуществлений события А в n испытаниях. Тогда

[pic]

При этом для любого ? > 0

[pic]

13.4 Примеры использования ЗБЧ и неравенства Чебышёва

Пример 46.

Монета подбрасывается 10 000 раз. Оценить вероятность того, что частота выпадения герба отличается от вероятности более чем на одну сотую.

Требуется оценить [pic], где [pic]—число выпадений герба, а [pic] — независимые с. в., имеющие распределение Бернулли с параметром 1/2, равные
«числу гербов, выпавших при i-м подбрасывании» (то есть единице, если выпал герб и нулю иначе, или индикатору того, что выпал герб). Поскольку [pic], искомая оценка сверху выглядит так:

[pic]

Иначе говоря, неравенство Чебышёва позволяет заключить, что, в среднем, не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от 1/2 более чем на одну сотую. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой.

Пример 47.

Пусть [pic] — последовательность случайных величин, дисперсии которых ограничены одной и той же постоянной С, а ковариации любых с. в. [pic] и
[pic] ([pic]), не являющихся соседними в последовательности, равны нулю.
Удовлетворяет ли эта последовательность ЗБЧ?

Воспользуемся неравенством (13) и свойством 12:

[pic]

Но для i < j, по условию, [pic], если [pic]. Следовательно, в сумме
[pic] равны нулю все слагаемые кроме, может быть, [pic] (их ровно n -1 штука).

Оценим каждое из них, используя одно из свойств коэффициента корреляции

[pic](по условию задачи)

[pic][pic]

при [pic], т.е. последовательность [pic] удовлетворяет ЗБЧ.

... Из этой первой лекции по теории вероятностей я запомнил только полузнакомый термин «математическое ожидание». Незнакомец употреблял этот термин неоднократно, и каждый раз я представлял себе большое помещение, вроде зала ожидания, с кафельным полом, где сидят люди с портфелями и бюварами и, подбрасывая время от времени к потолку монетки и бутерброды, сосредоточенно чего-то ожидают. До сих пор я часто вижу это во сне. Но тут незнакомец оглушил меня звонким термином

«предельная теорема Муавра — Лапласа» и сказал, что все это к делу не относится.

Аркадий и Борис Стругацкие, Стажеры

Раздел 14. ЦПТ (центральная предельная теорема)

14.1 Как быстро [pic] сходится к [pic]?

Пусть, как в законе больших чисел в форме Чебышёва, [pic] — сумма n независимых и одинаково распределенных величин с конечной дисперсией.
Тогда, в силу ЗБЧ, [pic] с ростом n. Или, после приведения к общему знаменателю,

[pic]

Если при делении на n мы получили в пределе нуль (в смысле некоторой, все равно какой, сходимости), резонно задать себе вопрос: а не слишком ли на «много» мы поделили? Нельзя ли поделить на что-нибудь, растущее к бесконечности медленнее, чем n, чтобы получить в пределе не нуль (и не бесконечность, само собой)?

Можно поставить этот вопрос по-другому. Вот последовательность, стремящаяся (как-то) к нулю. Можно ли ее домножить на что-либо растущее, чтобы «погасить» это стремление к нулю? Получив, тем самым, что-нибудь конечное и отличное от нуля в пределе?

Оказывается, что уже [pic], или, что, то же самое, [pic], не сходится к нулю. Распределение этой, зависящей от n, случайной величины становится все более похоже на нормальное распределение! Можно считать, что такая последовательность сходится к случайной величине, имеющей нормальное распределение, но сходится не по вероятности, а только в смысле сходимости распределений, или «слабой сходимости».

14.2 Слабая сходимость

Пусть задана последовательность с. в.[pic], задано некоторое распределение [pic]с функцией распределения [pic] и [pic]— произвольная с. в., имеющая распределение [pic].

Определение 50. Говорят, что последовательность с. в. [pic] при
[pic]сходится слабо или по распределению к с. в. [pic], или говорят, что последовательность с. в. слабо сходится к распределению [pic], или говорят, что распределения с.в. [pic] слабо сходится к распределению [pic], и пишут:, [pic] или [pic], или [pic], если для любого х такого, что функция распределения [pic] непрерывна в точке х, имеет место сходимость [pic]при
[pic].

Иначе говоря, слабая сходимость — это поточечная сходимость функций распределения во всех точках непрерывности предельной функции распределения.

Свойство 15. Если [pic], и функция распределения [pic] непрерывна в точках a и b, то [pic] Наоборот, если во всех точках a и b непрерывности функции распределения [pic] имеет место, например, сходимость [pic], то
[pic].

Следующее важное свойство уточняет отношения между сходимостями.

Свойство 16.

1. Если [pic], то [pic].

2. Если [pic] = const, то [pic].

Доказательство.Докажем, что слабая сходимость к постоянной влечет сходимость по вероятности.

Пусть

[pic]

при любом x, являющемся точкой непрерывности предельной функции [pic], то есть при всех [pic].

Возьмем произвольное [pic] и докажем, что[pic]. Раскроем модуль:

[pic]

(сужаем событие под знаком вероятности)

[pic]поскольку в точках [pic] функция [pic] непрерывна, и, следовательно, имеет место сходимость последовательности [pic]к[pic]

Осталось заметить, что [pic] не бывает больше 1, так что по лемме о двух милиционерах [pic].

Следующее свойство приводит пример операций, которые можно применять к слабо сходящимся последовательностям — скажем, домножать их на последовательности, сходящиеся по вероятности к постоянным величинам.

Свойство 17.

1. Если [pic] const и [pic], то [pic].

2. Если [pic] const и [pic], то [pic].

Несколько содержательных примеров слабой сходимости мы рассмотрим в следующей главе. Но основной источник слабо сходящихся последовательностей и необычайно мощное и универсальное средство для асимптотического анализа распределения сумм независимых и одинаково распределенных случайных величин предоставляет нам ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

14.3 Центральная предельная теорема

Мы будем называть следующее утверждение «ЦПТ А. М. Ляпунова» (1901), но сформулируем теорему Ляпунова только в частном случае — для последовательности независимых и одинаково распределенных случайных величин.

Теорема 31 (ЦПТ).

Пусть [pic] — независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией: [pic]. Обозначим через [pic]сумму первых n случайных величин. Тогда последовательность с. в. [pic] слабо сходится к стандартному нормальному распределению.

Пользуясь определением и свойствами слабой сходимости, и заметив, что функция распределения [pic]любого нормального закона непрерывна всюду на R, утверждение ЦПТ можно сформулировать любым из следующих способов:

Следствие 18. Пусть [pic] — независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией. Следующие утверждения эквивалентны друг другу и равносильны утверждению ЦПТ.

Для любых вещественных x < y при [pic] имеет место сходимость

[pic]

Для любых вещественных x < y при [pic] имеет место сходимость

[pic]

Для любых вещественных x < y при [pic] имеет место сходимость

[pic]

Если [pic] — произвольная с. в. со стандартным нормальным распределением, то

[pic]

Замечание 19. Еще раз напомним, что функция распределения стандартного нормального закона ищется либо по соответствующей таблице в справочнике, либо с помощью какого-либо программного обеспечения, но никак не путем нахождения первообразной.

14.4 Предельная теорема Муавра — Лапласа

Получим в качестве следствия из ЦПТ предельную теорему Муавра — Лапласа
(P. S. Laplace, 1812; A. de Moivre, 1730). Подобно ЗБЧ Бернулли, предельная теорема Муавра – Лапласа — утверждение только схемы Бернулли.

Теорема 32 (Предельная теорема Муавра — Лапласа).

Пусть А — событие, которое может произойти в любом из n независимых испытаний с одной и той же вероятностью p = P(A). Пусть [pic] — число осуществлений события А в n испытаниях. Тогда [pic]. Иначе говоря, для любых вещественных x < y при [pic] имеет место сходимость

[pic]

14.5 Примеры использования ЦПТ

Пример 48.

Монета подбрасывается 10 000 раз. Оценить вероятность того, что частота выпадения герба отличается от вероятности более чем на одну сотую.

Требуется найти

[pic], где [pic]—число выпадений герба, а [pic] — независимые с. в., имеющие одно и то же распределение Бернулли с параметром 1/2. Домножим обе части неравенства под знаком вероятности на [pic] и поделим на корень из дисперсии [pic]одного слагаемого.

[pic]

[pic]

Согласно ЦПТ или предельной теореме Муавра — Лапласа, последовательность

[pic]

слабо сходится к стандартному нормальному распределению. Рассмотрим произвольную с. в. [pic], имеющую распределение [pic].

[pic]

Равенство [pic] следует из свойства 10.

Замечание 20. Центральной предельной теоремой пользуются для приближенного вычисления вероятностей, связанных с суммами большого числа независимых и одинаково распределенных величин. При этом распределение центрированной и нормированной суммы заменяют на стандартное нормальное распределение.

Следующий результат позволяет оценить погрешность приближения в ЦПТ.

Теорема 33 (Неравенство Берри – Эссеена).

В условиях ЦПТ для любого х ( R (то есть равномерно по х)

[pic]

Замечание 21. Про постоянную С известно, что:

а) в общем случае С не превышает 0,7655 (И. С. Шиганов),

б) погрешность приближения наиболее велика, если слагаемые [pic] имеют распределение Бернулли, и С в этом случае не меньше, чем [pic](C. G.
Esseen, Б. А. Рогозин),

в) как показывают расчеты, можно смело брать в качестве С число 0,4 — даже для слагаемых с распределением Бернулли, особенно при малых n, когда и это значение постоянной оказывается слишком грубой оценкой.

Подробный обзор можно найти в монографии В.М.Золотарева «Современная теория суммирования независимых случайных величин», стр. 264– 291.

Продолжение примера 48. Проверьте, что для с. в. [pic] с распределением
Бернулли

[pic]

Поэтому разница между левой и правой частями приближенного равенства в примере 48 при [pic]и [pic] не превышает величины

[pic]

так что искомая вероятность [pic]не больше, чем 0,0456+0,004. Уместно сравнить этот ответ с оценкой, полученной с помощью ЗБЧ в примере 48.

Пример 49.

Пусть [pic] — независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией, [pic]сумму первых n случайных величин.
При каких с имеет или не имеет место сходимость

[pic]

Согласно ЗБЧ, последовательность [pic] сходится по вероятности (а, следовательно, и слабо) к [pic]. Слабая сходимость означает, что последовательность функций распределения [pic]сходится к функции распределения [pic], если [pic] непрерывна в точке с (и ничего не означает, если [pic] разрывна в точке с). Но

[pic]

есть функция распределения вырожденного закона и непрерывна в любой точке с, кроме [pic]. Итак, первый вывод: сходимость [pic] имеет место для любого с, кроме, возможно, [pic]. Убедимся, что для [pic] такой сходимости быть не может. Пусть [pic]. Согласно ЦПТ,

[pic]

Аналогично, кстати, ведет себя и вероятность [pic]. Она тоже стремится к 1/2, а не к [pic]

-----------------------

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

Больше работ по теме: