Лекция 11. Неравенство Чебышева. Теорема Чебышева. Центральная предельная теорема.

Несмотря на то, что заранее нельзя предсказать, какое из возможных значений примет случайная величина в результате опыта, при некоторых условиях суммарное поведение достаточно большого числа случайных величин становится закономерным. Иными словами, при очень большом числе случайных явлений их средний результат практически перестает быть случайным и может быть предсказан с большой степенью определенности.

Для практики очень важно знание условий, при выполнении которых это может происходить. Эти условия указываются в теоремах, носящих общее название закона больших чисел , важнейшей из которых является теорема Чебышева. Для доказательства теоремы Чебышева используется неравенство Чебышева , которое мы сейчас рассмотрим.

Вероятность того, что отклонение случайной величины X от ее математического ожидания по абсолютной величине меньше положительного числа e, не меньше, чем , т.е.

Пример .

Номинальное значение диаметра втулки равно 5 мм, а дисперсия, из-за погрешностей изготовления, не превосходит 0,01. Оценить вероятность того, что размер втулки будет отличаться от номинала не более чем на 0,5 мм.

Решение:

По неравенству Чебышева

Неравенство Чебышева дает только верхнюю границу вероятности данного отклонения. Выше этой границы вероятность не может быть ни при каком законе распределения . Например, если мы захотим выяснить, какова вероятность того, что случайная величина X отклонится от своего математического ожидания не меньше, чем на 3 среднеквадратических отклонения, то неравенство Чебышева даст нам верхнюю границу этого значения 1/9 @ 0,111. В то же время, например для нормального распределения вероятность такого отклонения намного меньше - 0,0027 (правило трех сигм).

Теорема Чебышева .

Если - попарно независимые случайные величины, причем их дисперсии ограничены (не превышают постоянного числа С), то, как бы мало ни было положительное число e, вероятность выполнения неравенства

будет как угодно близка к единице при достаточно большом числе n. Иначе говоря

Таким образом, теорема Чебышева утверждает, что для достаточно большого числа независимых случайных величин, имеющих ограниченные дисперсии, почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.

Доказательство . Введем в рассмотрение новую случайную величину – среднее арифметическое случайных величин



Найдем математическое ожидание . Пользуясь свойствами математического ожидания, получим

Применяя к величиненеравенство Чебышева, имеем

Пользуясь свойствами дисперсии (постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат; дисперсия суммы независимых случайных величин равна сумме дисперсий слагаемых), получим

Так как по условию дисперсии всех случайных величин ограничены постоянным числом С, то

Таким образом

Подставляя правую часть последнего неравенства в (1) (отчего оно может быть только усилено), получим

Отсюда, переходя к пределу при и учитывая, что вероятность не может превосходить единицы, получим доказательство:

В важном частном случае, когда случайные величины имеют одно и то же математическое ожидание (обозначим его a) формула, выражающая теорему Чебышева, принимает вид

Сущность теоремы Чебышева такова: хотя отдельные независимые случайные величины могут принимать значения, далекие от своих математических ожиданий, среднее арифметическое достаточно большого числа случайных величин с большой вероятностью принимает значения, близкие к определенному

постоянному числу

или – в частном случае, к числу . Иными словами, отдельные случайные величины могут иметь значительный разброс, а их среднее арифметическое рассеяно мало. Объясняется это тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными, а в среднем арифметическом они взаимно погашаются .

Пусть производится процесс измерения некоторой величины. Будем рассматривать результаты каждого измерения как случайные величины . Если результат каждого измерения не зависит от результатов остальных (т.е. величины попарно независимы), а случайные величины имеют одинаковое математическое ожидание и их дисперсии ограничены, то, применяя теорему Чебышева, получим, что при достаточно большом n среднее арифметическое результатов измерений сколь угодно мало отличается от истинного значения измеряемой величины (математического ожидания a).

На теореме Чебышева основан широко применяемый в статистике выборочный метод, суть которого состоит в том, что по сравнительно небольшой случайной выборке судят о всей совокупности (генеральной совокупности) исследуемых объектов.

Дисперсия случайной величины. Математическое ожидание показывает, вокруг какой точки группируются значения случайной величины. Необходимо также уметь измерить изменчивость случайной величины относительно математического ожидания. Выше показано, что достигает минимума по при . Поэтому за показатель изменчивости случайной величины естественно взять именно .

Определение 5 . Дисперсией случайной величины называется число .

Установим ряд свойств дисперсии случайной величины, постоянно используемых в вероятностно-статистических методах принятия решений .

Утверждение 8 . Пусть - случайная величина , и - некоторые числа, . Тогда .

Как следует из утверждений 3 и 5, . Следовательно, . Поскольку постоянный множитель можно выносить за знак суммы, то .

Утверждение 8 показывает, в частности, как меняется дисперсия результата наблюдений при изменении начала отсчета и единицы измерения. Оно дает правило преобразования расчетных формул при переходе к другим значениям параметров сдвига и масштаба.

Утверждение 9 . Если случайные величины и независимы, то дисперсия их суммы равна сумме дисперсий: .

Для доказательства воспользуемся тождеством

которое вытекает из известной формулы элементарной алгебры при подстановке и . Из утверждений 3 и 5 и определения дисперсии следует, что

Согласно утверждению 6 из независимости и вытекает независимость и . Из утверждения 7 следует, что

Поскольку (см. утверждение 3), то правая часть последнего равенства равна 0, откуда с учетом двух предыдущих равенств и следует заключение утверждения 9.

Утверждение 10 . Пусть - попарно независимые случайные величины (т.е. и независимы, если ). Пусть - их сумма, . Тогда математическое ожидание суммы равно сумме математических ожиданий слагаемых - . Дисперсия суммы равна сумме дисперсий слагаемых, .

Соотношения, сформулированные в утверждении 10, являются основными при изучении выборочных характеристик, поскольку результаты наблюдений или измерений, включенные в выборку, обычно рассматриваются в математической статистике, теории принятия решений и эконометрике как реализации независимых случайных величин.

Для любого набора числовых случайных величин (не только независимых) математическое ожидание их суммы равно сумме их математических ожиданий. Это утверждение является обобщением утверждения 5. Строгое доказательство легко проводится методом математической индукции .

При выводе формулы для дисперсии воспользуемся следующим свойством символа суммирования:

Положим , получим

Воспользуемся теперь тем, что математическое ожидание суммы равно сумме математических ожиданий:

(8)

Как показано при доказательстве утверждения 9, из попарной независимости рассматриваемых случайных величин следует, что при . Следовательно, в сумме (8) остаются только члены с , а они равны как раз .

Полученные в утверждениях 8-10 фундаментальные свойства таких характеристик случайных величин, как математическое ожидание и дисперсия , постоянно используются практически во всех вероятностно-статистических моделях реальных явлений и процессов.

Пример 9 . Рассмотрим событие и случайную величину такую, что , если , и в противном случае, т.е. если . Покажем, что .

Воспользуемся формулой (5) для математического ожидания. Случайная величина принимает два значения - 0 и 1, значение 1 с вероятностью и значение 0 с вероятностью , а потому . Аналогично с вероятностью и с вероятностью , а потому . Вынося общий множитель , получаем, что .

Пример 10 . Рассмотрим независимых испытаний, в каждом из которых некоторое событие может наступить, а может и не наступить. Введем случайные величины следующим образом: , если в -ом испытании событие наступило, и - в противном случае. Тогда случайные величины попарно независимы (см. пример 7). Как показано в примере 9, , где . Иногда называют "вероятностью успеха" - в случае, если наступление события рассматривается как "успех".

Случайная величина называется биномиальной. Ясно, что при всех возможных исходах опытов. Чтобы найти распределение , т.е. вероятности при , достаточно знать - вероятность наступления рассматриваемого события в каждом из опытов. Действительно, случайное событие осуществляется тогда и только тогда, когда событие наступает ровно при испытаниях. Если известны номера всех этих испытаний (т.е. номера в последовательности испытаний), то вероятность одновременного осуществления в опытах события и в опытах противоположного ему - это вероятность произведения независимых событий. Вероятность произведения равна произведению вероятностей, т.е. . Сколькими способами можно задать номера испытаний из ? Это - число сочетаний из элементов по , рассматриваемое в комбинаторике . Как известно,

где символом ! обозначено произведение всех натуральных чисел от 1 до , т.е. (дополнительно принимают, что 0! = 1). Из сказанного следует, что биномиальное распределение , т.е. распределение биномиальной случайной величины, имеет вид

Название " биномиальное распределение " основано на том, что является членом с номером в разложении по биному Ньютона

если положить . Тогда при получим

Для числа сочетаний из элементов по , кроме , используют обозначение .

Из утверждения 10 и расчетов примера 9 следует, что для случайной величины , имеющей биномиальное распределение , математическое ожидание и дисперсия выражаются формулами

поскольку является суммой независимых случайных величин с одинаковыми математическими ожиданиями и дисперсиями, найденными в примере 9.

Неравенства Чебышева . Выше обсуждалась задача проверки того, что доля дефектной продукции в партии равна определенному числу. Для демонстрации вероятностно-статистического подхода к проверке подобных утверждений являются полезными неравенства, впервые примененные в теории вероятностей великим русским математиком Пафнутием Львовичем Чебышевым (1821–1894) и потому носящие его имя. Эти неравенства широко используются в теории математической статистики, а также непосредственно применяются в ряде практических задач принятия решений . Например, в задачах статистического анализа технологических процессов и качества продукции в случаях, когда явный вид функции распределения результатов наблюдений неизвестен (см. ниже, где, в частности, они применяются в задаче исключения резко отклоняющихся результатов наблюдений).

Первое неравенство Чебышева . Пусть - неотрицательная случайная величина (т.е. для любого ). Тогда для любого положительного числа справедливо неравенство

Доказательство . Все слагаемые в правой части формулы (4), определяющей математическое ожидание, в рассматриваемом случае неотрицательны. Поэтому при отбрасывании некоторых слагаемых сумма не увеличивается. Оставим в сумме только те члены, для которых . Получим, что

Из (9) и (10) следует требуемое.

Второе неравенство Чебышева . Пусть – случайная величина . Для любого положительного числа справедливо неравенство

Это неравенство содержалось в работе П.Л.Чебышева "О средних величинах", доложенной Российской академии наук 17 декабря 1866 г. и опубликованной в следующем году.

Для доказательства второго неравенства Чебышева рассмотрим случайную величину . Она неотрицательна, и потому для любого положительного числа , как следует из первого неравенства Чебышева , справедливо неравенство

Положим . Событие совпадает с событием , а потому

что и требовалось доказать.

Пример 11 . Можно указать неотрицательную случайную величину и положительное число такие, что первое неравенство Чебышева обращается в равенство .

Достаточно рассмотреть . Тогда и , т.е. .

Следовательно, первое неравенство Чебышева в его общей формулировке не может быть усилено. Однако для подавляющего большинства случайных величин, используемых при вероятностно-статистическом моделировании процессов принятия решений , левые части неравенств Чебышева много меньше соответствующих правых частей.

Пример 12 . Может ли первое неравенство Чебышева обращаться в равенство при всех ? Оказывается, нет. Покажем, что для любой неотрицательной случайной величины с ненулевым математическим ожиданием можно найти такое положительное число , что первое неравенство Чебышева является строгим.

Действительно, математическое ожидание неотрицательной случайной величины либо положительно, либо равно 0. В первом случае возьмем положительное , меньшее положительного числа , например, положим . Тогда больше 1, в то время как вероятность события не может превышать 1, а потому первое неравенство Чебышева является для этого строгим. Второй случай исключается условиями примера 11.

Отметим, что во втором случае равенство 0 математического ожидания влечет тождественное равенство 0 случайной величины. А для такой случайной величины при любом положительном и левая и правая части первого неравенства Чебышева равны 0.

Можно ли в формулировке первого неравенства Чебышева отбросить требование неотрицательности случайной величины ? А требование положительности ? Легко видеть, что ни одно из двух требований не может быть отброшено, поскольку иначе правая часть первого неравенства Чебышева может стать отрицательной.

Закон больших чисел . Неравенство Чебышева позволяет доказать замечательный результат, лежащий в основе математической статистики – закон больших чисел . Из него вытекает, что выборочные характеристики при возрастании числа опытов приближаются к теоретическим, а это дает возможность оценивать параметры вероятностных моделей по опытным данным. Без закона больших чисел не было бы большей части прикладной математической статистики.

Теорема Чебышева . Пусть случайные величины попарно независимы и существует число такое, что при всех . Тогда для любого положительного выполнено неравенство

(11)

Доказательство . Рассмотрим случайные величины и . Тогда согласно утверждению 10

Из свойств математического ожидания следует, что , а из свойств дисперсии – . Таким образом,

Из условия теоремы Чебышева следует, что

Применим к второе неравенство Чебышева. Получим для стоящей в левой части неравенства (11) вероятности оценку

что и требовалось доказать.

Эта теорема была получена П.Л.Чебышевым в той же работе 1867 г. "О средних величинах", что и неравенства Чебышева .

Пример 13 . Пусть . При каких правая часть неравенства (11) не превосходит 0,1? 0,05? 0,00001?

В рассматриваемом случае правая часть неравенства (11) равна . Она не превосходит 0,1, если не меньше 1000, не превосходит 0,05, если не меньше 2000, не превосходит 0,00001, если не меньше 10 000 000.

Правая часть неравенства (11), а вместе с ней и левая, при возрастании и фиксированных и убывает, приближаясь к 0. Следовательно, вероятность того, что среднее арифметическое независимых случайных величин отличается от своего математического ожидания менее чем на , приближается к 1 при возрастании числа случайных величин, причем при любом . Это утверждение называют ЗАКОНОМ БОЛЬШИХ ЧИСЕЛ.

Наиболее важен для вероятностно-статистических методов принятия решений (и для математической статистики в целом) случай, когда все ., имеют одно и то же математическое ожидание и одну и ту же дисперсию . В качестве замены (оценки) неизвестного исследователю математического ожидания используют выборочное среднее арифметическое

Из закона больших чисел следует, что при увеличении числа опытов (испытаний, измерений) сколь угодно близко приближается к , что записывают так:

Здесь знак означает " сходимость по вероятности". Обратим внимание, что понятие " сходимость по вероятности" отличается от понятия "переход к пределу" в математическом анализе. Напомним, что последовательность имеет предел при , если для любого сколь угодно малого существует число такое, что при любом справедливо утверждение: . При использовании понятия " сходимость по вероятности" элементы последовательности предполагаются случайными, вводится еще одно сколь угодно малое число и утверждение предполагается выполненным не наверняка, а с вероятностью не менее .

В начале лекции отмечалось, что с точки зрения ряда естествоиспытателей вероятность события – это число, к которому приближается отношение количества осуществлений события к количеству всех опытов при безграничном увеличении числа опытов. Известный математик Якоб Бернулли (1654–1705), живший в городе Базель в Швейцарии, в самом конце XVII века доказал это утверждение в рамках математической модели (опубликовано доказательство было лишь после его смерти в 1713 году). Современная формулировка теоремы Бернулли такова.

Теорема Бернулли . Пусть – число наступлений события в независимых (попарно) испытаниях и есть вероятность наступления события в каждом из испытаний. Тогда при любом справедливо неравенство

(12)

Доказательство . Как показано в примере 10, случайная величина имеет биномиальное распределение с вероятностью успеха и является суммой независимых случайных величин , каждое из которых равно 1 с вероятностью и 0 с вероятностью , т.е. . Применим к теорему Чебышева с и получим требуемое неравенство (12).

Теорема Бернулли дает возможность связать математическое определение вероятности ( по А.Н. Колмогорову) с определением ряда естествоиспытателей ( по Р. Мизесу (1883–1953), согласно которому вероятность есть предел частоты в бесконечной последовательности испытаний). Продемонстрируем эту связь . Для этого сначала отметим, что

при всех . Действительно,

Следовательно, в теореме Чебышева можно использовать . Тогда при любом и фиксированном правая часть неравенства (12) при возрастании приближается к 0, что и доказывает согласие математического определения в рамках вероятностной модели с мнением естествоиспытателей.

Есть и прямые экспериментальные подтверждения того, что частота осуществления определенных событий близка к вероятности, определенной из теоретических соображений. Рассмотрим бросания монеты. Поскольку и герб, и решетка имеют одинаковые шансы оказаться сверху, то вероятность выпадения герба равна 1/2 из соображений равновозможности. Французский естествоиспытатель XVIII века Бюффон бросил монету 4040 раз, герб выпал при этом 2048 раз. Частота появления герба в опыте Бюффона равна 0,507. Английский статистик К. Пирсон бросил монету 12000 раз и при этом наблюдал 6019 выпадений герба – частота 0,5016. В другой раз он бросил монету 24000 раз, герб выпал 12012 раз – частота 0,5005. Как видим, во всех этих случаях частоты лишь незначительно отличаются от теоретической вероятности 0,5 [ [ 2.3 ] , с.148].

О проверке статистических гипотез. С помощью неравенства (12) можно кое-что сказать по поводу проверки соответствия качества продукции заданным требованиям.

Пусть из 100000 единиц продукции 30000 оказались дефектными. Согласуется ли это с гипотезой о том, что вероятность дефектности равна 0,23? Прежде всего, какую вероятностную модель целесообразно использовать? Принимаем, что проводится сложный опыт , состоящий из 100000 испытаний 100000 единиц продукции на годность. Считаем, что испытания (попарно) независимы и что в каждом испытании вероятность того, что единица продукции является дефектной, равна . В реальном опыте получено, что событие " единица продукции не является годной" осуществилось 30000 раз при 100000 испытаниях. Согласуется ли это с гипотезой о том, что вероятность дефектности =0,23?

Для проверки гипотезы воспользуемся неравенством (12). В рассматриваемом случае . Для проверки гипотезы поступим так. Оценим вероятность того, что отличается от так же, как в рассматриваемом случае, или больше, т.е. оценим вероятность выполнения неравенства . Положим в неравенстве (12) . Тогда

(13)

При = 100000 правая часть (13) меньше 1/2500. Значит, вероятность того, что отклонение будет не меньше наблюдаемого, весьма мала. Следовательно, если исходная гипотеза верна, то в рассматриваемом опыте осуществилось событие, вероятность которого меньше 1/2500. Поскольку 1/2500 – очень маленькое число, то исходную гипотезу надо отвергнуть.

Подробнее методы проверки статистических гипотез будут рассмотрены ниже. Здесь отметим, что одна из основных характеристик метода проверки гипотезы – уровень значимости, т.е. вероятность отвергнуть проверяемую гипотезу (ее в математической статистике называют нулевой и обозначают ), когда она верна. Для проверки статистической гипотезы часто поступают так. Выбирают уровень значимости – малое число . Если описанная в предыдущем абзаце

Более точные расчеты, основанные на применении центральной предельной теоремы теории вероятностей (см. ниже), дают = 0,095, = 0,0000005, так что оценка (13) является в рассматриваемом случае весьма завышенной. Причина в том, что получена она из наиболее общих соображений, применительно ко всем возможным случайным величинам улучшить ее нельзя (см. пример 11 выше), но применительно к биномиальному распределению – можно.

Ясно, что без введения уровня значимости не обойтись, ибо даже очень большие отклонения от имеют положительную вероятность осуществления. Так, при справедливости гипотезы событие "все 100000 единиц продукции являются дефектными" отнюдь не является невозможным с математической точки зрения, оно имеет положительную

При = 10000 правая часть последнего неравенства равна 1/400. Значит, если исходная гипотеза верна, то в нашем единственном эксперименте осуществилось событие, вероятность которого весьма мала – меньше 1/400. Поэтому исходную гипотезу необходимо отвергнуть.

Если из 1000 бросаний монеты гербы выпали в 400 случаях, то правая часть выписанного выше неравенства равна 1/40. Гипотеза симметричности отклоняется на уровне значимости 0,05 (и 0,1), но рассматриваемые методы не дают возможности отвергнуть ее на уровне значимости 0,01.

Если = 100, а = 40, то правая часть неравенства равна 1/4. Оснований для отклонения гипотезы нет. С помощью более тонких методов, основанных на центральной предельной теореме теории вероятностей, можно показать, что левая часть неравенства равна приблизительно 0,05. Это показывает, как важно правильно выбрать метод проверки гипотезы или оценивания параметров. Следовательно, целесообразна стандартизация подобных методов, позволяющая сэкономить усилия, необходимые для сравнения и выбора наилучшего метода, а также избежать устаревших, неверных или неэффективных методов.

Ясно, что даже по нескольким сотням опытов нельзя достоверно отличить абсолютно симметричную монету ( = 1/2) от несколько несимметричной (для которой, скажем, = 0,49). Более того, любая реальная монета несколько несимметрична, так что монета с = 1/2 - математическая абстракция . Между тем в ряде управленческих и производственных ситуаций необходимо осуществить справедливую жеребьевку, а для этого требуется абсолютно симметричная монета. Например, речь может идти об очередности рассмотрения инвестиционных проектов комиссией экспертов, о порядке вызова для собеседования кандидатов на должность, об отборе единиц продукции из партии в выборку для контроля и т.п.

И правая часть неравенства (12) имеет вид

Итак, здесь на основе элементарной теории вероятностей (с конечным пространством элементарных событий ) мы сумели построить вероятностные модели для описания проверки качества деталей (единиц продукции) и бросания монет и предложить методы проверки гипотез, относящихся к этим явлениям. В математической статистике есть более тонкие и сложные методы проверки описанных выше гипотез, которыми и пользуются в практических расчетах.

Можно спросить: "В рассмотренных выше моделях вероятности были известны заранее – со слов Струкова или же из-за того, что мы предположили симметричность монеты. А как строить модели, если вероятности неизвестны? Как оценить неизвестные вероятности?" Теорема Бернулли – результат, с помощью которого дается ответ на этот вопрос. Именно, оценкой неизвестной вероятности является число , поскольку доказано, что при возрастании вероятность того, что отличается от более чем на какое-либо фиксированное число, приближается к 0. Оценка будет тем точнее, чем больше . Более того, можно доказать, что с некоторой точки зрения (см. далее) оценка для вероятности является наилучшей из возможных (в терминах математической статистики – состоятельной, несмещенной и эффективной).

Неравенство Чебышева

Наименование параметра Значение
Тема статьи: Неравенство Чебышева
Рубрика (тематическая категория) Математика

Теорема. Пусть (W,F,P) - неĸᴏᴛᴏᴩᴏᴇ вероятностное пространство и X - неотрицательная случайная величина, тогда для всякого e > 0 справедливо неравенство

(1)

Доказательство. Пусть случайная величина X представляется в виде

X = X ×I(X ³ e) + X × I(X < e) ³ XI (X ³ e) ³ eI (X³e),

где I(А) - индикатор события.

По этой причине, используя свойства математических ожиданий,

, отсюда

- это первое неравенство Чебышева.

Следствия. В случае если X - произвольная случайная величина, то для e>0

(2)

(3)

(3) - второе неравенство Чебышева в нецентрированной форме.

(4)

(4) - второе неравенство Чебышева в центрированной форме.

Пример. Дана случайная величина X с математическим ожиданием m x и дисперсией s x 2 =D x . Оценить вероятность того, что X отклонится от своего математического ожидания не меньше чем на 3s x .

Решение . Полагая в неравенстве Чебышева (формула (4)) e=3s x имеем:

ᴛ.ᴇ. вероятность того, что отклонение случайной величины от ее математического ожидания выйдет за пределы трех средних квадратических отклонений не должна быть больше 1/9. Это оценка сверху - верхняя граница вероятностного отклонения. Стоит сказать, что для нормальной случайной величины вероятностное отклонение =0,003.

Примечание. На практике имеем дело со случайными величинами, значения которых редко выходят за пределы m x ±3s x (“правило трех сигм").

Неравенство Чебышева - понятие и виды. Классификация и особенности категории "Неравенство Чебышева" 2017, 2018.

  • - Теорема 1. Неравенство Чебышева.

    Закон больших чисел. В широком смысле слова закон больших чисел означает, что при большом числе случайных экспериментов средний их результат практически перестает быть случайным и может быть предсказан с большой степенью определенности (т.е. событие имеет... .


  • - Неравенство Чебышева.

  • - Неравенство Чебышева.

    Случайный характер величины проявляется в том, что нельзя предвидеть, какое именно из своих значений она примет в итоге испытания. Это зависит от многих случайных причин, учесть которые мы не в состоянии. Поскольку о каждой случайной величине мы располагаем весьма... .


  • - Неравенство Чебышева

    ТЕОРЕМЕ БОЛЬШИХ ЧИСЕЛ И ЦЕНТРАЛЬНОЙ ПРЕДЕЛЬНОЙ НЕРАВЕНСТВО ЧЕБЫШЕВА, ПОНЯТИЕ О ЗАКОНЕ Если случайная величина Х с математическим ожиданием М(Х) = А может принимать только неотрицательные значения, то при любом e >0 справедливо... .


  • - ЛЕКЦИЯ 17. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ. НЕРАВЕНСТВО ЧЕБЫШЕВА. ЗАКОН БОЛЬШИХ ЧИСЕЛ

    Если известна дисперсия случайной величины, то с ее помощью можно определить отклонение этой случайной величины на определенное значение от математического ожидания, причем оценка вероятности отклонения будет зависеть от дисперсии, а не от закона распределения....

    • Закон больших чисел

    Ранее было отмечено, что нельзя предвидеть, какое из возможных значений примет случайная величина, так как мы не можем учесть все обстоятельства, от которых зависит это событие. Однако в некоторых случаях можно указать вероятность такого события.

    Опыт подсказывает нам, что события, вероятность наступления которых мала, редко происходят, а события, имеющие вероятность, близкую к единице, почти обязательно происходят. Принцип, заключающийся в том, что маловероятные события на практике рассматриваются как невозможные, носит название “принципа практической невозможности маловероятных событий”. События, происходящие с вероятностями, весьма близкими к единице, считаются практически достоверными (принцип практической достоверности). Сколь мала или сколь велика должна быть вероятность события, зависит от практического применения, от важности этого события.

    Следовательно, одной из основных задач теории вероятностей является установление закономерностей, происходящих с вероятностями близкими к единице. Эти закономерности должны учитывать совместное влияние большого числа независимо (или слабо зависимо) действующих факторов. При этом каждый фактор в отдельности характеризуется незначительным воздействием. Всякое предложение, устанавливающее отмеченные выше закономерности, называется законом больших чисел. Законом больших чисел, по определению проф. А.Я. Хиничина, следует назвать общий принцип, в силу которого совокупное действие большого числа факторов приводит, при некоторых весьма общих условиях, к результату, почти не зависящему от случая.

    Некоторые конкретные условия, при которых выполняется закон больших чисел, указаны в теоремах Чебышева, Бернули, Пуассона и Ляпунова.

    Лемма Маркова. Неравенство и теорема Чебышева. Теоремы Бернулли и Пуассона

    Лемма Маркова. Пусть Х - случайная величина, принимающая лишь неотрицательные значения. Тогда можно получить следующее неравенство:

    (τ > 0 любое). (4.1)

    Доказательство . Для определенности предположим, что Х - непрерывная случайная величина с плотностью f(х). По определению математического ожидания получаем

    .

    .

    Оба слагаемых в правой части не отрицательны, в силу условий леммы, поэтому

    ,

    но теперь x ≥ τ, и следовательно,

    Таким образом,

    Так как τ > 0, получим

    Рассмотрим теперь случайную величину Х, имеющую математическое ожидание М(Х) и дисперсию D(X). Оценим вероятность события, заключающегося в том, что отклонение Х - М(Х) не превысит по абсолютной величине положительного числа ε. Оценка указанной вероятности получается с помощью неравенства Чебышева.

    Неравенство Чебышева

    Неравенство Чебышева . Вероятность того, что отклонение случайной величины Х от ее математического ожидания по абсолютной величине меньше положительного числа ε, не меньше, чем , то есть

    . (4.2)

    Доказательство . Приведем доказательство для дискретной (конечной) случайной величины Х:

    x k +1

    p k +1

    p n

    Рассмотрим случайную величину . Тогда ее ряд распределения имеет вид

    │Х – M (X )│

    │х 1 – M (X )│

    │х 2 – M (X )│

    │x k – M (X )│

    │x k +1 – M (X )│

    │x n – M (X )│

    p k +1

    p n

    Не ограничивая общность рассуждения, можно предположить, что первые к значений случайной величины меньше заданного ε, а остальные значения не меньше ε. Тогда на основании теоремы сложения вероятностей получим следующую формулу:

    . (4.3)

    Чтобы найти , запишем формулу D(X) в виде

    Опуская в правой части этого равенства первую сумму и заменяя во второй сумме меньшей величиной ε, получим неравенство

    Из этого неравенства следует:

    . (4.4)

    Подставляя правую часть (4.4) в (4.3), окончательно получим

    что и требовалось доказать.

    Рассмотрим достаточно большое число n независимых случайных величин Х1, Х2, … Хn. Если дисперсии их ограничены числом C, то событие, заключающееся в том, что отклонение среднего арифметического этих случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым, является почти достоверным. Это предложение, относящиеся к закону больших чисел, доказал П.Л. Чебышев.

    Теорема Чебышева . Если Х1, Х2, … Хn попарно независимые случайные величины, причем дисперсии их не превышают постоянного числа С, то как бы мало ни было положительное число ε, вероятность неравенства

    будет как угодно близка к единице, если число n случайных величин достаточно велико.

    Используя понятие предела, можно в условиях теоремы записать:

    .

    Вместо последней записи часто кратко говорят, что суммы сходятся по вероятности к нулю, которое записываются так, указывая над стрелкой р

    .

    Доказательство . Рассмотрим случайную величину , которая, по сути, является средней арифметической этих величин. Случайная величина Х есть линейная функция независимых случайных величин Х1, Х2, … Хn. На основании свойств математического ожидания и дисперсии можно записать:

    По условию теоремы D(Xi) ≤ С, поэтому

    .

    Теперь можно воспользоваться неравенством Чебышева:

    Переходя к пределу при , будем иметь:

    .

    Так как вероятность не может быть больше единицы, этот предел равен единице, что и требовалось доказать.

    Из теоремы Чебышева следует утверждение, заключающиеся в том, что среднее арифметическое достаточно большого числа независимых случайных величин, имеющих ограниченные дисперсии, утрачивает случайный характер и становится детерминированной величиной.

    Пример 4.1. Дисперсия каждой из 6250 независимых случайных величин не превосходит 9. Оценить вероятность того, что абсолютная величина отклонения средней арифметической этих случайных величин от средней арифметической их математических ожиданий не превысит 0,6.

    Решение . Согласно теореме Чебышева искомая вероятность Р не меньше . По условиям задачи C = 9, n = 6250, ε = 0,6, следовательно, в соответствии с выражением (4.5) Р ≥ 0,996.

    Отметим некоторые важные частные случаи теоремы Чебышева.

    Теорема Бернулли . Пусть производится n независимых испытаний, в каждом из которых вероятность появления события постоянна и равна р. Тогда каково бы ни было ε > 0,

    , (4.6)

    где m/n - частость (относитетельная частота) появления события А.

    Доказательство . Для доказательства рассмотрим случайную величину Хi = mi, являющуюся числом наступления события А в I испытании, так что m = m1 + m2 +…+ mi +…+ mn, и случайные величины mi попарно независимы. Ранее было показано, что М(mi) = p и D(mi) = pq. Так как pq ≤ 1/4, то дисперсии случайных величин mi ограничены одним и тем же числом С = 1/4, следовательно, получаем все условия, при которых справедлива теорема Чебышева и окончательно получим

    , (4.7)

    Пример 4.2. На предприятии, выпускающем кинескопы, 0,8 всей продукции выдерживает гарантийный срок службы. С вероятностью, превышающей 0,95, найти пределы, в которых находится доля кинескопов, выдерживающих гарантийный срок, из партии 8000 кинескопов.

    Решение . Применяем теорему Бернулли при n = 8000, Р ≥ 0,95, р = 0,8 и q = 0,2. Подставляя данные p, q и n в формулу (4.7)

    найдем ε=0,02. Раскрывая модуль в соотношении (4.6), из неравенства получим

    или 6240 < m < 6560.

    Теорема Пуассона. Если в последовательности независимых испытаний появление события А в k-ом испытании равна рk, то

    (4.8)

    где m есть случайная величина, равная числу появлений события А в первых n испытаниях.

    Доказательство . Пусть случайная величина Хк = mk означает число появления события А в k-м испытании. Тогда , и случайные величины mk попарно независимы. Таким образом, теорема Пуассона является частным случаем теоремы Чебышева. На основании свойств математического ожидания и дисперсии случайной величины получим следующие формулы:

    ,

    где черта над вероятностями означает их средние значения.

    Подставляя эти формулы в неравенство Чебышева (4.5), получаем неравенство, выражающее теорему Пуассона:

    , (4.9)

    и переходя к пределу, при n, стремящимся к бесконечности, окончательно получим

    Пример 4.3. Произведено 900 независимых испытаний, причем в 450 из этих испытаний вероятность появления события А равна 2/3, в 200 - 0,5, в 160 - 0,3 и в 90 - 0,4. Найти оценку вероятности того, что частость или относительная частота появления события А отклоняется по абсолютной величине от средней вероятности не больше, чем на 0,1.

    Решение . Применяем теорему Пуассона. Находим :

    Подставляя в правую часть неравенства (4.9)

    значения , ε и n, получим Р ≥ 0,97.

    Теорема Бернулли является частным случаем теоремы Пуассона.

    В самом деле, если вероятность появления данного события в каждом испытании постоянна: р1 = р2 = … = рn = р, то = р и = pq.

    Замечание. В тех случаях, когда вероятность появления события в каждом испытании не известна, за верхнюю границу дисперсии принимают C = 1/4, т.е.

    .

    Теорема Лапласа

    Теоремы Чебышева, Бернулли, Пуассона устанавливают нижнюю границу вероятности, что часто бывает недостаточно. В некоторых случаях важно знать достаточно точное значение вероятности. Этому требованию отвечают так называемые предельные теоремы закона больших чисел, указывающие асимптотические формулы для вероятностей неравенства относительно n случайных величин Xi.

    Мы уже знаем, что вероятность неравенства вычисляется по интегральной теорема Лапласа, а именно

    ,

    Следовательно, достаточно точным выражением теоремы Бернулли является интегральная теорема Лапласа. Асимптотическую формулу для теоремы Чебышева доказал его ученик А.М. Ляпунов. Приведем теорему Ляпунова, доказательство которой мы провели в 4-х лекции.

    Центральная предельная теорема

    Теорема Ляпунова. Рассмотрим n независимых случайных величин Х1, Х2,…,Хn, удовлетворяющих условиям:

    1) все величины имеют определенные математические ожидания и конечные дисперсии;

    2) ни одна из величин не выделяется резко от остальных по своим значениям.

    Тогда при неограниченном возрастании n распределение случайной величины приближается к нормальному закону.

    Таким образом, имеем следующую асимптотическую формулу:

    , (4.10)

    где .

    Пример 4.4. Дисперсия каждой из 400 независимых случайных величин равна 25. Найти вероятность того, что абсолютная величина отклонения средней арифметической случайных величин от средней арифметической их математических ожиданий не превысит 0,5.

    Решение . Применим теорему Ляпунова. По условию задачи n = 400, D(Xi) = 25, следовательно, и ε = 0,5. Подставляя эти данные в формулу получим t = 2 откуда Р = Ф(2) = 0,9545.

    В заключение приведем доказательство неравенства Чебышева для непрерывных случайных величин.

    Лемма (неравенство Чебышева) . Для любого e e

    Что и требовалось доказать.

    Неравенства Чебышёва

    Во введении к разделу обсуждалась задача проверки того, что доля дефектной продукции в партии равна определенному числу. Для демонстрации вероятностно-статистического подхода к проверке подобных утверждений являются полезными неравенства, впервые примененные в теории вероятностей великим русским математиком Пафнутием Львовичем Чебышёвым (1821-1894) и потому носящие его имя. Эти неравенства широко используются в теории математической статистики, а также непосредственно применяются в ряде практических задач принятия решении. Например, в задачах статистического анализа технологических процессов и качества продукции в случаях, когда явный вид функции распределения результатов наблюдений не известен. Они применяются также в задаче исключения резко отклоняющихся результатов наблюдений.

    Первое неравенство Чебышева. Пусть Х – неотрицательная случайная величина (т.е. для любого ). Тогда для любого положительного числа а справедливо неравенство

    Доказательство. Все слагаемые в правой части формулы (4), определяющей математическое ожидание, в рассматриваемом случае неотрицательны. Поэтому при отбрасывании некоторых слагаемых сумма не увеличивается. Оставим в сумме только те члены, для которых . Получим, что

    . (9)

    Для всех слагаемых в правой части (9) , поэтому

    Из (9) и (10) следует требуемое.

    Второе неравенство Чебышева. Пусть Х – случайная величина. Для любого положительного числа а справедливо неравенство

    .

    Это неравенство содержалось в работе П.Л.Чебышёва «О средних величинах», доложенной Российской академии наук 17 декабря 1866 г. и опубликованной в следующем году.

    Для доказательства второго неравенства Чебышёва рассмотрим случайную величину У = (Х – М(Х)) 2 . Она неотрицательна, и потому для любого положительного числа b , как следует из первого неравенства Чебышёва, справедливо неравенство

    .

    Положим b = a 2 . Событие { Y > b } совпадает с событием {| X – M (X )|> a }, а потому

    что и требовалось доказать.

    Пример 11 . Можно указать неотрицательную случайную величину Х и положительное число а такие, что первое неравенство Чебышёва обращается в равенство.

    Достаточно рассмотреть . Тогда М(Х) = а, М(Х)/а = 1 и Р(а> a ) = 1, т.е. P (X > a ) = M (X )| a = 1.

    Следовательно, первое неравенство Чебышёва в его общей формулировке не может быть усилено. Однако для подавляющего большинства случайных величин, используемых при вероятностно-статистическом моделировании реальных явлений и процессов, левые части неравенств Чебышёва много меньше соответствующих правых частей.

    Пример 12. Может ли первое неравенство Чебышёва обращаться в равенство при всех а ? Оказывается, нет. Покажем, что для любой неотрицательной случайной величины с ненулевым математическим ожиданием можно найти такое положительное число а , что первое неравенство Чебышёва является строгим.

    Действительно, математическое ожидание неотрицательной случайной величины либо положительно, либо равно 0. В первом случае возьмем положительное а , меньшее положительного числа М(Х), например, положим а = М(Х)/ 2. Тогда М(Х)/а больше 1, в то время как вероятность события не может превышать 1, а потому первое неравенство Чебышева является для этого а строгим. Второй случай исключается условиями примера 11.

    Отметим, что во втором случае равенство 0 математического ожидания влечет тождественное равенство 0 случайной величины. Для такой случайной величины левая и правая части первого неравенства Чебышёва равны 0 при любом положительном а .

    Можно ли в формулировке первого неравенства Чебышева отбросить требование неотрицательности случайной величины Х ? А требование положительности а ? Легко видеть, что ни одно из двух требований не может быть отброшено, поскольку иначе правая часть первого неравенства Чебышева может стать отрицательной.