Wolfram mathematica как посчитать хи квадрат

WolframAlpha для всех

Для проверки статистических гипотез используются таблицы вероятностных распределений, которые не всегда под рукой. Кроме того, чаще всего нам доступны учебные таблицы, которые имеют ограниченный размер, и в них не всегда можно найти все необходимые данные. К примеру, при проверке гипотезы относительно статистического распределения выборки скорее всего Вам потребуется таблица распределения Хи-квадрат. Если же такой таблицы у вас нет, можете использовать калькулятор распределения хи-квадрат, который предоставляет система Вольфрам Альфа по запросу

Калькулятор распределения хи-квадрат не единственный калькулятор статистических распределений в Вольфрам Альфа.

В статьях про Дискретные вероятностные распределения и Непрерывные вероятностные распределения из раздела Теория вероятностей приведен список доступных в Вольфрам Альфа непрерывных и дискретных вероятностных распределений. Следуя этому списку, можно получить доступ к некоторым основным калькуляторам статистических распределений, просто прибавляя к названию распределения ключевой запрос probabilities for the .

Однако, в настоящее время для описанных в данных статьях вероятностных распределений, в Вольфрам Альфа доступны только восемь калькуляторов — 3 для непрерывных распределений и 5 — для дискретных.

Для непрерывных вероятностных распределений, кроме калькулятора распределения хи-квадрат доступны также:

probabilities for the normal distribution — калькулятор нормального распределения;
probabilities for the student’s t distribution — калькулятор t-распределения Стьюдента;

Коллекция калькуляторов дискретных вероятностных распределений в системе Вольфрам Альфа более богатая:

probabilities for the negative binomial distribution — отрицательное нормальное распределение;
probabilities for the geometric distribution — геометрическое распределение;
probabilities for the hypergeometric distribution — гипергеометрическое распределение;
probabilities for the poisson distribution — распределение Пуассона;

Как видите, в этом списке фигурируют далеко не все вероятностные распределения, доступные в Вольфрам Альфа. Это означает, что соответствующие алгоритмы расчета еще не доступны в системе. Однако система ВА постоянно развивается, и, вполне возможно, что уже в ближайшее время этот список пополнится.

Использование вычислительных возможностей R для проверки гипотезы о равенстве средних

Возникла недавно потребность решить вроде бы классическую задачу мат. статистики.
Проводится испытание определенного push воздействия на группу людей. Необходимо оценить наличие эффекта. Конечно, можно делать это с помощью вероятностного подхода.

Но рассуждать с бизнесом о нулевых гипотезах и значении p-value совершенно бесполезно и контрпродуктивно.

Как можно по состоянию на февраль 2019 года сделать это максимально просто и быстро имея под руками ноутбук «средней руки»? Заметка реферативная, формул нет.

Постановка задачи

Есть две статистически идентичные по измеряемому показателю группы пользователей (A и B). На группу B оказывается воздействие. Приводит ли это воздействие к изменению среднего значения измеряемому показателю?

Наиболее популярный вариант — посчитать статистические критерии и сделать вывод. Мне нравится пример «Классические методы статистики: критерий хи-квадрат». При этом совершенно неважно как это выполняется, с помощью спец. программ, Excel, R или еще чего-либо.

Однако, в достоверности получаемых выводов можно очень сильно сомневаться по следующим причинам:

В действительности мат. статистику мало кто понимает от начала и до конца. Всегда надо держать в голове условия при которых можно применять те или иные методы.
Как правило, использование инструментов и трактовка получаемых результатов идет по приципу однократного вычисления и принятия «светофорного» решения. Чем меньше вопросов, тем лучше для всех участников процесса.

Критика p-value

Материалов масса, ссылки на наиболее эффектные из найденных:

Nature. Scientific method: Statistical errors. P values, the ‘gold standard’ of statistical validity, are not as reliable as many scientists assume., Regina Nuzzo. Nature 506, 150–152
Nature Methods. The fickle P value generates irreproducible results, Lewis G Halsey, Douglas Curran-Everett, Sarah L Vowler & Gordon B Drummond. Nature Methods volume 12, pages 179–185 (2015)
ELSEVIER. A Dirty Dozen: Twelve P-Value Misconceptions, Steven Goodman. Seminars in Hematology Volume 45, Issue 3, July 2008, Pages 135-140

Что можно сделать?

Сейчас у каждого есть компьютер под руками, поэтому метод Монте-Карло спасает ситуацию. От расчетов p-value переходим к расчету доверительных интервалов (confidence interval) для разницы среднего.

Книг и материалов множество, но в двух словах (resamapling & fitting) очень компактно изложено в докладе Jake Vanderplas — «Statistics for Hackers» — PyCon 2016. Сама презентация.

Одна из начальных работ по этой теме, включая предложения по графической визуализации, была написана хорошо известным в советское время популяризатором математики Мартином Гарднером: Confidence intervals rather than P values: estimation rather than hypothesis testing. M.J. Gardner and D.G. Altman, Br Med J (Clin Res Ed). 1986 Mar 15; 292(6522): 746–750.

Как использовать для этой задачи R?

Чтобы не делать все руками на нижнем уровне, посмотрим на текущее состояние экосистемы. Не так давно на R был переложен весьма удобный пакет dabestr : Data Analysis using Bootstrap-Coupled Estimation.

Принципы вычислений и анализа результатов, используемых в dabestr в формате шпаргалок описаны здесь:ESTIMATION STATISTICS BETA ANALYZE YOUR DATA WITH EFFECT SIZES.

Пример R Notebook для «пощупать»:

--- title: "A/B тестирование средствами bootstrap" output: html_notebook: self_contained: TRUE editor_options: chunk_output_type: inline ---

library(tidyverse) library(magrittr) library(tictoc) library(glue) library(dabestr)

Cимуляция

Создадим логнормальное распределение длительности операций.

my_rlnorm # N пользователей категории (A = Control) A_control % ; sd = "))> # N пользователей категории (B = Test) B_test % ; sd = "))>

Собираем данные в виде, необходимом для анализа средствами dabestr , и проводим анализ.

df % gather(key = "group", value = "value") tic("bootstrapping") two_group_unpaired % dabest(group, value, # The idx below passes "Control" as the control group, # and "Test" as the test group. The mean difference # will be computed as mean(Test) - mean(Control). idx = c("Control", "Test"), paired = FALSE, reps = 5000 ) toc()

Поглядим на результаты

two_group_unpaired plot(two_group_unpaired)

Результат в виде CI

DABEST (Data Analysis with Bootstrap Estimation) v0.2.0 ======================================================= Unpaired mean difference of Test (n=1000) minus Control (n=1000) 223 [95CI 209; 236] 5000 bootstrap resamples. All confidence intervals are bias-corrected and accelerated.

и картинки

вполне понятен и удобен для разговора с бизнесом. Всех расчетов было на «выпить чашечку кофе».

WolframAlpha для всех

Вероятностные распределения играют исключительно важную роль в математике, статистике, математическом моделировании, физике и др. И в этом вопросе Wolfram|Alpha как всегда спешит нам на помощь. Например, если вдруг Вам срочно понадобилась информация о свойствах какого-либо вероятностного распределения (properties of a continuous distribution), обратитесь к Wolfram|Alpha с соответствующим запросом, и Вы тут же получите нужные сведения. Главное — это правильно задать свой вопрос Wolfram|Alpha, то есть правильно сформулировать нужный Вам запрос.

В этой заметке Вы найдете ответ на вопрос, как с помощью Wolfram|Alpha получить от вет на вопросы, касающиеся свойств основных вероятностных распределений непрерывных случайных величин.

В большинстве случаев, чтобы правильно обратиться к Wolfram|Alpha за информацией относительно вероятностных распределений, нужно вспомнить, как пишется название того или иного вероятностного распределения по-английски. Это относится, прежде всего, ко всем известному нормальному распределению, которое также называют распределением Гаусса.

Основную информацию относительно нормального распределения, а именно — его свойства, графики, числовые характеристики — Wolfram|Alpha выводит по запросу normal distribution (gauss distribution):

Во-первых, по этому запросу Вы получите перечень основных числовых характеристик нормального распределения (normal distribution statistical properties):

Mean — математическое ожидание, среднее;
Standard deviation — средне-квадратическое отклонение;
Variance — дисперсия;
Skewness — асимметрия;
Kurtosis — эксцесс.

Также — формулу и график функции нормального распределения (cumulative distribution function (CDF)):

Наконец, в-третьих, Wolfram|Alpha выводит некоторые важные перцентили (percentiles) нормального распределения:

Аналогично можно получить те же основные сведения относительно других непрерывных вероятностных распределений. Вот список основных из них с соответствующими запросами:

beta distribution — бета распределение;
weibull distribution — распределение Вейбулла;
wigner distribution — полукруговое распределение (Вигнера);
gamma distribution — гамма распределение;
gumbel distribution — распределение Гумбеля;
cauchy distribution — распределение Коши;
log-normal distribution — логнормальное распределение;
logistic distribution — логистическое распределение;
moyal distribution — распределение Мойала;
nakagami distribution — распределение Накагами;
pareto distribution — распределение Парето;
hyperbolic distribution — гиперболическое распределение;
uniform distribution — равномерное распределение;
rice distribution — распределение Райса;
rayleigh distribution — распределение Рэлея;
student’s t distribution — t-распределение Стьюдента;
F-distribution — распределение Фишера;
chi-square distribution — распределение хи-квадрат;
exponential distribution — экспоненциальное распределение.

Если Вам нужно получить отдельные свойства непрерывных вероятностных распределений, то в своем запросе перед названием распределения просто укажите нужное Вам свойство. Например, чтобы получить математическое ожидание нормального распределения, следует использовать запрос mean normal distribution. Чтобы получить плотность нормального распределения используйте запрос pdf normal distribution. Запрос cdf normal distribution выводит функцию нормального распределения и т.п. Будьте внимательны — при вводе запросов используйте английскую раскладку клавиатуры.

В следующих постах я собираюсь показать подробнее, с помощью каких запросов можно получить отдельные свойства вероятностных распределений, как получить свойства вероятностных распределений с заданными параметрами, приведу список основных дискретных вероятностных распределений, а также покажу, как с помощью Wolfram|Alpha вычисляется вероятность попадания случайной величины в заданный интервал. Кстати, последняя задача с помощью Wolfram|Alpha решается одинаково для всех распределений. Об этом важно знать, поскольку в университетских курсах (особенно на нематематических факультетах университетов) эта задача, рассматривается, как правило, на уровне примера, да и то лишь для нормального распределения непрерывных случайных величин, а также для биномиального распределения дискретных случайных величин.

Научный форум dxdy

Как-то раньше не приходилось тесно сталкиваться с Хи-квадрат критерием согласия, потому, думал, все просто. А вот, когда пришлось, оказалось, не так легко найти ответы на элементарные, казалось бы, вопросы:
1) каким образом выбирать карманы для группирования данных (для гистограммы хотя бы есть информация о вариантах, и какие из них лучше-хуже, а вот для данного критерия всюду смутные «чтоб было матожидание не меньше 5 » и т.п.) и почему (хотелось бы ссылки на утверждения);
2) как сказывается зависимость способа выбора карманов от выборки на распределение статистики?
3) почему при нынешних технологиях Хи-квадрат критерий согласия для средних размеров выборок (которых, я так понимаю, большинство в практике) не заменили точным Multinomial_test (кстати, какой русскоязычный аналог названию данного теста?)?
4) почему в англоязычной Вики пишут, что Хи-квадрат предпочтительнее сейчас заменять G-test, а в русскоязычном интернете ничего про это не слышно? И чем G-тест лучше, если , вроде бы, асимптотически, он имеет то же распределение;
5) с учетом всего сказанного, насколько вообще имеет смысл использовать в наше время Хи-квадрат критерий согласия для тестирования гипотезы о принадлежности выборки данному (произвольному) семейству распределений (сложная гипотеза)? Чем его можно заменить в этом деле?

Re: Хи-квадрат критерий согласия. Вопросы.
10.08.2018, 19:50

Последний раз редактировалось Markiyan Hirnyk 10.08.2018, 19:50, всего редактировалось 1 раз.

Для удобства пользователей привожу ссылки: G-test и Chi- squared test.
Re: Хи-квадрат критерий согласия. Вопросы.
12.08.2018, 15:32

Формальных рекомендаций не встречал, обычно руководствуются теми же, что и при построении гистограмм, но ячейки, в которых ожидаемое число меньше 5 (у некоторых авторов даже 10), объединяются с соседними. Требования о минимальном числе в ячейке обусловлены тем, что распределение числа попаданий не нормальное, а биномиальное. Коэффициент асимметрии для него $$\frac <p-q>\sqrt$» />, а эксцесса <img decoding=$ мне не попадалось, но $5$ встречал в двух вариантах: ожидаемое число меньше $5$ или фактическое число меньше $5$ .

Re: Хи-квадрат критерий согласия. Вопросы.
12.08.2018, 18:15

Рекомендация «объединять, если фактическое число меньше 5», порочна тем, что появляется «зависимость от данных». Тем не менее тоже встречал. «Не менее 10» встречается редко, но бывает.

Re: Хи-квадрат критерий согласия. Вопросы.
12.08.2018, 22:46
Евгений Машеров в сообщении #1331940 писал(а):

В гистограммах нет больших проблем с выбором — можно детерминированные схемы, можно зависящие от выборки. Здесь же все это будет влиять на результирующее распределение (имеется в виду не предельное, а для заданной выборки).
К тому же, для тестирования сложной гипотезы (когда проверяется принадлежность выборки семейству распределений), непонятно, матожидание какого распределения рассматривать. Есть подозрение, что оценочного по методу максимального правдоподобия, но тогда будет явная зависимость от выборки.

Евгений Машеров в сообщении #1331940 писал(а):

Требования о минимальном числе в ячейке обусловлены тем, что распределение числа попаданий не нормальное, а биномиальное. Коэффициент асимметрии для него $$\frac <p-q>\sqrt$» />, а эксцесса <img decoding=$ , где $n'_i$ — ожидаемое число элементов в «кармане», $n$ — объём выборки, $p_i$ — вероятность попадания в «карман» для гипотетического распределения. Никакого математического ожидания от гипотетического распределения не требуется.

Re: Хи-квадрат критерий согласия. Вопросы.
13.08.2018, 13:11

Последний раз редактировалось Евгений Машеров 13.08.2018, 13:51, всего редактировалось 5 раз(а).

_hum_ в сообщении #1332161 писал(а):
Это откуда цитата? Какого она года?

Из Википедии, из статьи, ссылку на которую Вы дали. Год не назову, поскольку для этого нужно анализировать лог правок Вики, а мне не до этого. Но, во всяком случае, это не вызывает отторжения у авторов Вики в данный момент.

— 13 авг 2018, 13:12 —

_hum_ в сообщении #1332161 писал(а):

Так а что делать с тестированием сложной гипотезы? Матожидание какого распределения выбирать для расчета матожиданий для карманов?

$m_i=p_i n$

Биномиального, вестимо. Или, строго говоря, мультиномиального.

— 13 авг 2018, 13:14 —

_hum_ в сообщении #1332161 писал(а):

Это, я так понимаю, в случае, когда карманы заранее выбраны, то есть, независимы от выборки (плюс, оценка идет по сгруппированной выборке). В случае же использования для выбора карманов оценочного распределения начинается зависимость.

— 13 авг 2018, 13:29 —

Ещё раз. G-тест и $\chi^2$ -тест устроены совершенно одинаково, отличаясь только расчётной формулой. И там, и там предполагается разбивка на ячейки, нахождение ожидаемого числа в ячейках, определение фактического числа попаданий и вычисление некоей меры расхождения ожидаемых и фактических величин. Поскольку, в отличие от дискретного случая, когда ячейки определены вполне однозначно, при дискретизации непрерывных величин может иметь место произвол, это может исказить результат. Практика, однако, показывает, что выбор разного числа интервалов (при соблюдении рекомендуемого минимума в ячейках) и сдвиг интервалов на общий результат влияет слабо, так что такой выбор оставляют на усмотрение исследователя. Часто выбирают число интервалов по формуле Стёрджесса $n=1+\lfloor 3.322\lg N\rfloor$ , хотя это скорее «хоть и безобразно, но однообразно»

как выражался товарищ майор, приказывая взводу расстегнуть в жару воротнички

Фактическое число будет меньше рекомендованного, поскольку, найдя вероятности попадания в интервалы, будем вынуждены объединить некоторые. Есть и другие рекомендации, вот некоторый обзор
https://ami.nstu.ru/~headrd/seminar/xi_square/28.htm
но существенно на результат это не повлияет. А в той степени, в какой повлияет — это претензия равно к G-тесту и -тесту.
Само выражение для слагаемых G-теста является аппроксимацией для слагаемых -теста (ну, или наоборот). И при немалом числе в ячейке дают почти одно и то же. При малом разница есть, и G-тест предпочтительнее, да. Только вот при малом числе в ячейке желательно от такого теста отказаться вовсе или объединять ячейки. Теоретически работать при малых G-тест будет, только вот на практике бывают досадные мелочи, то ли от невнимания не туда попало, то ли от округления на границе ячеек, и когда в ячейке много попаданий — такая ошибка несущественна, а когда мало — результат сильно искажён. А если объединять, не допуская малого числа — преимущества G-теста становятся сугубо академическими.

— 13 авг 2018, 13:46 —

$$G=2\sum _<>>\cdot \ln \left(>>>\right)>$» /> Разложение логарифма имеет вид <img decoding=$ . Поскольку при достаточном числе ожидаемых попаданий в ячейку x мало, отбрасывание прочих членов мало искажает ответ.
Глубокие исследования эффективности этих критериев показали, что по Бахадуру G-тест эффективнее, чем $\chi^2$ . а по Питмену и Ходжесу-Леману они эквивалентны. Однако эффективность по Бахадуру сравнивает оценки при стремлении уровня значимости к нулю, то есть для обычной практики использования критериев, когда довольствуются уровнями 5% и 1% это неважно.
То есть при обычной практике использования G-тест не имеет существенных преимуществ, но работает при малом числе в ячейке, что удобно, но при практической работе может порождать грубые ошибки из-за дефектов данных, которые не повлияли бы на $\chi^2$ .

Re: Хи-квадрат критерий согласия. Вопросы.
13.08.2018, 14:59

Someone
Евгений Машеров
давайте, может, к реальной проблеме. Нужно проверить гипотезу принадлежности выборки размера N заданному параметрическому (допустим, для простоты, с одним параметром) семейству абсолютно непрерывных распределений.

Из того, что я нашел в нете на этот счет толкового (с доказательствами), предлагается след. подход:
1) изначально (вне зависимости от выборки) задается $k$ -карманов;
2, вариант A) выборка группируется по карманам, после чего для группированного рапсределения находится оценка максимального правдоподория параметра $$\Hat<\theta>$» />; 2, вариант B) находится оценка максимального правдоподобия параметра <img decoding=$ -ый карман $p_i$ oценочного через оцененный параметр ( $$\Hat<\theta>$» /> или <img decoding=$ — число оцененных параметров — 1 степенями свободы;
4, вариант B) если используется $$\Tilde<\theta>$» />, то полагаются на результат, что в этом случае распределение будет зависеть от параметра, но при этом находиться (функция распределения будет принимать значения) между хи-квадрат с <img decoding=$ — число оцененных параметров — 1 и хи-квадрат с $k$ — 1, а потому можно смело отвергать гипотезу на выбранном уровне значимости, если значение критерия выше (соответствующего уровню значимости) квантиля для хи-квадрат с $k$ — 1, и смело не отвергать, если оно меньше квантиля для хи-квадрат с $k$ — число оцененных параметров — 1, с оставшейся серой зоной между этими двумя квантилями (когда ничего нельзя сказать).

Все прекрасно, кроме того, как в этом случае выбирать число карманов и их ширину? (Удивляет, что нет стандарта, ведь всюду же используется отсылка просто на тест, без указания схемы разбиения на карманы — типа «мы получили такое-то p-value при тестировании с помощью критерия Хи-квадрат, потому мы принимаем решение, что бла-бла-бла»)

Евгений Машеров в сообщении #1332189 писал(а):
Есть и другие рекомендации, вот некоторый обзор https://ami.nstu.ru/~headrd/seminar/xi_square/28.htm

Не совсем понял, как использовать «Таблицы асимптотически оптимального группирования при проверке гипотез о согласии с использованием критериев типа c^2 Пирсона и оценивании параметров» — каким образом по ним выбирать схему построения карманов?

Евгений Машеров в сообщении #1332189 писал(а):

То есть при обычной практике использования G-тест не имеет существенных преимуществ, но работает при малом числе в ячейке

Я чего-то наверное не догоняю. Почему G-test работает при малом числе в ячейках, а Хи -квадрат — нет?
И, я так понимаю, здесь речь о тестировании простых гипотез? А что в случае сложных?

Еще меня смущает из той же вики:

Цитата:

McDonald recommends to always use an exact test (exact test of goodness-of-fit, Fisher’s exact test) if the total sample size is less than 1000.

There is nothing magical about a sample size of 1000, it’s just a nice round number that is well within the range where an exact test, chi-square test and G–test will give almost identical P values.

Получается, что только при объеме выборки больше 1000 можно полагаться на асимптотические критерии. Что же делать с тестированием сложной гипотезы при меньших объемах? Я что-то не встречал для этого случая точных критериев 🙁

Re: Хи-квадрат критерий согласия. Вопросы.
13.08.2018, 23:05

Группировку при расчёте параметров распределения ныне не используют. Это загрубление, использовавшееся для сокращения объёма ручного счёта (вручную посчитать число попаданий в ячейку проще, чем умножать).
Число степеней свободы для и при группировке, и без будет «число ячеек»-«число параметров, оценённых по выборке»-1.
G-тест способен работать при малом числе наблюдений в ячейке в силу того, что при малом числе величина под логарифмом не настолько близка к единице, чтобы пренебречь членами ряда для логарифма степени выше второй. А это пренебрежение даёт нам совпадение с формулой для критерия

Re: Хи-квадрат критерий согласия. Вопросы.
13.08.2018, 23:41

Последний раз редактировалось GAA 14.08.2018, 00:49, всего редактировалось 3 раз(а).

Евгений Машеров в сообщении #1332343 писал(а):

$\chi^2$

Очень сильное заявление. Нельзя ли привести ссылки на доказательство этого утверждения? Боюсь, достаточно просто выполнить моделирование показывающее, что при достаточно малом числе интервалов группировки при использовании для параметров оценок максимального правдоподобия по исходной выборке даже при [её большом объёме] $n \to \infty$ статистика не будет иметь распределение $\chi^2$ с указанным числом степеней свободы.

Upd. И вообще, странно, что не упоминаются никакие условия. Тем более, что уже всем известный случай равномерного распределения с неизвестными параметрами говорит о том, что совсем без каких-то условий никак не получится.

Re: Хи-квадрат критерий согласия. Вопросы.
14.08.2018, 01:30
_hum_ в сообщении #1331651 писал(а):

каким образом выбирать карманы для группирования данных (для гистограммы хотя бы есть информация о вариантах, и какие из них лучше-хуже, а вот для данного критерия всюду смутные «чтоб было матожидание не меньше 5 » и т.п.) и почему (хотелось бы ссылки на утверждения);

Наиболее полный обзор рекомендаций по определению оптимального числа интервалов группирования приведён на мой взгляд в Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. – Л.: Энергоатомиздат, 1991. на стр. 172.

Страница 1 из 2

[ Сообщений: 20 ]

На страницу 1 , 2 След.

Читать:

Как поместить логи sql в журнал application

WolframAlpha для всех

Использование вычислительных возможностей R для проверки гипотезы о равенстве средних

Постановка задачи

Критика p-value

Что можно сделать?

Как использовать для этой задачи R?

Cимуляция

WolframAlpha для всех

Научный форум dxdy

Похожие записи