Статистика — это способ отличить сигнал от шума
Модуль собирает весь статистический инструментарий сенсорики в одном месте. Правило Sensostat: каждый числовой вывод сопровождается тестом, уровнем значимости и интерпретацией на языке заказчика.
Биномиальная модель различительных тестов
Если различия нет, дегустатор угадывает с вероятностью p₀ (треугольный/тетрада — 1/3, дуо-трио/парное — 1/2, «два из пяти» — 1/10). Число правильных ответов X ~ Binomial(n, p₀). Различие доказано, если X ≥ критического значения (минимальное x, при котором P(X ≥ x) ≤ α).
Ответ «значимо / незначимо» — не конец: доверительный интервал для p_d
p-значение говорит, что различие доказано, но не говорит, насколько оно велико. Доля различающих оценивается как p̂_d = (p̂_c − p₀) / (1 − p₀), а её точность — доверительным интервалом Клоппера–Пирсона (Clopper–Pearson, «точный» интервал для биномиальной пропорции), пересчитанным в шкалу p_d:
Пример: треугольный тест, n = 48, x = 22 правильных (критическое значение — 22, то есть p ≈ 0,048, различие «на грани»). Тогда p̂_d = (22/48 − 1/3) / (2/3) = 0,188, а 95 %-интервал Клоппера–Пирсона:
| Величина | Оценка | 95 % CI |
|---|---|---|
| p_c (доля правильных) | 0,458 | [0,314 ; 0,608] |
| p_d (доля различающих) | 0,188 | [0,000 ; 0,412] |
# Интервал Клоппера–Пирсона и пересчёт в p_d (треугольный тест) from scipy.stats import beta n, x, p0 = 48, 22, 1/3 lo = beta.ppf(0.025, x, n - x + 1) # 0,3137 hi = beta.ppf(0.975, x + 1, n - x) # 0,6083 pd_hat = (x/n - p0) / (1 - p0) # 0,188 pd_ci = (max(0, (lo - p0)/(1 - p0)), (hi - p0)/(1 - p0)) # (0,000 ; 0,412)
Реплики: почему «48 ответов от 24 дегустаторов» ≠ «48 ответов»
В протоколах с репликами (каждый дегустатор повторяет тест r раз) наблюдения внутри одного человека зависимы: один — стабильно внимателен, другой — нет. Биномиальная модель считает все n·r ответов независимыми и занижает дисперсию. Корректная модель — бета-биномиальная (beta-binomial): вероятность правильного ответа у каждого дегустатора своя, с бета-распределением по панели; параметр γ (overdispersion) измеряет избыточную изменчивость.
Множитель (1 + (r−1)γ) — инфляция дисперсии. Пример (треугольный тест, 24 дегустатора × 2 реплики = 48 ответов, p₀ = 1/3):
| Модель | Var(X) | SD | Комментарий |
|---|---|---|---|
| Биномиальная (γ = 0) | 10,67 | 3,27 | все ответы независимы |
| Бета-биномиальная, γ = 0,05 | 11,20 | 3,35 | слабая гетерогенность панели |
| Бета-биномиальная, γ = 0,10 | 11,73 | 3,43 | типичная практика |
| Бета-биномиальная, γ = 0,20 | 12,80 | 3,58 | панель сильно разнородна |
При γ = 0,10–0,20 критическое значение растёт на 1–2 ответа — то есть протокол, «прошедший» по биномиальной таблице, может оказаться незначимым. Для треугольного теста существует и шанс-скорректированная версия модели (chance-corrected beta-binomial): она оценивает долю различающих p_d напрямую с учётом гетерогенности. Реализация — функции betabin пакета sensR; в Sensostat модель применяется автоматически, как только в дизайне указаны реплики.
Ранжирование: критерий Фридмана
Ранжирование (ISO 8587:2006 / ГОСТ Р ИСО 8587-2015) обрабатывается ранговым аналогом двухфакторной ANOVA — критерием Фридмана: χ²F = 12/(n·k·(k+1)) · ΣRᵢ² − 3n(k+1), где Rᵢ — суммы рангов образцов.
Пример. 12 дегустаторов ранжируют 4 сорта кофе по горечи (1 = наименее горький). Суммы рангов: A=20, B=22, C=32, D=46.
χ²F = 12/(12·4·5)·(20²+22²+32²+46²) − 3·12·5 = 0,05·4024 − 180 = 21,2 > χ²0,05;3 = 7,815 (p < 0,001) → образцы различаются. Пост-хок: разность сумм рангов значима, если превышает LSD ≈ t·√(n·k(k+1)/6) ≈ 12,7. Вывод: D значимо горче A и B; A, B и C между собой не различаются.
ANOVA и смешанные модели для дескриптивных данных
Базовая модель панели: Y = продукт + дегустатор + продукт×дегустатор (+ реплика). Дегустатор — случайный фактор; значимость продукта проверяется против взаимодействия продукт×дегустатор, а не против остатка (см. разбор в модуле 05). Пост-хок — Tukey HSD.
Сквозной пример: разложение дисперсии вручную
QDA-сессия, атрибут «горечь» (шкала 0–10): 3 продукта × 4 дегустатора × 2 реплики. Полная сумма квадратов раскладывается на четыре компонента:
df: 23 = 2 + 3 + 6 + 12
| Источник | SS | df | MS | F | p |
|---|---|---|---|---|---|
| Продукт | 29,08 | 2 | 14,54 | 12,03¹ | 0,008 |
| Дегустатор | 2,13 | 3 | 0,71 | 1,55² | 0,254 |
| Продукт × Дегустатор | 7,25 | 6 | 1,21 | 2,64² | 0,072 |
| Ошибка (реплики) | 5,50 | 12 | 0,46 | ||
| Сумма | 43,96 | 23 |
¹ против MS взаимодействия (смешанная модель, дегустатор случайный) · ² против MS ошибки.
Смотрите, что даёт правильный знаменатель: тот же эффект продукта против MS ошибки дал бы F = 31,7 и p = 0,000016 — в четыре порядка «сильнее»! Это иллюзия: MS ошибки измеряет только шум реплик одного человека, а обобщаем мы вывод на популяцию дегустаторов. Значимое взаимодействие (здесь p = 0,072 — на грани) предупреждает: панель не вполне согласована, дегустаторы по-разному ранжируют продукты, и средние продукта следует читать осторожно.
Средние продуктов: A = 3,25; B = 5,75; C = 5,38. Пост-хок Тьюки (честная значимая разность, HSD) по взаимодействию:
Разности: B−A = 2,50 > 1,69 — значимо; C−A = 2,13 > 1,69 — значимо; B−C = 0,38 < 1,69 — не различаются. Вывод для заказчика: «Продукты различаются по горечи (смешанная ANOVA, F(2,6) = 12,03; p = 0,008): рецептура A значимо мягче обеих конкурентных; B и C между собой не различаются. Согласованность панели на грани (взаимодействие p = 0,072) — рекомендуем калибровочную сессию по шкале горечи».
# Тот же расчёт — воспроизводимо (Python, statsmodels) import pandas as pd, statsmodels.formula.api as smf from statsmodels.stats.anova import anova_lm df = pd.DataFrame({ 'y':[3,4,4,3,2,3,3,4, 6,7,4,5,7,6,5,6, 5,6,6,5,4,5,6,6], 'prod': ['A']*8+['B']*8+['C']*8, 'ass': ['J1']*2+['J2']*2+['J3']*2+['J4']*2}) m = anova_lm(smf.ols('y ~ C(prod)*C(ass)', df).fit(), typ=2) F_prod = m.loc['C(prod)','MS'] / m.loc['C(prod):C(ass)','MS'] # 12,03
PCA: карта продуктов
По матрице «средние по панели: продукты × атрибуты» строится PCA (метод главных компонент) с центрированием и нормировкой атрибутов. Биплот показывает одновременно продукты (точки) и атрибуты (векторы): длина вектора — вклад атрибута, направление — с какими продуктами он связан.
PCA-биплот: пять шоколадов, шесть атрибутов (данные модуля 05)
Родственные методы: MFA (multiple factor analysis) для napping и мультиблочных данных; GPA (обобщённый прокрустов анализ) для free-choice profiling; RV-коэффициент сравнения конфигураций (RV ≥ 0,8 — конфигурации сходны); AHC — кластеризация продуктов.
Математика PCA в трёх шагах
Собственный вектор v_j — направление (главная компонента), собственное значение λ_j — дисперсия вдоль него. Счёты продуктов (scores) — проекции X·v_j, нагрузки (loadings) — связь атрибутов с компонентой. Доля объяснённой дисперсии: λ_j / Σλ. На биплоте выше две первые компоненты объясняют основную часть различий пяти шоколадов: PC1 отделяет тёмные от белого и молочного (какао, горечь против сладости и ванили), PC2 — руби с его кислотностью. Практические правила: компоненты с λ < 1 (правило Кайзера) обычно шумовые; атрибуты, чьи стрелки сонаправлены, дублируют друг друга — кандидаты на сокращение лексикона.
Семейство методов шире PCA: CA (correspondence analysis) — для частот CATA; MFA — для блоков данных от разных респондентов (napping, модуль 07); GPA (generalized Procrustes analysis) — когда у каждого дегустатора своя система координат (free choice profiling); PLSR — когда сенсорные данные объясняют гедонику (preference mapping, модуль 06).
Потребительская статистика
- Гедоника: средние ± CI, смешанная ANOVA (продукт фиксированный, респондент случайный), Tukey; сегментация предпочтений — иерархическая кластеризация (Уорд).
- CATA: критерий Кокрана Q по каждому атрибуту, пост-хок — попарные McNemar с поправкой; карта «продукты × атрибуты» — корреспондентский анализ (CA).
- JAR: penalty analysis — mean drop и t-тест/бутстреп, правило ≥ 20 % (модуль 06).
- Preference mapping: внешнее (PLSR: liking ~ сенсорные координаты) и внутреннее (MDPREF) — драйверы лайкинга.
Q Кокрена для CATA — сквозной пример
Четыре йогурта, 12 потребителей, атрибут «сливочный» (отметки 0/1). Суммы по продуктам: A = 10, B = 4, C = 9, D = 3. Статистика:
где Cⱼ — суммы по продуктам, Rᵢ — суммы по респондентам, k = 4 продукта. Здесь Q = 10,57; χ²(3): p = 0,014 — частоты выбора атрибута различаются значимо. Пост-хок — попарные McNemar по несогласованным парам: A–D: 8/1, p = 0,039; C–D: 7/1, p = 0,070; A–B: 8/2, p = 0,109.
Мощность: сколько данных достаточно
Размер панели выбирается до исследования, а не после. Для различительных тестов — по (α, β, p_d): точный перебор реализован в калькуляторе модуля 04. Ориентиры для треугольного теста при α=0,05, β=0,10: p_d=50 % → n≈20–25; p_d=30 % → n=53; p_d=20 % → n=117.
Для потребительских тестов мощность считают от минимального интересующего различия средних (Δ liking) и дисперсии — по формулам t-теста.
Что почитать дальше
- Brockhoff P. B., Christensen R. H. B. Thurstonian Models as GLM. Food Quality and Preference, 2010 — биномиальные и бета-биномиальные модели различительных тестов в современной постановке. статья
- Lê S., Josse J., Husson F. FactoMineR: An R Package for Multivariate Analysis. Journal of Statistical Software, 2008 — PCA/CA/MFA в R; открытый доступ. статья · OA
- SensoMineR и sensR — открытые пакеты, на которых проверяются расчёты этого модуля: от ANOVA панели до d′. инструменты
- Lawless & Heymann, 2nd ed. — статистические приложения I–V — от биномиальных таблиц до мощности тестов, написано языком сенсориста. книга
Проверьте себя
Три вопроса по статистике
1. В смешанной модели панели значимость фактора «продукт» проверяется…
Дегустатор — случайный фактор, поэтому F-тест продукта идёт против MS(продукт×дегустатор). Против остатка — только если взаимодействия нет в модели.
2. В примере с Фридманом χ²_F = 21,2 при критическом значении 7,815. Вывод?
21,2 > 7,815 → нулевая гипотеза о равенстве отвергается на уровне 0,05 (фактически p < 0,001).
3. Две главные компоненты в примере с шоколадом объясняют 98,6 % дисперсии. Это значит…
Высокая объяснённая дисперсия двух компонент — признак того, что биплот адекватно отражает структуру данных.
От теории — к отраслям
Модуль 10: как сенсорика работает в пищевой промышленности, косметике, QC и маркетинге.