Не верьте нам на слово.
Вот как это проверяется.
Каждая цифра на этой странице — воспроизводимая: панель построена на открытых данных, точность меряется на скрытых вопросах против реальных российских опросов, а ограничения написаны прямым текстом. Это та же сводка достоверности, которую цитирует каждый отчёт.
Реальные респонденты, калиброванные под перепись.
Персоны не выдумываются моделью — они пересобираются из реальных анкет и взвешиваются под официальную статистику.
Семя: РЛМС-НИУ ВШЭ
Российский мониторинг экономики и здоровья: десятки тысяч реальных анкет. Персона наследует целую анкету живого респондента — возраст, доход, занятость, установки, — а не набор случайных полей.
Калибровка: ВПН-2020
Панель взвешивается итеративным пропорциональным взвешиванием (raking) под маргиналы переписи: пол × возраст, город/село, образование, занятость. Расхождение с переписью — сотые доли L1.
Ценности: WVS
Ценностные измерения (доверие, установки к институтам) присоединяются статистическим матчингом из World Values Survey — и уровень обобщённого доверия калибруется под реальное российское распределение.
Опрос: распределение, не «среднее»
Каждая персона отвечает через языковую модель по протоколу опроса, который восстанавливает распределение ответов, а не одно «среднее» мнение, — в нашем бейкоффе он почти вдвое сокращает расхождение с реальными опросами.
Точность меряется на вопросах, которых нет в персоне.
Панель отвечает на вопросы реальных опросов (WVS-7 Россия, инФОМ/Банк России), ответы на которые ей не давались, — и распределения сверяются с настоящими. Расхождение L1: 0 — идентично, 2 — не пересекается.
| Домен | L1 | ранг ρ | разнообразие | L1 после калибровки | Оценка |
|---|---|---|---|---|---|
| Загружаем сводку достоверности… | |||||
Оценки: STRONG — L1 ≤ 0.30 · MODERATE — ≤ 0.60 · WEAK — выше. «Ранг ρ» — согласие порядка вариантов (Спирмен), «разнообразие» — нормированная энтропия ответов (защита от коллапса в один ответ).
Ценовые настроения — первый коммерческий домен: сверен с ежемесячным опросом инФОМ (Банк России, n≈2000) не только по стране, но и по демографическим ячейкам — пол, возраст, образование, город/село. Продолжение этой сверки — запечатанные прогнозы будущих волн.
13 моделей, одна панель, один экзамен.
Каждая модель опросила одну и ту же калиброванную панель по одной и той же скрытой батарее — и сверена с реальными распределениями. Мы используем лучшую, а не самую удобную.
| # | Конфигурация | mean L1 | после калибровки | мимо формата | Оценка |
|---|---|---|---|---|---|
| Загружаем результаты бейкоффа… | |||||
«Мимо формата» — доля ответов вне допустимых вариантов (ломает распределение). Полная таблица по доменам — в отчёте о бейкоффе; спросите нас.
Что этот инструмент не умеет.
- Направленный сигнал, а не истина. Надёжнее всего — сравнения и порядок («вариант А сильнее Б», «барьер X чаще Y»). Абсолютные проценты — с поправкой и доверительным интервалом, и это написано в каждом отчёте.
- Не все домены калиброваны. Ценности, доверие и ценовые настроения сверены с реальными опросами. Намерение купить конкретный продукт и выбор бренда — нет: открытых российских данных для такой сверки не существует, поэтому эти ответы — экстраполяция, и мы их так и называем.
- Синтетика не заменяет живые исследования. Это фильтр до поля: каждый отчёт заканчивается готовой анкетой для проверки на живых людях.
- Экономические ценности — слабое место всех моделей. В бейкоффе домен «экономические ценности» проваливают все 13 моделей — мы показываем это, а не прячем.
Лучший аргумент — ваша собственная сверка.
Посмотрите запечатанные прогнозы против будущих данных ЦБ — или прогоните анкету, по которой у вас уже есть живой результат, и посмотрите на процент совпадения.