Как устроена синтетическая аудитория

Коротко о методе

Лаборатория №40 моделирует реакцию российской аудитории на оффер, сообщение, продуктовую гипотезу или изменение условий. Профили строятся на данных о людях, а ответы генерирует языковая модель с учётом обстоятельств каждой персоны. Это способ найти возможные барьеры, сравнить варианты и подготовить вопросы для исследования с реальными участниками.

Калибровка состава аудитории и точность её ответов — две разные проверки. Совпадение по возрасту и занятости ещё не означает, что модель правильно предскажет выбор бренда или покупку. Поэтому мы отдельно проверяем состав популяции, распределения ответов и прогнозы, зафиксированные до выхода новых данных.

Основа

Популяция из 100 000 синтетических профилей. Для исследования из неё отбирается отдельная панель.

Источники

Социально-экономические микроданные, демографическая статистика, психографические данные и исследования потребительских настроений.

Результат

Модельные ответы, различия между сегментами, аргументы и гипотезы для дальнейшей проверки.

Граница

Синтетические доли не равны рыночной конверсии. Валидация относится к определённым вопросам, аудитории, периоду и настройкам.

Как строится популяция

В основе профиля — сочетание характеристик из реальной опросной записи: демография, занятость, материальное положение и обстоятельства домохозяйства. Это позволяет начинать со связанных между собой наблюдений, а не независимо придумывать возраст, доход и профессию.

1. Подготовка исходных записей

   Ответы из нескольких волн обследования приводятся к общей схеме. Один человек может встречаться в нескольких волнах. Повторные записи учитываются как часть источника, а не как новые независимые люди.

2. Калибровка распределений

   Метод итеративного пропорционального согласования (IPF) меняет веса исходных записей, приближая их состав к целевым распределениям. В проверенной версии совместно согласуются возраст, пол и тип населённого пункта; отдельно — образование, занятость и обобщённое доверие.

3. Формирование синтетической популяции

   Из взвешенных записей производится выборка с повторениями. Получаются 100 000 профилей, но не 100 000 независимых человеческих наблюдений. В проверенной сборке использованы данные примерно 12,8 тыс. уникальных исходных респондентов.

4. Дополнение профиля

   Ценностные установки подбираются из психографических данных по сходству характеристик. Производные склонности — например, чувствительность к цене и скептицизм — задаются правилами модели. Это статистические дополнения, а не измеренные черты того же человека.

Что наблюдается, а что моделируется

Характеристики исходной опросной записи, статистически подобранные установки и сгенерированный ответ имеют разное происхождение. Синтетическая персона не является цифровой копией конкретного человека; её реплика не свидетельствует о том, что исходный респондент сказал бы то же самое.

Калибровка действует только по заданным признакам. Доход, регион и состав домохозяйства не входят в перечисленные калибровочные ограничения. Согласование весов также не гарантирует сохранения всех связей между признаками.

Как подбирается аудитория исследования

Бриф задаёт предмет исследования, варианты для сравнения и нужную аудиторию. Для популяционного режима система отбирает подходящие профили по доступным признакам. Размер всей популяции, размер подходящего пула и число участников конкретного анализа — разные величины.

Выборка из популяции

Такой режим подходит для аудиторий, описываемых признаками в исходных данных. Чем уже пересечение условий, тем важнее фактическое покрытие. Фильтр по региону сам по себе не делает выборку репрезентативной для этого региона; наличие детей в домохозяйстве не доказывает родительство.

Если после фильтрации остаётся слишком мало профилей, система может расширить отбор до взрослой аудитории и отметить это в результате. В таком случае выводы нельзя приписывать первоначально запрошенному узкому сегменту.

Сконструированная аудитория

Для B2B и специальных ниш могут использоваться архетипы, построенные по явно заданным осям: роли, условиям работы и задачам. Такая панель помогает исследовать возможные аргументы и сценарии. На неё не переносится демографическая калибровка национальной популяции или оценка точности её проверочных опросов.

Как получаются ответы

В панельном режиме каждая персона получает собственную карточку и общий исследовательский материал: описание продукта, условия или варианты сообщения, а также вопросы. Карточка задаёт обстоятельства ответа, но не превращает модель в реального участника исследования.

Закрытые вопросы

В основном протоколе модель распределяет вероятность между вариантами ответа. Корректные распределения нормируются и усредняются по персонам. Такой способ сохраняет неопределённость внутри модельного ответа и даёт распределение по панели, а не только один выбранный вариант.

Некорректные ответы исключаются из расчёта; база валидных ответов учитывается отдельно. Синтетическая доля описывает результат этого протокола. Она не является измеренной долей покупателей или индивидуальной вероятностью покупки.

Интервью и обсуждения

Открытые ответы помогают собрать возможные мотивы, возражения и язык реакции. В фокус-форуме персоны взаимодействуют в заданном сценарии. Получившееся обсуждение — материал для гипотез о реакции, а не доказательство того, как сообщение распространится в настоящей социальной сети.

Числовая агрегация и текстовое обобщение выполняются раздельно. Цитаты в отчёте относятся к сгенерированным ответам синтетических персон. Некоторые режимы используют прямую или комбинированную оценку; их результат нельзя описывать как проведённые интервью, если интервью не было.

Что именно мы проверяем

Одна цифра «точности» скрыла бы различия между вопросами и типами ошибок. Поэтому доказательства разделены по тому, какую часть метода они проверяют.

Как читать метрики

L1 — сумма абсолютных расхождений между долями вариантов ответа. Значение 0 означает одинаковые распределения, 2 — полностью непересекающиеся. Чем меньше L1, тем ближе результат к эталону. Это не процент правильных ответов.

Ранговая корреляция показывает согласие порядка объектов сравнения: в проверке доверия — институтов по доле доверяющих. Энтропия описывает разнообразие ответов. Высокое разнообразие само по себе не означает совпадения с людьми, а верный порядок может сочетаться с заметной ошибкой в долях.

Отложенные вопросы и калибровочные поправки

Эталонные распределения не передаются модели как целевые ответы при проверке. Но часть проверок установок связана с данными, которые также участвуют в обогащении персон. Это нельзя считать полностью независимой проверкой всей системы. Возможное присутствие опубликованных опросов в обучающих данных базовой модели также нельзя исключить одним тестом.

Коррекция систематического смещения оценивается отдельно от исходных ответов. Улучшение после поправки следует читать вместе с её датой, областью применения и проверкой на отложенных вопросах. Хорошее совпадение на данных настройки ещё не доказывает перенос на новый продукт.

Что показала валидация

Ниже — результаты внутреннего контролируемого сравнения от 11 сентября 2026 года. Оно проверяло изменение способа построения популяции. Это датированный эксперимент, а не подтверждение точности любого нового анализа или установленной на сервере версии.

Аудитория

Взрослые 18+

Объём

240 интервью на каждую версию: 3 выборки по 80

Вопросы

18 вопросов в 6 доменах

Сравнение

Одинаковые вопросы, инструкции и способ расчёта; без корректирующих поправок

Состав популяции стал ближе к целевому

L1 по совместному распределению возраста, пола и типа населённого пункта снизилось с 0,030723 до 0,021218. Это улучшение согласия с историческим демографическим ориентиром на конкретной выборке из 100 000 профилей. Оно не означает такого же улучшения прогнозов поведения.

Общая ошибка ответов практически не изменилась

Среднее исходное L1 по шести доменам составило 0,3083 → 0,3084. Каждый домен имеет одинаковый вес; результат усреднён по трём выборкам. Доверие институтам воспроизводилось лучше, остальные пять доменов — немного хуже. Общего прироста поведенческой точности этот эксперимент не показал.

Источник: внутреннее сравнение двух популяций, 11 сентября 2026. Все 18 вопросов получили валидные ответы в каждой из трёх выборок обеих версий. Полнота ответов характеризует выполнение протокола, а не совпадение с людьми.

Обновлённая версия прошла заранее заданные практические проверки допустимого ухудшения относительно базовой. Это основание продолжать работу с обновлённой популяцией, но не формальное статистическое доказательство равной точности. Участники также не полностью независимы: 240 профилей обновлённой версии опирались на 236 уникальных исходных респондентов.

Проверки на новых данных

В реестре прогнозов отдельно показаны зафиксированные прогнозы и уже оценённые результаты. Для оценки прогноза важны дата фиксации, дата выхода эталона, число вопросов и ошибка по каждому из них. Ещё не оценённый прогноз не считается успешной проверкой.

Хэш относится к полному архивному оригиналу. Публичная выдержка может отличаться от него по составу полей, поэтому её файл не позволяет повторно вычислить тот же хэш.

Где заканчиваются доказательства

Новый продукт и реальные покупки

Сверка ценностей и потребительских настроений не подтверждает точность намерения купить конкретный продукт, выбора бренда, оттока или готовности платить. Даже ранжирование вариантов остаётся гипотезой, пока оно не проверено в соответствующей задаче.

Узкие аудитории

Общий результат по взрослому населению не переносится автоматически на регион, редкую профессию, сложное пересечение фильтров или несовершеннолетних. Большое число сгенерированных профилей не восполняет отсутствие исходных наблюдений.

Общее смещение модели

Персоны используют общую языковую модель и могут повторять её стереотипы, сглаживать различия и реагировать на формулировку вопроса. Повторение интервью не устраняет систематическую ошибку.

Смена контекста

Исторические источники и результаты прошлых проверок не гарантируют точность после экономического шока, изменения поведения или обновления модели. Новая версия требует проверки совместимости с прежними свидетельствами.

Неопределённость

Разброс между синтетическими выборками отражает лишь часть неопределённости. Его нельзя читать как обычную погрешность случайного опроса людей или как интервал, покрывающий все ошибки модели.

Как использовать результат в исследовании

Практическая роль синтетической аудитории — сделать следующий шаг исследования конкретнее: выявить возможное непонимание, сформулировать конкурирующие объяснения и выбрать, что проверять на людях.

1. Сформулируйте решение. Что сравнивается, для кого и какой результат изменит ваши действия.
2. Изучите ответы и различия. Проверьте не только итоговую рекомендацию, но и состав панели, возражения и основания вывода.
3. Составьте проверяемые гипотезы. Отделите наблюдаемую реакцию модели от предположения о поведении рынка.
4. Проверьте на реальной аудитории. Используйте интервью, опрос или эксперимент с заранее выбранным критерием решения.

Что позволяет перепроверить результат

Для интерпретации исследования важны исходный бриф, состав панели, вопросы, сгенерированные ответы и способ получения итоговой оценки. В исследовательских артефактах сохраняются параметры запуска и сведения о происхождении результата; числовые выводы можно сопоставить с ответами персон.

При оценке отчёта проверьте:

• какая аудитория фактически участвовала и расширялся ли отбор;
• использовалась ли популяционная панель, сконструированные архетипы или прямая оценка;
• сколько ответов вошло в расчёт и где недостаточно данных;
• к каким вопросам, возрастам и периоду относится приложенная валидация;
• какой следующий тест на реальных людях может подтвердить или опровергнуть вывод.

Повторяемый отбор не означает идентичный ответ

При одинаковой популяции, фильтрах и начальном значении генератора случайных чисел можно повторить подбор панели. Ответы языковой модели при новом запуске могут измениться. Поэтому повторная генерация и пересчёт уже сохранённых ответов — разные процедуры.

Применимость профиля валидации проверяется по совместимости популяции, инструкций, модели и способа расчёта. Само наличие хорошего результата в архиве не делает его действующим свидетельством для другой конфигурации.

Материалы и исследования

Результаты выше — внутренние измерения Лаборатории №40, а не независимый аудит продукта. В публичном описании мы указываем категории исходных данных; подробное происхождение и технические версии сохраняются в исследовательских записях.

• Реестр прогнозов Лаборатории №40Даты фиксации, оценённые волны и доступные результаты сравнений.
• Проверка прогноза потребительских настроенийРазбор одной волны: различия версий, результаты по вопросам и пределы обобщения.
• Argyle et al. (2023). Out of One, ManyИсследование воспроизведения групповых ответов языковой моделью, обусловленной профилями участников. Результаты относятся к изученной авторами постановке.
• Bisbee et al. (2024). Synthetic Replacements for Human Survey Data?Исследование сужения вариативности синтетических ответов и чувствительности к формулировкам и времени запуска. Эти ограничения объясняют необходимость проверять распределения и версии.

Научные публикации описывают возможности и ограничения класса методов. Они не валидируют Лабораторию №40 и не заменяют проверку конкретного исследования.