«Музейный эксперимент»
Подростки и молодые люди приняли участие в работе арт-резиденции и стали соавторами выставки “Д/З. Мой завод”, посвященной истории Добрянского металлургического завода, который прекратил работу в 1956 году и постепенно ушел под воду.
Характеристика проекта
Участие подростков и молодых людей в создании выставки послужило причиной изменения условий ее подготовки и стало не только ключевым фактором изменений в них самих, но и “точкой притяжения” для посетителей выставки и возможным драйвером расширения участия жителей в жизни музея.
Логика оценки
Цель оценки
Определить, насколько новая модель работы с подростковой и молодежной аудиторией в целях передачи исторической памяти оказала влияние на целевые аудитории проекта, а именно на:
изменение отношения подростков к историко-культурному наследию и музею
развитие компетенций команды и внутренних процессов музея.
изменение образа учреждения у жителей города
интерес к тиражированию успешной модели в профессиональном сообществе.
Измеряемые социокультурные результаты и эффекты
У подростков и молодых людей укрепилось позитивное отношение к истории города и завода (эмоциональный компонент ценности)
Сотрудники музея приобрели новые компетенции для работы с молодежной аудиторией (новый опыт для укрепления ценности)
Посетители выставки испытали чувство гордости за молодых соавторов выставки и историю завода (эмоциональный компонент ценности)
Выставка “Д/З. Мой завод” стала резонансным событием в городе и крае
Расширение участия: у посетителей выставки появилось желание сделать что-нибудь конкретное для сохранения исторической памяти (поведенческий компонент ценности)
У сотрудников других музеев появилось желание использовать опыт музея в Добрянке в своей работе (поведенческий компонент ценности)
Влияние на систему ценностей
Ориентировались на поиск данных, которые, с одной стороны, будут свидетельствовать о том, что ценность "историческая память и преемственность поколений" стала для участников проекта личной ценностью, повлияла на их отношение и поведение, а с другой стороны, что эти изменения произошли благодаря проекту. Важно было понять:
при каких условиях трансляция ценности затрагивает не только когнитивный компонент (“Я знаю, что сохранять историческую память важно”), но и эмоциональный (“Я горжусь историей своего города”), и поведенческий (“Я готов стать волонтером музея”).
как мы можем подтвердить распространение ценности внутри целевых аудиторий проекта и между ними
Процесс трансляции и присвоения ценности “историческая память и преемственность поколений” в рамках проекта прошел один полный цикл (вовлечение подростков и молодых людей, ведущее к присвоению ценности через действие и ее дальнейшей трансляции через продукты действия - созданные подростками арт-объекты, которые стали экспонатами выставки) и запустил второй (посещение выставки, которое вызывает эмоциональное присвоение ценности и желание сделать что-то конкретное для сохранения истории).
Трансляция ценности в процессе сотворчества с сотрудниками музея затронула у подростков-участников все три компонента (когнитивный, эмоциональный, поведенческий). Можно сказать, что ценность “историческая память и преемственность поколений” стала личной ценностью.
У посетителей выставки были затронуты два компонента: эмоциональный и поведенческий. Можно сказать, что адресаты процесса трансляции ценности ее получили, присвоили и намерены распространять дальше.
Подход к оценке
Оценка выполнена в логике теоретически обоснованной оценки (theory‑based evaluation) с использованием количественных и качественных методов сбора и анализа данных. В основе оценки лежат предварительно разработанные совместно с командой проекта логическая модель и дерево результатов, которые описывают предполагаемые цепочки изменений для разных целевых групп.
Ключевые оценочные вопросы, сформулированные совместно с командой проекта, определили методологию сбора и анализа данных, а именно: для каждой целевой группы были определены свои методы и сроки сбора данных в зависимости от того, какая гипотеза проверялась с помощью ключевого оценочного вопроса, адресованного целевой группе.
КОВ 1 Какие изменения произошли в знаниях, навыках, отношении подростков и молодежи, участвующих в проекте, к истории завода и к музею? Каким образом и благодаря чему произошли эти изменения?
Критерий оценки: Результативность
Вывод:
- за время проекта подростки и молодые люди расширили свои знания о городе и заводе, получили новые знания о себе, своих возможностях и способностях, приобрели новый опыт, в том числе работы в команде, приобрели новые навыки и качества
- отношение к истории города/завода и к музею стало эмоционально позитивно окрашенным и подкрепленным знаниями
- появилась личная связь, подкрепленная новыми знаниями и конкретными действиями для сохранения исторического наследия
- на участников проекта повлиял не только сам факт участия в сохранении исторического наследия, но и позитивная оценка участниками процесса и результатов этого участия, подкрепленная внешней позитивной оценкой со стороны посетителей выставки.
Источник данных: селфи-интервью с участниками, опрос кураторов арт-резиденции, анализ документов
КОВ 2 В какой степени сотрудники музея ощутили личный профессиональный рост, приобрели новые практические навыки, мотивацию к реализации новых инициатив в ходе проекта?
Критерий оценки: Результативность
Выводы: все опрошенные сотрудники музея отметили, что ощутили профессиональный рост и повысилась мотивация к реализации новых инициатив, при этом в среднем оценки удовлетворенности участием выше, чем оценки изменений в навыках и мотивации. Ключевым элементом проекта, повлиявшим на изменения, стало предоставление свободы экспериментировать и возможности ошибаться. Опрошенные сотрудники музея считают заметными изменения в том, насколько эффективнее стали решаться сложности и разногласия благодаря возможности совместного обсуждения творческих задач, изменения во внутренней коммуникации и восприятии музея как единой команды для них не столь очевидны. При этом работа с подростковой аудиторией как “влияющий” элемент проекта не была отмечена. Можно предположить, что не столько участие подростков в качестве соавторов выставки, сколько в целом по-другому организованный процесс подготовки выставки, включающий новые профессиональные задачи, стал источником изменений.
Источник данных: опрос сотрудников музея
КОВ 3 Удалось ли созданной выставке «Д/З. Мой завод» стать резонансным событием и изменить внешнее восприятие музея? И благодаря чему?
Критерий оценки: Воздействие
Выводы:
- выставка стала событием для тех, кто участвовал в ее создании и для тех, кто ее посетил,
- у выставки есть информационный охват тех, кто слышал о выставке, больше, чем тех, кто ее посетил,
- наиболее привлекательными и запоминающимися качествами выставки стали ее современный формат и участие подростков в ее создании,
- по мнению опрошенных из всех целевых групп у выставки есть потенциал повлиять на желание людей участвовать в сохранении истории,
- можно предположить, что выставка позитивно скажется на внешнем восприятии музея.
Источник данных: селфи-интервью с участниками, уличный опрос, опрос представителей профессионального сообщества
КОВ 4 Вызвал ли проект интерес и намерение к адаптации его модели среди музеев городов-заводов, если нет, то почему?
Критерий оценки: Воздействие
Выводы:
- у большинства респондентов проект вызвал интерес и они видят возможности для его адаптации в своих условиях,
- половина респондентов подкрепила свой интерес тем, что оставила контактные данные для продолжения диалога,
- наиболее вероятным способом использования респондентами опыта проекта будет включение его отдельных элементов в свою работу,
- основные барьеры для использования опыта проекта - это нехватка времени/персонала, ограниченный бюджет.
Источник данных: опрос представителей профессионального сообщества
Методы сбора данных
Методы анализа данных
Использование результатов
Рекомендации для внесения изменений в проект по результатам оценки
Рекомендации для внесения изменений в проект по результатам оценки:
расширять возможности для формирования личного опыта и демонстрации личных примеров приверженности ценности в процессе трансляции ценности "историческая память и преемственность поколений"
добавить каналы для легкого перехода от желания сделать что-то конкретное для сохранения исторической памяти к действию и использовать их непосредственно на выставке и при проведении оценочных мероприятий. Таким каналом может стать приглашение на ближайшую встречу друзей музея с конкретной датой и временем, приглашение вступить в группу, оставить контакт для дальнейшей связи и т. п. Очевидно, что это отдельная, дополнительная работа к процессу создания выставки и ее также необходимо планировать с горизонтом как минимум 6 месяцев после открытия выставки
если фокусироваться на увеличении числа посетителей, то необходимо внести изменения в информационное продвижение выставки: результаты оценки показали, что информацию о том, что “идет выставка”, удалось донести до жителей города, но создать ощущение “что обязательно нужно сходить” - нет
на данный момент на привлечение посетителей больше всего влияет информация, переданная лично от сотрудников музея, знакомых, родных, и в меньшей степени на приток посетителей влияют информационные сообщения (социальные сети и реклама), но целесообразность изменения информационной политики (вложенные ресурсы - увеличение посетителей) необходимо оценивать отдельно
регулярно проводить опросы с целью мониторинга “узнаваемости” музея и его инициатив, за основу для этих опросов можно использовать гайд, разработанный в рамках оценки
использовать данные, полученные в ходе оценки, для внутреннего бенчмарка.
Что сработало
- Сотворчество подростков с сотрудниками музея и работа с реальным историческим наследием стали механизмом личного присвоения истории.
- Современный формат выставки и участие подростков стали двумя наиболее заметными факторами интереса посетителей и профессионального сообщества.
- Для сотрудников музея значимыми условиями профессионального роста стали свобода экспериментировать, возможность ошибаться и совместно обсуждать творческие задачи.
- Личные рекомендации сотрудников музея, знакомых и родных давали более высокую конверсию в посещение, чем реклама.
Что не сработало
- По КОВ 1, 2 и 4 уровень доказательной базы оценен авторами отчёта как слабый; по КОВ 3 — как достаточно сильный.
- Не все качественные выводы подкреплены количественными данными; часть изменений оценивается по ретроспективной самооценке.
- Нет сопоставимых данных до проекта, чтобы измерить изменение узнаваемости или внешнего восприятия музея.
- Возможна социальная желательность ответов; по профессиональному сообществу зафиксированы намерения, но не последующие действия.
- Для части показателей отсутствуют внешние ориентиры, позволяющие оценить, насколько полученные значения высоки для Добрянки или малых городов.
Рекомендации для будущих проектов
- Согласовывать с командой не только дерево результатов, но и эмпирические референты, через которые будет оцениваться достижение социальных результатов. Это усиливает полезность оценки для авторов проекта.
- Вовлекать основную целевую аудиторию проекта в его оценку. Это усиливает социокультурное воздействие на нее.
- Использовать метод сбора данных, в наибольшей степени отвечающий привычному коммуникативному сценарию целевой аудитории. Это повышает лояльность к процессу оценки.
- Использовать гетерохронный дизайн оценки для разных целевых аудиторий. Это позволяет оценивать процесс, промежуточные и конечные результаты, учитывая момент вхождения целевой аудитории в проект.