Рівень індикатора
Формулювання показника
Призначення показника
Як зібрати та проаналізувати необхідні дані
Визначте значення показника, використовуючи таку методику:
1) Визначте, як ви будете оцінювати компетенції промоутерів. Існує два основні варіанти:
- Спостереження за роботою промоутерів та фіксація того, що вони роблять (або не роблять), у контрольному списку — це найкращий спосіб оцінити їхні навички та, певною мірою, їхні знання. Контрольний список має бути спрямований на те, щоб визначити, чи дотримуються промоутери рекомендованих методів заохочення відповідної поведінки та чи є їхні висловлювання технічно правильними. Приклад такого контрольного списку наведено на сторінках 119–120 публікації «Make Me a Change Agent» (див. нижче). Варто розглянути можливість обмеження контрольного списку меншою кількістю (наприклад, 10) найважливіших практик, особливо тих, що найчастіше викликають проблеми.
- Теоретичний тест допомагає оцінити, наскільки промоутери володіють знаннями, необхідними для ефективного заохочення відповідних моделей поведінки. Такі тести зазвичай проводяться у письмовій формі, але можуть також базуватися на співбесіді (проте це вимагає значних затрат часу від інтерв’юерів). Зазвичай вони спрямовані на оцінку знань, пов’язаних із:
1. основні повідомлення, які організатори мають донести до цільової аудиторії (а також «технічні» знання, пов’язані з цими повідомленнями)
2. зміст матеріалів SBC, які повинні використовувати організатори
3. основні принципи ефективної комунікації в сфері соціального та поведінкового консультування / методи фасилітації
Рекомендується використовувати або лише спостереження, або спостереження в поєднанні з теоретичним тестом. Уникайте використання виключно теоретичних тестів, оскільки вони не дають змоги оцінити реальні навички організаторів.
Переконайтеся, що контрольні списки та тести є реалістичними (не надто амбітними). Вони повинні зосереджуватися на вимірюваних навичках та знаннях. Перш ніж використовувати контрольний список або тест, випробуйте їх на кількох організаторах та переконайтеся, що оцінювачі розуміють, як послідовно оцінювати кожен пункт.
Виберіть компетенції, які є необхідними для виконання фактичних обов’язків промоутерів, з огляду на моделі поведінки, які вони пропагують, та те, як вони взаємодіють із цільовою аудиторією.
2) Визначити мінімальні показники ефективності, яких повинен досягти промоутер, щоб його вважали «здатним ефективно пропагувати пріоритетні моделі поведінки». Наприклад, дотримання щонайменше 8 із 10 спостережуваних практик та набрання щонайменше 70 % балів у теоретичному тесті.
Ці порогові значення є прикладами, а не універсальними стандартами. Встановіть мінімальний прийнятний рівень ефективності, виходячи з важливості оцінюваних компетенцій. Варто визначити основні вимоги, які повинні виконуватися в будь-якому випадку, навіть якщо організатор досягає загального мінімального балу (наприклад, надання технічно правильних порад та уникнення шкідливих рекомендацій). Якщо використовуються як спостереження, так і теоретичний тест, організатор повинен відповідати мінімальним вимогам щодо обох цих компонентів.
Під час спостережень фіксуйте дії, які не можна обґрунтовано оцінити як «не оцінено», замість того, щоб автоматично вважати їх невдалими. Виключайте такі пункти із загального балу за контрольним списком, використовуючи заздалегідь визначене правило підрахунку балів. Якщо не вдалося оцінити основні компетенції, організуйте ще одне спостереження, перш ніж приймати рішення про відповідність промоутера стандарту. Також визначте мінімальну кількість пунктів контрольного списку, які необхідно оцінити, щоб загальний бал вважався дійсним. Інакше промоутер може пройти оцінювання на підставі лише кількох спостережених дій.
3) Проведіть спостереження / організуйте теоретичні тести з репрезентативною вибіркоюпромоутерів. Спочатку підготуйте актуальний перелік промоутерів, компетенції яких має вимірювати цей показник. Якщо група невелика, розгляньте можливість оцінювання всіх її членів. В іншому випадку відберіть промоутерів із цього переліку, використовуючи метод, який адекватно відображає їхні ролі, місця роботи та умови праці. Уникайте оцінювання лише тих, кого найлегше спостерігати або хто добровільно зголосився взяти участь. Якщо промоутери мають суттєво різні обов’язки, використовуйте відповідні критерії оцінювання та розгляньте можливість окремого викладення їхніх результатів.
Настійно рекомендується проводити спостереження та випробування протягом усього терміну реалізації проєкту в рамках системи його регулярного моніторингу. Такий підхід має низку переваг:
- По-перше, це економить час. Проведення спостережень та тестів вимагає багато часу, і спроба виконати їх усі одночасно (наприклад, під час підсумкового опитування) може виявитися занадто складним завданням.
- Далі результати спостережень та тестів можна використати для надання організаторам необхідної підтримки з метою усунення виявлених недоліків (наприклад, додаткове навчання, орієнтоване на основні прогалини). Щоб мати достатньо часу для усунення цих недоліків, їх необхідно виявляти протягом реалізації проєкту, а не наприкінці.
Заздалегідь визначте звітний період і під час розрахунку показника враховуйте кожного промоутера лише один раз. Якщо промоутер оцінювався кілька разів протягом цього періоду, дотримуйтесь єдиного правила, наприклад, враховуйте його останню дійсну оцінку. Не враховуйте окремі спостереження як окремих промоутерів. Порівнюючи результати за різними періодами, використовуйте однакові критерії оцінки та правила звітності.
4) Використовуючи критерії ефективності, визначені в пункті 2, підрахуйте кількість промоутерів, яких можна вважати «здатними ефективно пропагувати пріоритетні моделі поведінки».
5) Щоб обчислити значення показника, слід поділити кількість промоутерів, яких можна вважати «здатними ефективно пропагувати пріоритетні форми поведінки», на загальну кількість промоутерів, що мають дійсну оцінку. Отриманий результат слід помножити на 100, щоб перетворити його на відсоток.
Розбити за
Ці дані можна розбити за статтю організаторів, місцем їхнього перебування, а також, якщо це доречно та можливо, за віковими групами та стажем роботи.
Важливі зауваження
1) Публікація «Перелік компетентностей громадських медичних працівників у сфері харчування, соціальних змін та зміни поведінки» (див. нижче) може надати вам додаткові уявлення про те, які компетентності можна оцінити за допомогою контрольного списку, що ґрунтується на спостереженнях.
2) Майте на увазі, що промоутери можуть працювати по-різному, коли знають, що за ними спостерігають. По можливості оцінюйте їхню звичайну роботу, а не спеціально підготовлене заняття. Переконайтеся, що спостерігачі надають промоутерам конструктивні відгуки. Пам’ятайте, що одне вдале спостереження не обов’язково свідчить про те, що промоутер стабільно працює на високому рівні.
3) Використовуйте отримані дані, щоб визначити, які компетенції потребують додаткової підтримки. Якщо це можливо, поєднуйте результати спостережень із відгуками тих, до кого адресовані ці повідомлення. Такі відгуки можуть допомогти виявити проблеми в комунікації, які можуть бути непомітними лише на основі спостережень.
Відповідні міжгалузеві показники
Також рекомендуємо врахувати такі показники:
Розуміння персоналом принципів ефективної соціальної та поведінкової зміни (оцінюється, чи розуміє персонал програми принципи, необхідні для забезпечення ефективності заходів, спрямованих на зміну поведінки)
Розуміння рекламних повідомлень (оцінює, чи правильно цільова аудиторія розуміє, до чого її закликають)
Поширеність перешкод на шляху до змін (допомагає виявити перешкоди, які неможливо подолати лише за допомогою ефективної комунікації)
Ознайомитися з додатковими рекомендаціями
- Мережа FSN та група CORE (2015) «Зроби мене агентом змін»: багатосекторальний ресурс із зміни поведінки та здоров’я для громадських працівників та польового персоналу (.pdf)
- USAID Розвиток сфери харчування (2021) Перелік компетенцій громадських медичних працівників у сфері харчування, соціальних та поведінкових змін (.pdf)