Рівень індикатора
Формулювання показника
Призначення показника
Як зібрати та проаналізувати необхідні дані
Визначте значення показника, використовуючи таку методику:
1) Разом із ключовими партнерами проекту та іншими відповідними зацікавленими сторонами обговорити та узгодити чіткі критерії та визначення показників.
Визначте, що саме вважається «іншими партнерами» у контексті проекту. До них можуть належати неформальні групи, мережі, громадські організації, учасники приватного сектору, науково-дослідні організації та місцеві громадські групи, які отримують підтримку в рамках проекту.
Вкажіть цільові теми або проблеми, на які спрямовані адвокаційні зусилля громадських організацій та їхніх партнерів.
Уточніть, які етапи циклу розробки політики будуть оцінюватися, наприклад: визначення порядку денного, розробка проекту, проведення консультацій, ухвалення, реалізація.
Визначте, що означає термін «внесок» у вашому контексті. Зверніть увагу на такі пропозиції:
Надання результатів досліджень, даних або технічних рекомендацій, що використовуються при розробці політики
Організація або сприяння проведенню консультацій чи діалогів, що вплинули на формування напрямків політики
Виступати за врахування конкретних питань, груп або підходів
Створення коаліцій або мереж, які впливали на формування політики
Сприяння впровадженню або моніторингу нових чи переглянутих політик
2) Визначте звітний період, за який ви збиратимете дані про внесок громадських організацій та партнерів у зміну політики. Зазвичай оцінюють динаміку протягом поточного звітного року або періоду реалізації проєкту (наприклад, за останні 12 місяців).
3) Розробити інструмент для фіксації доказів внеску ОГС та партнерів у зміну політики. Підготувати простий інструмент (таблицю або контрольний список) для документування кожного процесу формування політики, до якого були залучені ОГС/партнери, відповідно до заздалегідь визначених критеріїв (крок 1). Цей інструмент може фіксувати, наприклад, таку інформацію щодо кожного зафіксованого випадку внеску ОГС та партнерів у зміну політики:
місцезнаходження
період / дата
Громадська організація / партнер
тип полісу / питання
етап процесу формування політики (визначення порядку денного, розробка проекту, консультації, ухвалення, реалізація)
вид внеску (наприклад, адвокаційна діяльність, технічна підтримка, сприяння діалогу тощо)
опис ролі ОГС / партнера та обсягу їхнього внеску
значення змін
джерело підтвердження / докази
внесок у проект
зовнішній внесок
4) Зберіть докази, використовуючи два або більше із запропонованих методів:
Аналіз документів та матеріалів ЗМІ: Аналіз проектів політик, звітів про консультації, програмних документів, статей у ЗМІ та офіційних заяв, у яких згадуються пропозиції громадських організацій та партнерів.
Інтерв’ю з ключовими інформаторами: Провести інтерв’ю з політиками, керівниками громадських організацій та партнерами, щоб зрозуміти внесок і вплив кожного з цих суб’єктів.
Обговорення у фокус-групах або семінари для обміну думками: Сприяти проведенню дискусій за участю громадських організацій та партнерів з метою оцінки та підтвердження масштабів їхнього спільного внеску.
5) Занести зібрану та перевірену інформацію до розробленого інструменту / бази даних (крок 3).
6) Розробити набір чітких критеріїв та стандартів для оцінки ступеня внеску ОГС/партнерів. Одним із варіантів є використання рубрик (докладніші вказівки наведено в ресурсах нижче) — структурованого інструменту оцінки, який використовує описові рівні для визначення досягнутого рівня ефективності. Рубрики містять чіткі описові критерії для кожного рівня, що дозволяє користувачам класифікувати прогрес послідовно, систематично та у порівнянний спосіб. У цьому випадку рубрика має описувати, наскільки та яким чином ОГС/партнери вплинули на результати політики на кожному етапі циклу формування політики. Користувачі завжди повинні формулювати власні рубрики, специфічні для конкретного проєкту, на початковому етапі відповідно до вихідних даних. В ідеалі формулювання має відбуватися під час спільного семінару з партнерами проєкту. Ілюстративним прикладом простої шкали рубрики та опису кожного рівня може бути:
Немає (=0) – ОГС/партнери не беруть участі в процесах формування політики.
Мінімальний (=1) – ОГС/партнери були поінформовані про політичні процеси або запрошені до участі в них, але відігравали обмежену роль або виступали в якості спостерігачів.
Початкова стадія (=2) — ОГС/партнери надали інформацію або фактичні дані, але їхній внесок мав обмежений помітний вплив на результат формування політики.
Помірний (=3) – Громадські організації та партнери зробили суттєвий внесок, який вплинув на формування окремих розділів політики або розробку процесів.
Значний (=4) – ОГС/партнери мали істотний вплив на зміст політики, її формулювання або плани реалізації.
Трансформативний (=5) – Громадські організації та партнери спільно розробили політику або запровадили інституційні механізми участі для постійного вдосконалення політики.
При формулюванні рівнів рубрики ви також можете використовувати формулювання-орієнтири прогресу (докладніші вказівки наведено в ресурсах нижче), такі як «Очікуємо побачити», «Хотілося б побачити» та «Було б чудово побачити». Ви також можете сформулювати орієнтир прогресу «Не хотілося б бачити», щоб відобразити негативні зміни, а також орієнтир прогресу «Потрібно побачити», щоб повідомити про результати, необхідні для досягнення кінцевого результату.
7) Оцініть досягнення показника: використовуйте зібрану інформацію, зафіксовану в розробленому інструменті/базі даних (крок 3), щоб присвоїти рівень — мінімальний, початковий, помірний, значний, трансформаційний — кожному оцінюваному політичному процесу, політичній темі або місцевості, залежно від актуальності для вашого проєкту. Щоб визначити відповідний рівень, залучіть експерта (експертів) або — якщо ви хочете заохотити участь та посилити відчуття відповідальності — організуйте семінар(и) за участю зацікавлених сторін (наприклад, із громадськими організаціями та іншими партнерами).
Використання числової оцінки (наприклад, від 1 до 5, як запропоновано в кроці 6) замість назв рівнів може спростити порівняння.
За бажанням можна узагальнити результати, щоб показати, скільки процесів формування політики або тем політики відносяться до кожного рівня.
Розгляньте можливість залучення зовнішнього експерта або оцінювача для підтвердження/валідації ваших результатів під час оцінки проекту.
8) Звіт щодо показника. Надайте описовий аналіз досягнень за цим показником, використовуючи зібрані дані та рівень за шкалою оцінювання (крок 7), а також протоколи чи документацію з семінарів із спільного оцінювання, якщо такі є. Опишіть виявлені зміни чи зрушення в політиці, поясніть масштаб внеску ОГС та партнерів, а також окресліть шляхи, через які їхня адвокаційна діяльність, залучення чи діалог вплинули на політичний процес. У своїй звітності поєднуйте будь-яку доступну кількісну інформацію — кількість оцінених політичних процесів — з якісною інтерпретацією, що пояснює масштаб виявленого внеску. Використовуйте результати критеріїв оцінювання, щоб узагальнити загальні закономірності або зміни у масштабі внеску ОГС та партнерів.
Розбити за
Повідомляйте про результати та інтерпретуйте їх з урахуванням відповідних контекстуальних чинників, таких як тип процесу формування політики або тематика політики, рівень влади (місцевий, регіональний, національний) та тип залучених суб’єктів (громадські організації, приватний сектор, наукові кола, мережі), наскільки це можливо та доцільно.
Важливі зауваження
1) Використовуйте цей показник, якщо ви хочете зосередитися на масштабі, а не лише на факті наявності внеску. Використовуйте чіткі якісні критерії (наприклад , шкали оцінювання) для опису того, наскільки впливовою чи глибокою була участь ОГС/партнерів, а не просто того, чи мала вона місце.
2) Розгляньте можливість використання методології «Outcome Harvesting» для оцінки та перевірки внеску ОГС та партнерів у зміну політики. Методологія «Outcome Harvesting » добре підходить для цього показника, оскільки допомагає систематично виявляти, описувати та підтверджувати конкретні випадки, коли дії ОГС або партнерів вплинули на зміст або процеси формування політики. Скористайтеся рекомендаціями щодо методології «Outcome Harvesting», наведеними в документах, зазначених нижче. Для кожного «виявленого результату» задокументуйте:
Що змінилося? (зміст політики чи процес)
Хто це змінив? (яка установа чи особа, що приймає рішення)
Як відбулися ці зміни? (пропаганда, факти, координація)
Наскільки суттєвою була ця зміна?
Який внесок зробив цей проєкт? (наприклад, сприяння, зміцнення потенціалу)
3) Щоб відстежувати прогрес у динаміці, застосовуйте критерії оцінювання на початковому етапі та повторно у заплановані моменти звітування (наприклад, щорічно та/або на завершальному етапі), щоб оцінити, чи змінюється рівень внеску громадських організацій та партнерів з часом — наприклад, з «початкового» до «значного».
4) Інтерпретуйте результати та оцінки в контексті політичних, інституційних та політичних умов. Наприклад, місцева громадська організація, яка впливає на невеликі муніципальні рекомендації, може мати таке ж значення, як і національна коаліція, що формує елементи політики у важливому секторі. При присвоєнні оцінки заохочуйте партнерів пояснювати, які кроки потрібно зробити для досягнення наступного рівня прогресу в наступному періоді, враховуючи сприятливі умови — відкритість уряду, потенціал мереж, терміни, підтримку донорів — а також перешкоди, які, можливо, доведеться подолати. Це допомагає уникнути недоречних порівнянь між різними контекстами та дає уявлення про політичний простір, у якому діють ОГС та їхні партнери.
5) З огляду на те, що громадянський простір налічує багато учасників, проаналізуйте, як діяльність у рамках проєкту могла вплинути на ступінь внеску ОГС та партнерів у розробку політики. Це допоможе вам глибше зрозуміти свій внесок. Визначте, чи можна пов’язати спостережувані зміни з підтримкою проєкту (наприклад, зміцнення потенціалу, координація, сприяння створенню просторів для діалогу, фінансування, збір фактичних даних, робота з налагодження зв’язків). Оцінюючи внесок, перевірте, чи (а) заходи в рамках проєкту відповідають результату, (б) зацікавлені сторони підтверджують вплив проєкту, та (в) чи існує більш переконливе альтернативне пояснення. Задокументуйте шляхи досягнення результату за допомогою інтерв’ю, сесій рефлексії або методу «збору результатів» (Outcome Harvesting), щоб зрозуміти, як проєкт допоміг посилити залучення ОГС до процесу формування політики.
6) Якщо дозволяють ресурси, варто також врахувати альтернативні або зовнішні чинники, що сприяють змінам. Їх можна оцінити, поставивши такі запитання:
Як політичний контекст вплинув на цю зміну/результат — позитивно чи негативно?
Як співпраця з іншими учасниками вплинула на досягнення цієї зміни/результату? Які учасники брали участь у цьому процесі, і яким чином їхня участь сприяла або перешкоджала прогресу?
7) Якщо мета вашого проєкту полягає у посиленні участі та відчуття причетності ключових зацікавлених сторін, залучіть їх до розробки методології розрахунку показників та/або перевірки результатів показників. Залучіть представників громадських організацій/партнерів та/або уряду до розробки критеріїв оцінювання, перегляду призначених рівнів / числових оцінок та обговорення їхнього спільного розуміння рівнів внеску.
8) Якщо ваш проєкт має значний компонент гендерної рівності та соціальної інклюзії, розгляньте можливість оцінки того, чи залучені маргіналізовані або недостатньо представлені групи (наприклад, жінки, молодь, особи з інвалідністю, етнічні меншини) до процесів адвокації, взаємодії із зацікавленими сторонами або політичного діалогу. Проаналізуйте, чи відображаються їхні погляди у пропозиціях або проектах політик і чи отримують вони користь від відповідних змін у політиці. Задокументуйте перешкоди, з якими стикаються ці групи під час участі у розробці політики або впливу на неї, та використовуйте ці висновки для надання рекомендацій щодо того, як зробити процеси адвокації та політичного діалогу більш інклюзивними та справедливими.
9) Якщо використання рубрик вимагає занадто багато ресурсів або якщо неможливо зібрати достатньо даних для обґрунтованого визначення оцінок (наприклад, через масштаб проєкту чи обмеження щодо координації з партнерами), варто розглянути можливість спрощення підходу. Ви можете використовувати «Збір результатів» (Outcome Harvesting) самостійно, без оцінювання за рубриками, щоб документувати та перевіряти результати якісним, орієнтованим на результати та підкріпленим фактами способом. Ви також можете обрати простіший кількісний показник, такий як «Кількість державних політик на [місцевому / обласному / національному] рівні, розроблених або переглянутих за активної участі ОГС», який зосереджується на підрахунку підтверджених випадків залучення до формування політики, а не на оцінці глибини впливу. Ці альтернативи зменшують навантаження, пов’язане з вимірюванням, водночас дозволяючи зафіксувати значуще залучення ОГС.
10) Щодо проєктів, що фінансуються ЄС, слід замість цього враховувати такий показник OPSYS (більше варіантів можна знайти на сторінці «Заздалегідь визначені показники для розробки та моніторингу заходів, що фінансуються ЄС» ): Ступінь, в якому захід, що фінансується ЄС, сприяв ефективній адвокаційній діяльності громадянського суспільства, спрямованій на розширення системи соціального захисту (основний показник OPSYS).
11) Розгляньте інші показники адвокаційної діяльності, наведені на сайтіIndiKit :
кількість зустрічей із відповідними особами, що приймають рішення, щодо заходів з адвокації
розширення представництва на форумах, що мають значення для досягнення цілей адвокаційної діяльності
кількість існуючих та нових партнерських відносин для реалізації заходів з адвокації
кількість / % [вказати цільову групу], які беруть активну участь у розробці заходів з адвокації
кількість / % [вказати цільову групу], які беруть активну участь у реалізації заходів з адвокації
Ознайомитися з додатковими рекомендаціями
- Краща оцінка — аналіз результатів
- INTRAC (2017) Оцінка результатів (.pdf)
- Аналіз результатів
- Використання рубрик
- INTRAC (2024) Картування результатів (.pdf)