Розширення знань / навичок

Вихідні дані

кількість або відсоток [вказати цільову групу], які мають більш глибокі знання та/або навички з [вказати тему]

Цей показник вимірює, наскільки учасники проєкту (наприклад, представники громадянського суспільства, урядовці, студенти та інші зацікавлені сторони) набули знань або навичок у результаті заходів з навчання та передачі навичок, що реалізуються в рамках проєкту, таких як тренінги, семінари, демонстрації, наставництво, коучинг, інформаційно-просвітницькі заходи або інші заходи з посилення потенціалу. Основна увага приділяється тому, чи покращили учасники своє розуміння та/або практичні навички у конкретних тематичних сферах, на які спрямовано втручання.

Визначте значення показника, використовуючи таку методику:

 

1)Визначте ключові сфери знань та/або навичок, які проект має на меті зміцнити. Вони повинні відповідати навчальним цілям заходу та бути чітко визначеними до початку збору даних. Переконайтеся, що команда послідовно дотримується розмежування між знаннями (краще розуміння або обізнаність щодо концепцій, політик чи процедур) та навичками (здатність ефективно застосовувати ці знання).

2)Розробіть відповідний підхід до оцінювання з урахуванням вашої цільової аудиторії, щоб оцінити зміни в рівні знань та/або навичок. Зазвичай для цього потрібно виміряти різницю між вихідним рівнем (ситуацією до надання підтримки) та станом після втручання (ситуацією після надання підтримки). До найпоширеніших варіантів належать:

• Стандартизований тест на перевірку знань та/або навичок: провести один і той самий або еквівалентний тест до та після втручання та порівняти результати окремих учасників.

• Самооцінка: Попросіть учасників оцінити рівень своїх знань та/або навичок щодо кожної з оцінюваних сфер до та після проведення заходу, використовуючи стандартну шкалу (наприклад, 1 = дуже низький, 5 = дуже високий).

• Спостереження або практична оцінка результатів: безпосередньо спостерігати за тим, як учасники виконують відповідні завдання або демонструють навички в реальних або імітованих умовах, та фіксувати якість їхнього виконання за допомогою структурованої форми спостереження.

Якщо показник передбачає наявність навичок, необхідно використовувати принаймні один метод, що дозволяє оцінити їх застосування на практиці. Це може бути безпосереднє спостереження, виконання практичних завдань або обґрунтовані показники, що дозволяють оцінити виконану роботу (наприклад, оцінка результатів роботи за заздалегідь визначеними критеріями якості, структурована оцінка виконання завдань тренером або наставником на основі спостереження за їх застосуванням, або імітаційні завдання, що оцінюються за чіткими стандартами).

3)Встановити мінімальний поріг покращення, який визначає «розширення знань та/або вдосконалення навичок». Приклади:

• Мінімальний відсоток покращення результатів між результатами тесту до та після навчання (наприклад, приріст щонайменше на 20 %).

• Підвищення результату щонайменше на один бал за 5-бальною шкалою самооцінки.

• Підтверджене поліпшення результатів виконання завдань відповідно до встановлених критеріїв.

Уникайте встановлення надто високих або надмірно низьких вимог, перевіривши рівень складності методу оцінювання шляхомпопереднього тестуванняза участю щонайменше 10 осіб.

4)Зібрати дані до втручання або серед усієї цільової популяції, або серед її репрезентативної вибірки, залежно від обставин.

5)Зберіть дані після втручання. Повторіть збір даних, бажано , одразу після втручання, а також, якщо це можливо, ще раз на пізнішому етапі для оцінки рівня засвоєння знань. Переконайтеся, що респонденти мали достатньо часу, щоб усвідомити або застосувати те, чого вони навчилися. У всіх точках вимірювання слід оцінювати одних і тих самих осіб, щоб забезпечити можливість порівняння результатів на індивідуальному рівні до та після втручання.

6)Оцініть результати на рівні учасників. Підрахуйте , скільки учасників досягли мінімального необхідного рівня підвищення знань та/або навичок, визначеного на етапі 3.

7) Щоб обчислити значення показника, поділіть кількість учасників, які відповідають визначеному пороговому рівню підвищення рівня знань/навичок, на загальну кількість оцінених учасників. Помножте отриманий результат на 100, щоб перетворити його на відсоток.

Дані можна розбиті за статтю, віковою групою, географічним регіоном та/або іншими відповідними характеристиками (наприклад, типом навчання чи темою, цільовими організаціями), залежно від контексту та спрямованості вашого проєкту.

1) Якщо ви проводите опитування вибірки, а не всієї цільової сукупності, переконайтеся, що вона є достатньо великою, щоб врахувати відсів на етапі завершення дослідження, оскільки не всі респонденти, які брали участь у початковому опитуванні, можуть бути доступні на цьому етапі. Це допоможе забезпечити репрезентативність оцінки після втручання (розмір вибірки залишиться достатньо великим) та дозволить зібрати дані від тих самих респондентів як під час початкового, так і під час завершального вимірювання.

2) Якщо ви плануєте оцінювати як знання, так і навички, то покладатися виключно на вступні та підсумкові тести може виявитися недостатнім. Для адекватної оцінки зростання рівня навичок можуть знадобитися додаткові методи, такі як спостереження або оцінка практичних результатів .

3) Вищезазначені методологічні кроки рекомендуютьзбирати дані як до, так і після втручання, щоб визначити, наскільки респонденти покращили (або не покращили) свої знання та/або навички. Однак у випадках, коли збір вихідних даних є неможливим або проведення тестування до та після втручання є недоцільним для цільової групи, як альтернативу можна використовувати форму оцінки на основі спогадів. Такі форми можуть містити гіпотетичні або вихідні запитання, наприклад:

• Наскільки, на вашу думку, підтримка, надана [ вказати організацію / суб’єкта], вплинула на ваші знання щодо [ вказати тему]?

• Чи набули ви якихось нових навичок і знань, яких раніше не мали?

Сукупний бал, отриманий за результатами кількох таких питань, може використовуватися для визначення «поглиблення знань та/або вдосконалення навичок». Така форма оцінювання також є корисною для збору відгуків з метою вдосконалення заходів.

Підходи, що ґрунтуються на спогадах, слід розглядати як другий за ефективністю варіант і застосовувати лише в тих випадках, коли неможливо зібрати вихідні дані, оскільки похибка, пов’язана зі спогадами, та похибка соціальної бажаності можуть завищувати результати, особливо в умовах навчання, що фінансується донорами. Тому результати, отримані за допомогою методів, що ґрунтуються на спогадах, слід трактувати як сприйняті зміни, а не як виміряні зміни.

4) Якщо мета вашого проєкту полягає в тому, щоб визначити, чи володіє цільова група певним рівнем знань та/або навичок — а не в тому, чи покращилися вони з часом — використовуйте показник «Відсоток [вказати цільову групу], що володіє необхідними знаннями/навичками з [вказати тему]» . Перевага такого підходу полягає в тому, що вам не потрібно збирати вихідні та повторні дані від тих самих респондентів.

5) Визначте, чи слід оцінювати безпосередній ефект одноразової діяльності (наприклад, демонстрації), чи ефект більш тривалого навчального процесу (наприклад, серії з кількох навчальних занять, що проводяться протягом певного періоду).

6)Якщо ви використовуєте самооцінювання, перевірте його за допомогою зовнішної експертизи, щоб зменшити упередженість. Попросіть тренерів або колег перевірити, чи можуть учасники продемонструвати ті знання чи навички, за якими вони самі себе оцінили. Цей етап перевірки гарантує, що результати відображають фактичний рівень засвоєння матеріалу, а не суб’єктивні уявлення.

7) Якщо це можливо,проведіть «пост-оцінку» двічі: спочатку одразу після завершення заходу з «зміцнення потенціалу» (щоб оцінити безпосередні результати навчання); а потім — через 1–2 місяці (щоб оцінити знання та/або навички, які учасники насправді запам’ятали і можуть використовувати). Однакоцінювання не обов’язково має стосуватися лише одного заходу(наприклад, тренінгу) — його можна проводити під час початкового та підсумкового опитувань, оцінюючи загальні зміни у конкретних знаннях та/або навичках цільової групи.

8) Спираючись на результати аналізу доступності та гендерного аналізу , оцініть, чи потрібні додаткові заходи для забезпечення справедливого та точного оцінювання всіх респондентів, і, за необхідності, втілюйте їх у життя. До таких заходів можуть належати: надання різних форматів збору даних (письмовий, усний або цифровий) з урахуванням різних можливостей; забезпечення безбар’єрності місць проведення оцінювання; надання гнучкого графіку для учасників, які цього потребують; дозвіл на використання допоміжних додатків або програм; а також надання допоміжних матеріалів, таких як тексти з великим шрифтом або наочні посібники. У всіх запитаннях використовуйте гендерно-нейтральну мову та приклади, а також розбивайте та інтерпретуйте результати за гендерною ознакою, щоб визначити, чи дівчата/молоді жінки, хлопці/молоді чоловіки або небінарна молодь стикаються з різними результатами навчання або перешкодами.

9) Якщо це доречно, розгляньте можливість запитати респондентів, де вони здобули ці знання/навички. Це може допомогти вам зрозуміти, який внесок зробила ваша програма.

10) Якщо це можливо, додайте питання для збору відгуків щодо корисності та актуальності заходів із зміцнення потенціалу. Використовуйте отримані результати для вдосконалення заходів.

11) З метою покращення навчального процесу та підвищення відповідальності слід, за можливості та за необхідності, інформувати учасників про результати оцінювання та використовувати їх для вдосконалення майбутніх ініціатив з розвитку потенціалу.