***
Главная » Психодіагностика » 3.5. Аналіз завдань



3.5. Аналіз завдань

Аналіз завдань по результатах, отриманих в пілотажному дослідженні, має своїй на меті відбір найкращих завдань для остаточної версії опитувальника і включає визначення долі що відповіли правильно (відповідно до ключа) і діськрімінантності кожного завдання. Перший крок полягає в тому, аби скласти таблицю аналізу завдань (таблиця.), в якій кожна колонка (а, b, з, d і т. д.) представляє завдання, а кожен рядок (1, 2,3,4, 5 і т. д.) — обстежуваного. Коли йдеться про розробці особових опитувальників, в таблицю вписується відповідний бал за кожним завданням, а при цьому мається на увазі, що зворотні завдання (з протилежним вмістом) оцінюються так само, як і прямі завдання, але в протилежному напрямі континууму оцінок. Потім підсумовуються бали по кожній клітці для здобуття загального балу по кожному ряду (випробовувані) і загального балу по кожній колонці (завдання).

Наступним кроком буде обчислення показника, що визначає долю випробовуваних, таких, що відповіли відповідно до «ключа» опитувальника або індексу ефективності завдання. Цей показник підраховується діленням кількості обстежуваних, таких, що дали правильну (так званий «ключовий») відповідь, на їх загальну кількість. У ідеалt цей індекс для кожного завдання повинен розташовуватися в інтервалі від 0,25 до 0,75, наближаючись в середньому до 0,5 для всього опитувальника. Індекс, менший чим 0,25, показує, що завдання неефективне тому, що дуже небагато обстежуваних відповідають на нього правильно, а вище 0,75 вказує на те, що на дане завдання отримано надто багато правильних відповідей. У таблиці. 3.3 аналізу завдань індекс ефективності для кожного завдання виходить таким чином: (а) 3/5 0,6; (b) 2/5 0,4; (с) 0/5 0; (d) 3/5 0,6 і (е) 5/5 = 1. З цього виходить, що потрібно усунути завдання (с) і (е) з остаточної версії опитувальника.

Також потрібно упевнитися, проглянувши результати в таблиці аналізу завдань, в тому що хороший індекс ефективності, тобто лежачий десь посередині між крайніми оцінками, не просто означає вибір середніх оцінок в оцінному континуумі кожним випробовуваним, а є варіацією різних оцінок.

Завдання (питання, твердження) лише тоді слід включати в остаточну версію опитувальника, коли вони вимірюють ті ж самі особові особливості, що і інші, призначені для цього завдання. Для визначення діськрімінатівності завдань використовується коефіцієнт кореляції кожного завдання із загальним балом всього тесту. Чим вище коефіцієнт кореляції, тим вище за діськрімінантность завдання, тим краще завдання. Це основний критерій. Як правило, потрібна мінімальна кореляція в 0,2. Завдання з негативною або нульовою кореляцією майже завжди виключаються.

Для розрахунку цього показника найчастіше застосовується коефіцієнт твору моментів Пірсону (відмітимо, що він найбільш прийнятний для оцінювання завдань, що мають п'ять і більш за варіанти відповіді, а в разі дихотомічних завдань використовується точково-бісеріальна кореляція). Обчислення зазвичай виробляються за допомогою спеціальних комп'ютерних програм, проте кожен розробник тестів повинен хоч би один раз провести розрахунки уручну. Це дає можливість проникнення в сенс того, що відбувається із завданнями тесту. Тим читачам, які спробують здійснити цю процедуру, нагадуємо, що коефіцієнти кореляції завжди менші +1 і більше -1. Якщо набуте значення коефіцієнта, що виходить за кордони цього інтервалу, значить, допущена помилка в розрахунках.

Для того, щоб підрахувати коефіцієнт кореляції твору моментів Пірсону, потрібні: сума балів випробовуваних за кожним завданням сума балів, випробовуваних по всьому тесту сума квадратів балів випробовуваних за кожним завданням сума квадратів балів випробовуваних по всьому опитувальникові сума твору балів за кожним завданням і по всіх завданнях Шляхом підстановки у формулу значень перерахованих показників обчислюється коефіцієнт кореляції. Нижченаведений приклад демонструє простий спосіб здобуття цього коефіцієнта. Для уникнення помилок рекомендується повторний підрахунок за кожним завданням.

При рішенні питання про включення завдання в остаточну версію тесту потрібно брати до уваги багато чинників. На додаток до вивчення ефективності і діськрімінантності потрібно визначити ту кількість завдань, яка буде потрібно для остаточної версії (не менше 20-30 завдань!) і наскільки добре вони «вписуються» в раніше створені для тесту грати. Наприклад, можна включити завдання з низькою діськрімінатівностио, якщо є трохи завдань по деякій області виміру. Також інколи має сенс включення в остаточний варіант опитувальника завдання з недостатньо високим показником ефективності за умови, що воно володіє достатньою діськрімінантностью. Також поважно забезпечити приблизно рівну кількість прямих і зворотних завдань. Для випробовуваної різної полови необхідно виконати окремі процедури аналізу завдань.

Способи поліпшення завдань з'ясовуються якраз на цій стадії конструювання тесту. Наприклад, зміна формулювання відповіді в завданні з «інколи» на «завжди» може підвищити показник ефективності. Проте ці зміни у всіх питаннях (твердженнях) можуть вплинути на надійність і валідность тесту. Процедура аналізу завдань дає необхідну інформацію відносно параметрів кожного завдання. Проте лише дослідник може винести ухвалу про те, який з критеріїв найбільш важливий для реалізації мети створюваного тесту.

На початку 1980-х рр., окрім традиційних процедур аналізу завдань, з'являються складніші, використання яких неможливе без досить потужного комп'ютерного забезпечення. До таких перш за все відноситься теорія «заданіє—ответ» (item response theory, IRT). Технічні прийоми цієї теорії, не дивлячись на дискусії, що продовжуються, сьогодні включаються в новостворювані тести. Проте йдеться перш за все про тестування здібностей. Найбільш складні проблеми виникають у зв'язку із спробами додатка ITR до тестів особи. Безумовно, не можна стверджувати, що процедури з ITR непридатні в оцінці особи, проте потрібне вирішення багатьох завдань, перш ніж ця теорія замінить традиційні процедури аналізу завдань детальніше про цю теорію див. в роботах П. Клайна, 1994; А. Анастазі і С. Урбіна, 2001; і ін.).

Смотреть другие вопросы в разделе: Психодіагностика





Все материалы размещены исключительно с целью ознакомления и принадлежат их авторам. Любое копирование строго запрещено. Если вы являетесь автором того или иного труда и не хотите, чтобы он был здесь опубликован, свяжитесь с администрацией