Автоматты түрде генерациялау - Automatic Item Generation

Автоматты түрде генерациялау (AIG) немесе Автоматтандырылған элементтер генерациясы - бұл процесті байланыстыру психометрия компьютерлік бағдарламалаумен. Бұл а компьютерлік алгоритм а-ның негізгі блоктары болып табылатын тест тапсырмаларын автоматты түрде құру психологиялық тест. Әдісті алғаш рет Джон Р.Бормут сипаттаған[1] 1960 жылдары, бірақ жақында ғана дамымаған. AIG екі сатылы процесті қолданады: біріншіден, тест маманы элемент моделі деп аталатын шаблон жасайды; содан кейін тест тапсырмаларын құру үшін компьютерлік алгоритм жасалады.[2] Сонымен, әр жеке элементті жазатын тест маманының орнына компьютерлік алгоритмдер ата-аналық элементтер моделінің кішірек жиынтығынан элементтердің отбасыларын жасайды.[3][4][5]

Мәтінмән

Жылы психологиялық тестілеу, тест тапсырушының тест тапсырмаларына берген жауаптары адамның әртүрлі сипаттамаларын өлшеудің объективті деректерін ұсынады.[6] Психологиялық және білім беру тестілерімен өлшенетін кейбір сипаттамаларға академиялық қабілеттер, мектептегі үлгерім, ақыл, мотивация және т.с.с. және бұл тестілер жеке адамдарға немесе жеке адамдар тобына елеулі салдары бар шешімдер қабылдау үшін жиі қолданылады. Сияқты өлшеу сапасының стандарттарына қол жеткізу сынақтың жарамдылығы, психологтар мен тәрбиешілер үшін маңызды міндеттердің бірі болып табылады.[7] AIG - тестілеуді дамыту тәсілі, оны компьютерлік тестілеу тест тапсырмаларының көп мөлшеріне деген қажеттілікті арттырған заманауи жағдайда тест сапасын үнемдеу және жақсарту үшін қолдануға болады.[5]

Артықшылықтары

AIG өнімнің өзіндік құнын төмендетеді стандартталған тесттер,[8] өйткені алгоритмдер белгілі бір уақыт ішінде адамның тестілеу маманына қарағанда көптеген элементтерді жасай алады. Ол әртүрлі тестілеушілерге бірдей күрделі немесе қиындық деңгейіндегі тест тапсырмаларының әр түрлі топтарына ұшырауына мүмкіндік беретін параллель тестілік формаларды тез және оңай жасай алады, осылайша тестілік қауіпсіздікті арттырады.[3] Үйлескенде компьютерленген адаптивті тестілеу, AIG тест тапсырушының тест тапсыру кезіндегі қабілетіне қарай жаңа элементтер шығаруы немесе бұрыннан құрылған элементтердің қайсысын басқаратынын таңдай алады. AIG сонымен қатар күрделі қиындықтармен, құрылыстағы қателіктерден аз заттарды шығарады деп күтілуде және прототиптік элементтер моделін жүйелі түрде анықтауға байланысты заттардың жоғары салыстырмалылығына жол береді деп күтілуде.[3][9][10]

Радикалдар, инциденттер және изоморфтар

Тесттің дамуын (AIG қоса алғанда) кез-келген когнитивті теорияға негізделген жағдайда байытуға болады. Берілген теориядан алынған когнитивті процестер көбінесе оларды құру кезінде заттық ерекшеліктермен сәйкес келеді. Мұның мақсаты - берілген психометриялық параметрді алдын-ала анықтау, мысалы, заттың қиындығы (бұдан былай: β). Келіңіздер радикалдар[9] элементтердің параметрлеріне айтарлықтай әсер ететін және белгілі бір танымдық талаптарды қамтамасыз ететін құрылымдық элементтер болуы керек. Элемент моделінің бір немесе бірнеше радикалын манипуляциялауға болады, олар әр түрлі параметрлермен (мысалы, β) деңгейлер. Әрбір ата-ана содан кейін Ирвинге қатысты басқа элементтерге манипуляция жасау арқылы өз отбасын өсіре алады[9] деп аталады оқыс жағдайлар. Кездейсоқ құбылыстар - бұл бір отбасында элементтерден элементтерге кездейсоқ өзгеріске ұшырайтын беткі ерекшеліктер. Радикалдардың құрылымы бірдей және тек кездейсоқтықтарымен ерекшеленетін элементтер әдетте ретінде белгіленеді изоморфтар[11] немесе клондар.[12][13] Элементті клондаудың екі түрі болуы мүмкін: бір жағынан, элемент моделі бір немесе бірнеше ашық орындары бар элементтен тұруы мүмкін және клондау әр орынды мүмкіндіктер тізімінен таңдалған элементпен толтыру арқылы жүзеге асырылады. Екінші жағынан, элемент моделі түрлендірулерді енгізу арқылы клонданған, мысалы, кеңістіктік қабілеттілік сынағының объектісінің бұрышын өзгерту арқылы бүлінген зат болуы мүмкін.[14] Осы заттардың беткі сипаттамаларының өзгеруі сыналушының жауаптарына айтарлықтай әсер етпеуі керек. Бұл кездейсоқтықтар изоморфтардың элементтік параметрлері арасында шамалы ғана айырмашылықтар тудырады деп есептелетін себебі.[3]

Ағымдағы даму

Бірқатар элементтер генераторлары объективті тексеру сынағынан өтті.

MathGen - бұл математикалық жетістіктерді тексеруге арналған элементтер шығаратын бағдарлама. Арналған 2018 мақаласында Білім беруді өлшеу журналы, авторлар Эмбретсон мен Кингстон өндірілген заттардың сапалық және психометриялық қасиеттерін бағалау үшін кең сапалық шолуды және эмпирикалық сынақтарды жүргізді, бұл заттар сәтті болды және сол элемент құрылымынан алынған заттар болжанатын психометриялық қасиеттерге ие болды деген қорытындыға келді.[15][16]

Рахман-маусым 2015 есептеу моделінің көмегімен жасалған әуезді дискриминация тесті[17] 2017 сот процесіне қатысушыларға қолданылды. Жиналған мәліметтер бойынша П.М. Харрисон және басқалар, нәтижелер сенімділік пен сенімділікті көрсетеді.[18]

Феррейра және Бэкхофф-Эскудеро[19] GenerEx деп аталатын бағдарламаны қолдана отырып, білім дағдыларының жалпы сынағы - негізгі құзыреттілік емтиханының (Excoba) екі параллель нұсқасын жасады. Содан кейін олар ішкі құрылымды, сондай-ақ құрылған тестілердің психометриялық эквиваленттілігін зерттеді. Психометриялық сапаның эмпирикалық нәтижелері жалпы алғанда жағымды, тесттер мен тапсырмалар бірнеше психометриялық көрсеткіштермен өлшенгендей сәйкес келеді.

Джерл және оның әріптестері[20][21][22][23] элементтер генераторы (IGOR) деп аталатын AIG бағдарламасын қолданды[24]) медициналық білімді тексеретін бірнеше таңдау элементтерін жасау. IGOR-да жасалған заттар, тіпті қолмен жасалған заттармен салыстырғанда да, жақсы психометриялық қасиеттерді көрсетті.

Арендасы, Зоммер және Мамр[25] AIG-ді неміс және ағылшын тілдерінде ауызекі сөйлеуді тексеру үшін вербальды элементтер жасау үшін қолданды, оларды сәйкесінше неміс және ағылшын тілді қатысушыларға басқарды. Компьютерде жасалған заттар қолайлы психометриялық қасиеттерді көрсетті. Осы екі топқа басқарылатын заттар жиынтығы тіларалық анкерлік элементтердің жалпы жиынтығына негізделген, бұл өнімділікті тілдік салыстыруды жеңілдеткен.

Холлинг, Бертлинг және Зеух[26] күтілетін қиындықтармен автоматты түрде математикалық сөздік есептер шығару үшін ықтималдықтар теориясын қолданды. Олар Rasch-ке қол жеткізді[27] модельге сәйкес келу және элементтердің қиындықтарын Сызықтық логистикалық тест үлгісімен (LLTM) түсіндіруге болады[28]), сондай-ақ Random-Effects LLTM арқылы. Холлинг, Бланк, Кученбэккер және Кун[29] ұқсас зерттеуді статистикалық сөздермен, бірақ AIG қолданбай жасады. Арендасы және оның әріптестері[30][31] автоматты түрде құрастырылған алгебра сөздік проблемалары бойынша зерттеулер ұсынды және AIG сапасын бақылау шеңбері элементтердің өлшеу сапасына қалай әсер етуі мүмкін екенін қарастырды.

Фигуралық заттардың автоматты генерациясы

IMak пакетімен автоматты түрде жасалатын төрт ережеге негізделген фигуралық ұқсастық діңі (қосымша ақпарат алу үшін Blum & Holling, 2018 қараңыз).

Элемент жасаушы (IMak) - бұл R бағдарламалау тілі фигуралық ұқсастық элементтерін салу үшін. IM-мен жасалған 23 заттың психометриялық қасиеттері қанағаттанарлық деп табылды және ереженің пайда болуына негізделген заттардың қиындықтарын сызықтық логистикалық сынақ моделі (LLTM) арқылы болжауға болады.[3]

MazeGen - лабиринтті автоматты түрде жасайтын R-мен кодталған тағы бір бағдарлама. Осындай 18 лабиринттің психометриялық қасиеттері оңтайлы деп табылды, оның ішінде Rasch моделі лабиринттің қиындығын және LLTM болжамын.[32]

GeomGen - бұл фигуралық матрицалар шығаратын бағдарлама.[33] Матрицалық элементтер үшін реакцияны жою стратегиясымен байланысты өлшеудің ауытқу көздерін анықтаған зерттеу дистрактордың шешімділігі реакцияны жою стратегиясын іздейді және осы білімдерді осындай элементтердің құрылымының жарамдылығын жақсарту үшін AIG-ге енгізуге болады деген қорытындыға келді.[34] Сол топ AIG зерттеу үшін қолданды дифференциалды элементтің жұмыс істеуі (DIF) және байланысты гендерлік айырмашылықтар психикалық айналу. Олар алдыңғы зерттеулерде гендерлік DIF-ті көрсететін элементтерді жобалау ерекшеліктерін қолданды және олар гендерлік айырмашылықтардың әсер мөлшерін бағалау элементтердің дизайн ерекшеліктерімен байланысты болуы мүмкін әр түрлі жыныстық DIF типтерінің болуымен бұзылғанын көрсетті.[35][36]

Арендаси сонымен бірге қолдану арқылы анықталған психометриялық сапаның мүмкін бұзушылықтарын зерттеді заттарға жауап беру теориясы (IRT) автоматты түрде жасалынған визуокеңістіктік пайымдау. Осы мақсатта ол екі бағдарламаны ұсынды, атап айтқанда: қазірдің өзінде айтылған GeomGen[33] және шексіз цикл генераторы (EsGen). Ол GeomGen AIG үшін ыңғайлы, өйткені IRT принциптерін элементтерді құру кезінде енгізуге болады деген қорытынды жасады.[37] GeomGen, Arendasy және Sommer қолдана отырып, қатарлас зерттеу жобасында[38] Заттарды қабылдаудың ұйымдастырылуының өзгеруі респонденттердің қабілеттілік деңгейлеріне байланысты олардың жұмысына әсер етуі мүмкін екенін және бұл сапаның бірнеше психометриялық көрсеткіштеріне әсер ететіндігін анықтады. Осы нәтижелермен олар жалпы фигуралық матрицалық элементтердің бір өлшемділік болжамына күмән келтірді.

MatrixDeveloper[39] автоматты түрде жиырма бес 4х4 квадрат матрицаны құру үшін пайдаланылды. Бұл заттар 169 адамға басқарылды. Зерттеу нәтижелері бойынша заттар жақсы жағын көрсетеді Rasch моделі ережеге негізделген буын элементтердің қиындықтарын түсіндіре алады.[40]

Матрицалық алғашқы генераторды Embretson жасаған,[41][12] және оның автоматты түрде жасаған элементтері жақсы психометриялық қасиеттерді көрсетті, өйткені мұны Embretson және Reise көрсетеді.[42] Сондай-ақ, ол Интернет желісінде барабар өндірістің моделін ұсынды.

Әдебиеттер тізімі

  1. ^ Bormuth, J. (1969). Тест тапсырмаларының жетістіктері туралы. Чикаго, IL: Чикаго университеті.
  2. ^ Джерл, МДж, & Халадина, Т.М. (2012). Автоматты түрде заттар жасау, теориясы және практикасы. Нью-Йорк, Нью-Йорк: Routledge Chapman & Hall.
  3. ^ а б в г. e Блум, Диего; Холлинг, Хайнц (6 тамыз 2018). «IMak пакеті бар фигуралық аналогияларды автоматты түрде құру». Психологиядағы шекаралар. 9: 1286. дои:10.3389 / fpsyg.2018.01286. PMC  6087760. PMID  30127757. CC-BY icon.svg Материал осы дереккөзден көшірілген, ол а Creative Commons Attribution 4.0 Халықаралық лицензиясы.
  4. ^ Glas, CA, Van der Linden, WJ, & Geerlings, H. (2010). Адаптивті тестілеу үшін элементтерді клондау моделіндегі параметрлерді бағалау. W.J. ван дер Линден, & C.A.W. Glas (Eds.). Адаптивті тестілеу элементтері (289-314 беттер). DOI: 10.1007 / 978-0-387-85461-8_15.
  5. ^ а б Gierl, MJ, & Lai, H. (2012). Элементтердің автоматты генерациясындағы элементтер модельдерінің рөлі. Халықаралық тестілеу журналы, 12(3), 273-298. DOI: 10.1080 / 15305058.2011.635830.
  6. ^ Ван дер Линден, В.Ж., & Гамблтон, Р.К. (1997). Жауап берудің теориясы: қысқаша тарих, жалпы модельдер және кеңейтімдер. Р.К. Hambleton, & W.J. van der Linden (Eds.). Қазіргі заманғы заттарға жауап беру теориясының анықтамалығы (1-31 беттер). Нью-Йорк: Спрингер.
  7. ^ Эмбретсон, С.Е. (1999). Танымдық қабілеттерді өлшеу кезіндегі мәселелер. С.Е. Embretson, & S.L. Хершбергер (Ред.). Өлшеудің жаңа ережелері (1-15 беттер). Махвах: Лоуренс Эрлбаумның қауымдастырушылары.
  8. ^ Руднер, Л. (2010). Түлектерді басқару тестілеуін компьютерлік бейімдеу тестін енгізу. В.Д. ван дер Линден және C.A.W. Glas (Eds.). Адаптивті тестілеу элементтері (151-165 беттер). DOI: 10.1007 / 978-0-387-85461-8_15.
  9. ^ а б в Ирвин, С. (2002). Жаппай тестілеуге арналған заттарды жасау негіздері. С.Х. Ирвин және П.С. Киллонен (Ред.). Тест әзірлеуге арналған заттарды құру (3-34 беттер). Махвах: Лоуренс Эрлбаумның қауымдастырушылары.
  10. ^ Lai, H., Alves, C., & Gierl, MJ (2009). CAT-ге қойылатын сұраныстарды шешу үшін элементтерді автоматты түрде жасауды қолдану. Д.Дж. Вайсс (Ред.), Компьютерленген адаптивті тестілеу бойынша 2009 GMAC конференциясының материалдары. Веб: www.psych.umn.edu/psylabs/CATCentral.
  11. ^ Беджар, I. I. (2002). Генеративті тестілеу: тұжырымдамадан бастап енгізуге дейін Тест әзірлеуге арналған тармақ, eds. S. H. Irvine және P. C. Kyllonen (Mahwah, NJ: Lawrence Erlbaum Associates), 199–217.
  12. ^ а б Эмбретсон, С.Е. (1999). Тестілеу кезінде элементтерді құру: психометриялық мәселелер және модельдер. Психометрика, 64(4), 407-433.
  13. ^ Arendasy, M. E. және Sommer, M. (2012). Оқу-кәсіптік бағалауға қойылатын талаптардың жоғарылауына сай элементтерді автоматты түрде жасауды қолдану. Оқу және жеке айырмашылықтар, 22, 112–117. дои: 10.1016 / j.lindif.2011.11.005.
  14. ^ Glas, C. A. W. және van der Linden, W. J. (2003). Элементті клондау арқылы компьютерленген адаптивті тестілеу. Қолданылған психологиялық өлшеу, 27, 247–261. doi: 10.1177 / 0146621603027004001.
  15. ^ Embretson, SE, & Kingston, NM (2018). Автоматты түрде генерациялау: математика жетістіктерін дамытудың тиімді процесі? 55. Оқу өлшеу журналы(1), 112-131. DOI: 10.1111 / jedm.12166
  16. ^ Уиллсон, Дж., Моррисон, К., және Эмбретсон, С.Е. (2014). Математикалық жетістік элементтеріне арналған автоматты түрде генератор: MathGen3.0. Білім беру институтына арналған грант R305A100234 үшін IES1005A-2014 техникалық есебі. Атланта, GA: Когнитивті өлшеу зертханасы, Джорджия, Технология институты.
  17. ^ Коллинз, Т., Лэйни, Р., Уиллис, А., & Гартвайт, П.Х. (2016). Музыкалық стильдің есептеу модельдерін әзірлеу және бағалау. 30. Инженерлік жобалауға, талдауға және өндіруге арналған жасанды интеллект, 16-43. DOI: 10.1017 / S0890060414000687.
  18. ^ Харрисон, П.М., Коллинз, Т., & Мюлленсифен, Д. (2017). Мелодиялық дискриминациялық тестілеуде заманауи психометриялық әдістерді қолдану: элементтерге жауап беру теориясы, компьютерленген адаптивті тестілеу және элементтерді автоматты түрде құру. Ғылыми баяндамалар, 7(3618), 1-18.
  19. ^ Ferreyra, MF, & Backhoff-Escudero, E. (2016). Validez del Generador Automático de Ítems del Examen de Competencias Básicas (Excoba). Босату, 22(1), өнер. 2, 1-16. DOI: 10.7203 / жеңілдету.22.1.8048.
  20. ^ Gierl, MJ, Lai, H., Pugh, D., Touchie, C., Boulais, AP, & De Champlain, A. (2016). Жасалған көп нұсқалы тест тапсырмаларының психометриялық сипаттамаларын бағалау. Білім берудегі қолданбалы өлшем, 29(3), 196-210. DOI: 10.1080 / 08957347.2016.1171768.
  21. ^ Lai, H., Gierl, MJ, Byrne, B.E., Spielman, A.I. & Waldschmidt, D.M. (2016). Стоматологиядағы емтихандар үшін элементтерді автоматты түрде құруға ықпал ететін үш модельдеу қосымшасы. Стоматологиялық білім журналы, 80(3), 339-347.
  22. ^ Gierl, MJ, & Lai, H. (2013). Автоматтандырылған процестермен жасалған медициналық таңдаулы заттардың сапасын бағалау. Медициналық білім, 47, 726-733. DOI: 10.1111 / medu.12202.
  23. ^ Джерл, МДж, Лай, Х., & Тернер, С.Р. (2012). Автоматты түрде генерациялау арқылы бірнеше нұсқалы тест тапсырмаларын құру. Медициналық білім, 46(8), 757-765. DOI: 10.1111 / j.1365-2923.2012.04289.x.
  24. ^ Джерл, МДж, Чжоу, Дж., & Алвес, С. (2008). Бағалаудың инжинирингіне ықпал ету үшін элементтер режимінің типтерінің таксономиясын жасау. J technol learn learn, 7(2), 1-51.
  25. ^ Arendasy, ME, Sommer, M., & Mayr, F. (2011). Word еркін сөйлеу тестінің бір уақытта неміс және ағылшын тілдеріндегі нұсқаларын құру үшін элементтерді автоматты түрде жасауды қолдану. Мәдениетаралық психология журналы, 43(3), 464-479. DOI: 10.1177 / 0022022110397360.
  26. ^ Holling, H., Bertling, JP, & Zeuch, N. (2009). Ықтималдық сөзінің автоматты түрде жасалуы. 35. Білім беруді бағалаудағы зерттеулер(2-3), 71-76.
  27. ^ Раш, Г. (1960). Кейбір интеллект пен жетістік тесттерінің ықтимал модельдері. Чикаго: Chicago University Press.
  28. ^ Фишер, Г.Х. (1973). Сызықтық логистикалық тест моделі білім беруді зерттеу құралы ретінде. Acta психологиялық, 37, 359-374. DOI: 10.1016 / 0001-6918 (73) 90003-6.
  29. ^ Холлинг, Х., Бланк, Х., Кученбэккер, К., және Кун, Дж. (2008). Статистикалық сөздік мәселелерді ережеге негізделген жобалау: шолу және алғашқы енгізу. Психология ғылымы тоқсан сайын, 50(3), 363-378.
  30. ^ Arendasy, ME, Sommer, M., Gittler, G., & Hergovich, A. (2006). Сандық пайымдаудың автоматты генерациясы. Пилоттық зерттеу. Жеке ерекшеліктер журналы, 27(1), 2-14. DOI: 10.1027 / 1614-0001.27.1.2.
  31. ^ Arendasy, ME, & Sommer, M. (2007). Психометриялық технологияны білім беруді бағалауда қолдану: сандық ойлау элементтерін автоматты түрде құруға арналған изоморфты схемаға негізделген жағдай. Оқу және жеке айырмашылықтар, 17(4), 366-383. DOI: 10.1016 / j.lindif.2007.03.005.
  32. ^ Loe, B.S., & Rust, J. (2017). Қабылдау лабиринтінің сынағы қайта қаралды: автоматты түрде жасалынған лабиринттердің қиындықтарын бағалау. Бағалау, 1-16. DOI: 10.1177 / 1073191117746501.
  33. ^ а б Арендасы, М. (2002). Matrizentestaufgaben үшін Geom-Gen-Ein Itemgenerator. Вена: Айгенверлаг.
  34. ^ Arendasy, ME, & Sommer, M. (2013). Жауапты жою стратегияларын азайту фигуралық матрицалардың құрылымының жарамдылығын арттырады. 41, 234-243. DOI: 10.1016 / j.intell.2013.03.006.
  35. ^ Arendasy, ME, & Sommer, M. (2010). Автоматты түрде элементтер жасау арқылы үш өлшемді психикалық айналу кезінде гендерлік айырмашылықтың әсер ету мөлшеріне әр түрлі элементтердің үлесін бағалау. Зияткерлік, 38(6), 574-581. DOI: 10.1016 / j.intell.2010.06.004.
  36. ^ Arendasy, ME, Sommer, M., & Gittler, G. (2010). Психикалық айналымдағы гендерлік айырмашылыққа когнитивтік компоненттердің үлесін зерттеу үшін элементтердің автоматты генерациясы мен эксперименттік жобаларын біріктіру Зияткерлік, 38(5), 506-512. DOI: 10.1016 / j.intell.2010.06.006.
  37. ^ Арендасы, М. (2005). Rasch-калибрленген элементтердің автоматты генерациясы: фигуралық матрицалар GEOM және Endless-Loops Test EC сынақтары. Халықаралық тестілеу журналы, 5(3), 197-224.
  38. ^ Arendasy, ME, & Sommer, M. (2005). Қабылдау манипуляцияларының әртүрлі типтерінің автоматты түрде жасалынатын фигуралық матрицалардың өлшемділігіне әсері. Зияткерлік, 33(3), 307-324. DOI: 10.1016 / j.intell.2005.02.002.
  39. ^ Hofer, S. (2004). MatrixDeveloper. Мюнстер, Германия: Психологиялық институт IV. Westfälische Wilhelms-Universität.
  40. ^ Фрейнд, П.А., Хоффер, С., және Холлинг, Х. (2008). Компьютерлік фигуралық матрицалық элементтердің психометриялық қасиеттерін түсіндіру және бақылау. 32. қолданбалы психологиялық өлшеу(3), 195-210. DOI: 10.1177 / 0146621607306972.
  41. ^ Эмбретсон, С.Е. (1998). Жарамды тестілерді құруға арналған когнитивті жобалау жүйесінің тәсілі: абстрактілі ойлауға қолдану. Психологиялық әдістер, 3(3), 380-396.
  42. ^ Embretson, SE, & Reise, SP (2000). Психологтарға арналған жауап реакциясы. Махвах: Лоуренс Эрлбаумның қауымдастырушылары.