Разработка моделей и алгоритмов оценки качества тестовых материалов
Диссертация
Практическая ценность работы. На основании предложенных теоретических разработок создана автоматизированная программа «АСТ-Эксперт» (свидетельство об официальной регистрации программ для ЭВМ № 2 004 612 525 от 15.11.2004. М. Федеральная служба по интеллектуальной собственности, патентам и товарным знакам), что позволило автоматизировать процесс оценки качества тестовых материалов с использованием… Читать ещё >
Содержание
- 1. АНАЛИЗ ПРОБЛЕМАТИКИ, СУЩЕСТВУЮЩИХ ПОДХОДОВ, НАУЧНЫХ ШКОЛ И НАПРАВЛЕНИЙ
- 1. 1. Основы культуры тестирования
- 1. 2. Формирование классической и современной теории тестов
- 1. 3. Квалиметрия в тестологии
- 1. 4. Подходы к обработке мнений экспертов
- 1. 5. Подходы к стандартизации представления тестовых материалов
- 1. 6. Выводы по главе
- 2. РАЗРАБОТКА МОДЕЛЕЙ РАСЧЕТА ХАРАКТЕРИСТИК ТЕСТОВЫХ ЗАДАНИЙ И БАНКОВ
- 2. 1. Методика расчета характеристик тестовых заданий по результатам пробного тестирования
- 2. 2. Разработка модели выборки тестовых заданий при экспертизе программно-педагогических тестовых материалов
- 2. 3. Разработка модели расчета объема выборочной совокупности студентов при тестировании
- 2. 4. Методика расчета надежности теста и погрешности измерения тестового балла
- 2. 5. Методика расчета критериального балла
- 2. 6. Методика оценки валидности банка тестовых материалов
- 2. 7. Разработка модели расчета количественных характеристик БТМ
- 2. 8. Расчет экономической эффективности при использовании разработанных моделей
- 2. 9. Выводы по главе
- 3. РАЗРАБОТКА МЕТОДИКИ СОЗДАНИЯ КАЧЕСТВЕННЫХ ТЕСТОВЫХ. МАТЕРИАЛОВ
- 3. 1. Эволюция сознания восприятия тестологии
- 3. 2. Методические рекомендации по организации разработки тестовых материалов
- 3. 3. Разработка методики оценки качества тестовых материалов
- 3. 4. Мера трудности, как фактор качества тестовых материалов
- 3. 5. Разработка методики обработки результатов экспертизы на основе непараметрической статистики
- 3. 6. Методика расчета количества экспертов для проведения экспертизы тестовых заданий
- 3. 7. Разработка технологии сертификации качества тестовых материалов
- 3. 8. Выводы по главе
- 4. РАЗРАБОТКА АЛГОРИТМОВ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ЭКСПЕРТИЗЫ И СЕРТИФИКАЦИИ ТЕСТОВЫХ МАТЕРИАЛОВ
- 4. 1. Разработка Интернет-системы проверки корректности формулировок в ТЗ
- 4. 2. Разработка способов поддержки спецификации IMS QTI
- 4. 3. Разработка системы Интернет-экспертизы
- 4. 4. Выводы по главе
- Общие результаты и
- выводы
Список литературы
- Аванесов B.C. Основы научной организации педагогического контроля высшей школы. -М.: Исслед. центр, 1989 г.
- Аванесов B.C. Тесты в социологическом исследовании. Москва. Издательство «Наука», 1982.
- Азгальдов Г. Г. Теория и практика качества товаров (основы квалиметрии). М.: Экономика, 1982.-256 с.
- Азгальдов ГГ., Райхман Э. П. О квалиметрии. Издательство стандартов, 1972.
- Алексеев Н.Г. г Методические проблемы проведения массовых обследований уровня знания учащихся: статика и динамика/ЯТроблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1973. Вып.1.
- Анализ нечисловой информации в социологических исследованиях. М., 1985.
- Анастази А. Психологическое тестирование: Пер. с англ. М., 1982. Т. 1./2.
- Архангельский СИ., Михеев В. И., Перельцвайг Ю. М. Вопросы измерения, анализа и оценки результатов в педагогических исследованиях. М., 1975.
- Архангельский СИ. Учебный процесс в высшей школе, его закономерные основы и методы. М., 1980.
- Архангельский СИ., Михеев В. И. Теоретические основы научной организации педагогических исследований. М., 1976.
- Архангельский СИ., Михеев В. И., Перельцвайг Ю. М. Вопросы измерения, анализа и оценки результатов в педагогических исследованиях. М., 1975.
- Аткинсон Р. и др. Введение в математическую теорию обучения. М., 1969.
- Беспалько В.П. Основы теории педагогических систем. Воронеж, 1977.
- Беспалько В.П. Теория учебника: Дидактический аспект. М.:Педагогика, 1988.
- Бешелев Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М., 1980
- Бирюков Б.В., Геллер Е. Ф. Кибернетика в гуманитарных науках. М., 1973.
- Болотник Л.В., Соколова М. А. Выделение объектов проверки на основе структурирования учебного материалаУ/Совершенствование проверки знаний и умений учащихся / Под ред. Р. Ф. Кривошаповой. М., 1979.
- Болотник Л.В., Соколова М. А. Тематическая модель структуры з^ебного материала // Проблемы педагогических измерений: — Межвуз. сб. тр. / Под ред. В. И. Левина. М., 1984.
- Буш Р. В., Мостеллер Ф. Стохастические модели обучаемости. М., 1962.
- Васильев В.И., Демидов А:Н., Малышев Н. Г., Тягунова Т. Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000. С 30−52.
- Васильев В.И., Красильников В. В. и др. Оценка качества деятельности образовательного учреждения / М.: Издательство ИКАР, 2005. — 320с.
- Васильев В.И., Красильников В. В., Плаксий СИ., Тягунова Т. Н. Статистический анализ многомерных объектов произвольной природы, Москва, изд. ИКАР, 2004 С147−258.
- Васильев В.И., Тягунова Т. Н. Культура компьютерного тестирования. / В5ти частях. М.: МГУП, 2002.
- Васильев В.И., Тягунова Т. Н. Основы культуры адаптивного тестирования. — М.: Издательство ИКАР, 2003. — 584 с.
- Васильев В.И., Тягунова Т. Н. Теория и практика формирования программно-дидактических тестов. — М.: Изд-во МЭСИ, 2001.
- Васильева Н.Е. Выборочный метод в аудите. // Банковский р’яд, весна 2000(1). (http://www.apko.ni/head/vasil000300.html)
- Воловик П.Н. Проблемы применения методов тео’рии вероятностей и математической статистики в педагогической теории и практике: Автореф. докт. дис. Киев, 1977.
- Воронов Ю.П. Методы сбора информации в социологическом исследовании. М., 1974.
- Воскерчьян СИ. Об использовании метода тестов при учете успеваемости школьников//Сов. педагогика. 1963. № 10.
- Гаврилова ТА. Червинская К. Р. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992. 200 с.
- Гласе Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс. 1976−495 с.
- Грабарь М.И. Об одном алгоритме получения количественной оценки знаний учащихся//Сов. педагогика. 1981. № 5.
- Грабарь М.И. Применение компонентного анализа для обработки результатов контрольных работ и анкетирования//Проблемы педагогических измерений: Сб. научных трудов / Под ред. В. И. Левина.М.-1984. '^^••- •:. .. .
- Грабарь М.И. Применение математических моделей для исследования латентных факторов, влияющих на результаты обучения//Сов. педагогика. 1979. № 10.
- Грабарь М.И., Краснянская К. А. Применение математической статистики в педагогических исследованиях: Непараметрические методы. М., 1977.
- Григорьева Е.А. Оценивание как метод педагогического исследования: Автореф. канд. дис. Л., 1974.
- Гуленко В.В. Формы мышления. //Соционика, ментология и психология личности, N 4, 2002 (http://socionicsl6.narod.rii/t/gul-402.html).
- Гусева Н.Д. Особенности применения методов многомерного статистического анализа в педагогическом исследовании: Автореф. канд. дис. Л., 1973.
- Джессен Р. Методы выборочных обследований. М.: Финансы и статистика, 1985.
- Джефри Вялфорд. Современная типология педагогических тестов.
- Джугели Э.П., Вепхвадзе А. А. Кибернетика и проблемы обучения. Тбилиси, 1981.
- Докторов Б.З. О надежности измерения в социологическом исследовании. Д., 1979.
- Дружинин Н.К. Выборочный метод и его применение в социально- экономических исследованиях. М.: Статистика, 1970.
- Звегинцев В.А. К вопросу о природе языка. — Вопр. философии, 1979, № 11,с.75.
- Здравомыслов А.Г. Методология и процедура социологических исследований. М., 1969.
- Измерение знаний при проведении массовых обследозаний: Методические рекомендации / Сост. Л. В. Болотник. М., 1984.
- Информационное письмо № 14−55−681ин/15 о сертификации качества педагогических тестовых материалов от 13.11.2000 // Министерство Образования Российской Федерации. — 2000.
- Ительсон Л.Б. Математические и кибернетические методы в педагогике. М., 1964.
- Ительсон Л.Б. Об использовании математических и кибернетических методов в педагогических исследованиях // Сов. педагогика. 1962. № 4.
- Каменский B.C. -Методы «обработки/ порядковой информации: неметрическое многомерное шкалирование. (Обзор). — В кн.: Многомерный статистический анализ в социально-экономических исследованиях. М., «Наука», 1974.
- Кендэл М. Ранговые корреляции. М., 1978.
- Кибернетика и педагогика / Под ред. Дж. Ушшерн: Пер. с англ. М., 1972.
- Ким Дж.-О., Мьюллер Ч. У., Клекка У. Р., Олдендерфор М. С, Блэшфилд Р. К. Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989.
- Китаев Н.Н. Групповые экспертные оценки. М., 1975.
- Кохрен В.Г. Выборочные методы. М.: Статистика, 1976.
- Красильников В.В. Статистика объектов нечисловой природы. — Наб. Челны: Изд-во Камского политехнического института, 2001. 144 с.
- Кузьмина Н.В. и др. Методы системного педагогического исследования. Л., 1982.
- Левин А.В. Вопросы оценки качества контрольных работ // Проблсхмы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1974. Вып. 1.
- Литвак Б.Г. Экспертная информация: Методы получения и анализа. — М.: Радио и связь, 1982. — 184 с, ил. «
- Логвинов И.И. Имитационное моделирование учебных программ. М., 1980.
- Марченко Е.К. Методы квалиметрии в педагогике. М., 1979.
- Мизинцев В.П. Моделирование и количественные характеристики дидактических объектов: Автореф. канд. дис. М., 1970.
- Микк Я.А. Оптимизация сложности учебного текста. М., 1981.
- Микк Я.А. Оценка учебников формулами трудности текста/ЯТроблемы школьного учебника. М., 1977. Вып. 5.
- Микк Я.А. Теория измерения и оптимизации степени сложности учебного материала в общеобразовательной школе: Автореф.докт. дис. М., 1983.
- МиркинБ.Г. Анализ качественных признаков и структур. М., 1980.
- Михеев В.И. Моделирование и методы теории измерений в педагогике. М., 1987.
- Моисеев В.Б., Пятирублёвый Л. Г., Таранцева К. Р. Системный подход к формированию единого формата образовательного теста // Материалы международной конференция «Информационные технологии в открытом образовании». -М.:Изд-воМЭСР1,2001.-С. 311−315. • • •
- Нейман Ю.М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. — М: Прометей, 2000. — 169 с.
- Никандров Н.Д. Программированное обучение и идеи кибернетики: Анализ зарубежного опыта. М., 1970.
- Объективные характеристики, критерии, оценки и измерения педагогических явлений и процессов / Под ред. А. М. Арсеньева, М. А. Данилова. М., 1973.
- Огорелков В. И. Проблема измерения и оценки знаний учащихся//Сов. педагогика. 1975. № 12.
- Огорелков В.И., Болотник Л. В. Вопросы анализа структуры знаний учащихся и методики составления контрольных работ // Проблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1975. Вып.2.
- Огорелков В.И. Основные направления исследования проблем измерения качества знаний учащихся // Проблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1974. Вып. 1.
- Орлов А.И. Заводская лаборатория. 1995, т.61,№ 3.
- Переверзев В.Ю. Критериально-ориентированное педагогическое тестирование. Учебное пособие. — М: Логос, 2003. — 120с.
- Попов Д.И., Попова Е. Д. Количественные характеристики банков тестовых заданий //Перспективные информационные технологии и интеллектуальные системы (ПИТИС). № 1(21) 2005 г, Таганрог: Изд-во ТРТУ.
- Попов Д.И., Попова Е. Д. Нормативные документы по сертификации тестовых материалов для итоговой аттестации студентов //Утверждены 15.02.04 заместителем руководителя департамента лицензирования, аккредитации и аттестации Минобразования РФ, с. 42.
- Попов Д.И., Попова Е. Д. Подходы к оценке валидности теста при экспертизе банков тестовых заданий //Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004, с.92−95.
- Попов Д.И., Тягунова Т. Н. Попова Е.Д. АСТ-Эксперт // Свидетельство об официальной регистрации программ для ЭВМ № 2 004 612 525 от 15.11.2004. М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам.
- Попова Е.Д. Методика определения размера выборки при экспертизе программно-дидактических тестовых материалов //Мир человека: научн.-. информационное изд., вып.4. — Красноярск: Изд-во СибГТУ, 2003, с.46−50.
- Попова Е.Д. Оценка качества тестовых суждений //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с.172−178.
- Попова Е.Д. Оценка уровня учебных достижений //Известия высших учебных заведений. Проблемы полиграфии и издательского дела № 2'2005,М.:2005.
- Попова Е.Д. Расчет объема выборочной совокупности при тестировании //Перспективные информационные технологии и интеллектуальные системы (ПИТИС). № 4(20) 2004 г, Таганрог: Изд-во ТРТУ, с.84−87, http://pitis.tsure.ru //files20 //pl5.pdf.
- Попова Е.Д. Социальный подход в тестологии //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с. 168−169.
- Попова Е.Д. Способ отбора экспертов при сертификации тестовых материалов //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с.170−171.
- Попова Е.Д., Попов Д. И. Эволюция сознания восприятия тестологии //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с. 178−182.
- Попова Е.Д., Узденов Д. М. Автоматизация экспертной оценки качества тестовых заданий //Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004, с. 109−113.
- Попова Е.Д., Этезов Б. Б., Алексеенко А. А., Сапарова А. Т. Анализ оценки качества системы образования //Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004, с.135−136.
- Почекутов СИ., Савченко Е. Е. Методические основы педагогического тестирования: Учеб. пособие. Красноярск: ИПЦ КГТУ, 2004. 60 с.
- Проблемы '^-педагогической квалиметрии: Межвуз, • сб. тр./Под ред. В. И. Огорелкова. М., 1973, 1975. Вып. 1, 2- То же/Под ред. В. И. Левина. М., 1984.
- Растригин Л.А. Современные принципы управления сложными объектами. -М.: Сов. Радио, 1980.-232 с. ил.
- Розенберг Н.М. Проблема измерений в дидактике. Киев. 1979.
- Сайт Международного комитета стандартов в обучении http://ltsc.ieee.org/
- Сайт с описанием стандартов IMS // http:\www.ims.com.
- Сайт с описанием стандартов IMS и их применения// http :\www. imsproj ect.org.
- Сатаров Г. А., Каменский B.C. Общий подход к анализу экспертных оценок методами неметрического многомерного шкалирования
- С ид ельников Ю. В. Разработка методов повышения качества экспертных оценок: Автореф. канд. дис. М., 1987.
- Сохор A.M. Логическая структура учебного материала. М., 1974.
- Сохор A.M. Сравнительный анализ учебных текстов (на материале учебников физики) //Проблемы школьного учебника. М., 1978. Вып.6.
- Сохор A.M. О методах количественной оценки эффективности учебных обобщений//Сов. педагогика. 1977. № 2.
- Тера-Лексикон: Иллюстрированный энциклопедический словарь. — М.: ТЕРРА, 1998. • •
- Уваров А.Ю. Информационное моделирование как метод дидактических исследований: Автореф. канд. дис. М., 1971.
- Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.388с.
- Фридман Л.М. Логико-психологический анализ школьных учебных задач. М., 1977.
- Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. -М.:Логос, 2002.
- Черепанов B.C. Метод групповых экспертных оценок//Сов. педагогика. 1987. № 5.
- Черепанов B.C. О применении метода ГЭО в дидактических исследованиях//Проблемы педагогических измерений: Межвуз. сб. тр./Под ред. В. И. Левина. М., 1984.
- Черепанов B.C. Экспертные оценки в педагогических исследованиях
- Шварц Г. Выборочный метод. М.: Статистика, 1978.
- Шмерлинг Д.С. и др. Экспертные оценки. Методы и при-, менение (обзор) // Статистические методы анализа экспертных оценок. М., 1977.
- Beals R., Krantz D., Tversky A. Foundations of Multidimensional Scaling. — «Psychological Review», 1968, v.75, N2.
- Berk R.A. Criterion-referenced measurement: The state of art. Baltimor, MD: Johns Hopkins University Press, 1980.
- Carrol J.D. Individual Differences and Multidimensional Scaling. Multidimensional Scaling. Theory and Applications in the Behavioral Science, v. l Theory, N.Y., 1972.
- Cattel J.McK. Mental tests and Measurement. Mind, 1980, 15.
- Coombs C.H., Dawes R.N., Tversky A. Mathematical Psychology N.Y., 1970.
- Extensible Markup Language (XML) 1.0. W3C Recommendation, 10 February, 1998.
- Galton F. Inquiries into Human Faculty and its Development. L., 1883
- IMS Content Packaging Information Model, T. Anderson, M. McKell, A. Cooper and W. Young, C. Moffatt, Version 1.1.2, IMS, August 2001.
- IMS Question & Test Interoperability: Overview, C. Smythe, E. Shepherd, 1. Brewer and S. Lay, Version 1.2, IMS, September 2001.
- McCall W.A. How to Measure in Education. N.Y., 1922
- Pearson, K. (1896). Regression, heredity, and panmixia. Philosophical Transactions of the Royal Society of London, Sen A, 187, 253−318.
- Rasch G. Probablistic Model for- Some Intelligence and -Attainment Tests. Chicago. Univ. of Chicago Press, 1980.
- Roskam E.E. Metric Analysis of Ordinal Data in Psychology. Nijmegem, 1968.
- Spearman С «General intelligence» objectively determined and measured. — American Journal of Psycology, 1904, 15.