Помощь в учёбе, очень быстро...
Работаем вместе до победы

Разработка моделей и алгоритмов оценки качества тестовых материалов

ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Практическая ценность работы. На основании предложенных теоретических разработок создана автоматизированная программа «АСТ-Эксперт» (свидетельство об официальной регистрации программ для ЭВМ № 2 004 612 525 от 15.11.2004. М. Федеральная служба по интеллектуальной собственности, патентам и товарным знакам), что позволило автоматизировать процесс оценки качества тестовых материалов с использованием… Читать ещё >

Содержание

  • 1. АНАЛИЗ ПРОБЛЕМАТИКИ, СУЩЕСТВУЮЩИХ ПОДХОДОВ, НАУЧНЫХ ШКОЛ И НАПРАВЛЕНИЙ
    • 1. 1. Основы культуры тестирования
    • 1. 2. Формирование классической и современной теории тестов
    • 1. 3. Квалиметрия в тестологии
    • 1. 4. Подходы к обработке мнений экспертов
    • 1. 5. Подходы к стандартизации представления тестовых материалов
    • 1. 6. Выводы по главе
  • 2. РАЗРАБОТКА МОДЕЛЕЙ РАСЧЕТА ХАРАКТЕРИСТИК ТЕСТОВЫХ ЗАДАНИЙ И БАНКОВ
    • 2. 1. Методика расчета характеристик тестовых заданий по результатам пробного тестирования
    • 2. 2. Разработка модели выборки тестовых заданий при экспертизе программно-педагогических тестовых материалов
    • 2. 3. Разработка модели расчета объема выборочной совокупности студентов при тестировании
    • 2. 4. Методика расчета надежности теста и погрешности измерения тестового балла
    • 2. 5. Методика расчета критериального балла
    • 2. 6. Методика оценки валидности банка тестовых материалов
    • 2. 7. Разработка модели расчета количественных характеристик БТМ
    • 2. 8. Расчет экономической эффективности при использовании разработанных моделей
    • 2. 9. Выводы по главе
  • 3. РАЗРАБОТКА МЕТОДИКИ СОЗДАНИЯ КАЧЕСТВЕННЫХ ТЕСТОВЫХ. МАТЕРИАЛОВ
    • 3. 1. Эволюция сознания восприятия тестологии
    • 3. 2. Методические рекомендации по организации разработки тестовых материалов
    • 3. 3. Разработка методики оценки качества тестовых материалов
    • 3. 4. Мера трудности, как фактор качества тестовых материалов
    • 3. 5. Разработка методики обработки результатов экспертизы на основе непараметрической статистики
    • 3. 6. Методика расчета количества экспертов для проведения экспертизы тестовых заданий
    • 3. 7. Разработка технологии сертификации качества тестовых материалов
    • 3. 8. Выводы по главе
  • 4. РАЗРАБОТКА АЛГОРИТМОВ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ЭКСПЕРТИЗЫ И СЕРТИФИКАЦИИ ТЕСТОВЫХ МАТЕРИАЛОВ
    • 4. 1. Разработка Интернет-системы проверки корректности формулировок в ТЗ
    • 4. 2. Разработка способов поддержки спецификации IMS QTI
    • 4. 3. Разработка системы Интернет-экспертизы
    • 4. 4. Выводы по главе
  • Общие результаты и
  • выводы

Разработка моделей и алгоритмов оценки качества тестовых материалов (реферат, курсовая, диплом, контрольная)

Актуальность работы. В соответствие с Концепцией модернизации Российского образования на период до 2010 года, принятой Минобразованием РФ в 2002 году (Распоряжение Правительства РФ от 29 декабря 2001 г. № 1756-р, приказ МО РФ № 393 от 11.02.02), «главная задача модернизации образованияобеспечение современного качества образования». Для этого предполагается создание необходимых условий для повышения уровня качества профессионального образования, которые соответствовали бы требованиям к специалистам, необходимым современному обществу. Таким образом, совершенствование качества образования рассматривается в Концепции модернизации Российского образования на период до 2010 года как приоритетная проблема. С другой стороны, в настоящее время существует проблема оценки уровня качества образования в том или ином образовательном учреждении. Эти два направления тесно связаны между собой и в узком смысле могут быть сведены к проблеме объективной оценки уровня учебных достижений студентов высших учебных заведений России. Основными задачами здесь являются методы и методики, позволяющие оценить уровень овладения учащимися учебного материала, умение применять полученные знания для решения задач, способность синтезировать полученные знания, умения и навыки в процессе творчества и саморазвития. В значительной мере решение этих задач может быть получено с применением методов дидактического тестирования, которое выступает в качестве достаточно объективного инструмента оценки достижений. Однако при отсутствии высококачественных тестовых материалов нельзя говорить об объективности оценки качества полученных в образовательном процессе результатов. Поэтому задача обеспечения и оценки качества тестовых материалов, которая исследуется в данной диссертационной работе, является актуальной и направлена на оценку результатов образования[92].

Не секрет, что отношение к науке тестологии у каждого индивидуума может быть кардинально различно. Многие резко осуждают применение тестов в научной и педагогической деятельности, но, не смотря на это большинство высших учебных заведений России внедряют в процесс компьютерное тестирование. Анализ ситуации показывает, что резкое негативное отношение к тестам чаще всего складывается благодаря очень низкому качеству самих банков тестовых заданий, которые являются конгломератом психо-социо-педагогических мыслей составителя. Такие задания справедливо подвергаются резкой критике не только специалистами в предметной области, по которой составлен тест, но и специалистами других областей, которые видят явные ошибки и неточности в составлении самого тестового суждения.

Ученые, исследовавшие данную область на протяжении нескольких десятилетий, пришли к выводу, что наиболее верным решением выхода тестологии из кризисной ситуации неприятия является разработка и применение разработчиками методологических правил при составлении тестов, проведение экспертизы и сертификации тестовых, материалов, а также создание качественных методов обработки результатов тестирования.

Безусловно, переход на новые информационные технологии требует новых решений, доработки и дополнений в существующих теориях. Предоставление простого статического теста с вероятностным предъявлением заданий становится не актуальным. Повышается интерес к адаптивным алгоритмам тестирования, а, следовательно, задача составителя тестов усложняется. Появляются задания разной трудоемкости, требующие реализации в своей формулировке нескольких концептов.

Несмотря на достаточно большой имеющийся теоретический задел, до настоящего времени не было предложено однозначной и обоснованной методики проведения процедуры экспертизы качества тестовых материалов. Поэтому одной из задач данной работы является построение единой методики и технологии для экспертизы тестовых материалов, в которых должны быть предложены подходы к механизмам проведения экспертизы и автоматизации процесса оценки каждого задания из., представленного банка. Кроме того, .в, диссертациошюй. работе рассматривается методика составления качественного тестового суждения, которая интегрирует предложенные ранее способы по повышению качества теста, а также учитывает новые разработки данной диссертации, которые не были исследованы ранее. Все предложенные пункты методологических правил адаптированы автором под автоматизированный процесс представления и обработки банков тестовых заданий.

Целью данной диссертационной работы является разработка моделей и алгоритмов оценки качества тестовых материалов на основе элементов классической и современной теории тестов, методов математической статистики и статистики качеств.

Задачи исследования. В соответствии с поставленной целью требуется решить следующие задачи:

• провести анализ существующих методов оценки качества банков тестовых заданий и методов обработки мнений экспертов;

• разработать модели вычисления характеристик тестовых заданий и банков тестовых материалов;

• создать методику и технологию разработки качественных тестовых материалов;

• разработать технологию сертификации качества тестовых материалов;

• решить практические задачи по проектированию алгоритмов и программного обеспечения экспертизы и сертификации тестовых материалов.

Объектом исследования является область теоретической информатики, обеспечивающая решение актуальной задачи оценки качества объектов произвольной природы, связанная с разработкой моделей и алгоритмов анализа данных, методов взаимодействия информационных процессов и обеспечения информационных потребностей коллективных и индивидуальных пользователей.

Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы классической и современной теории тестов, математической статистики, статистики качеств, элементы квалиметрии. Разработка программ для реализации алгоритмов проведена на языках программирования VBScript, JavaScript по технологии ASP.

Методологической основой исследования являются работы в области теории тестирования, посвященные общим закономерностям разработки тестовых материалов и. обработки результатов тестирования—(трудыА.Анастази[8], В.С.Аванесова[1−2], М.Б.Челышковой[110], В.И.Васильева[24−25−26],.

В.П.Беспалько[14−15] и др.), а также работы по принципам экспертного анализа, квалиметрии и статистической обработки данных (труды Г. Г.Азгальдова[3−4-5], В.С.Черепанова[117], Б.Г.Литвака[61], Р. Джессена[41], В.Ю.Переверзева[78] и др.), в том числе работы по статистике объектов нечисловой природы (В.В.Красильников[58], М. И. Грабарь [37] и др.).

Достоверность полученных результатов подтверждается использованием математических методов теории тестов, математической статистики и статистики качеств, а также практической реализацией и внедрением разработанных методов и алгоритмов.

Научная новизна полученных в данной работе результатов состоит в следующем:

1. Разработаны модели расчета объема случайной выборочной совокупности тестовых заданий при экспертизе и студентов при тестировании, позволяющие осуществлять прогнозирование наличия некачественных заданий в банке тестовых материалов и результаты тестирования студентов в генеральной совокупности с допустимым уровнем верности.

2. Впервые предложена модель расчета коэффициента множественной. конкордации мнений экспертов при оценке качества тестовых, заданий по множеству многомерных факторов на основе теории статистики качеств и разработаны соответствующие этой модели алгоритмы обработки совокупного мнения экспертов.

3. Разработана новая модель для расчета количественных характеристик банков тестовых заданий в условиях различной степени агрессивности субъектов тестирования, позволяющая прогнозировать узнаваемость банков тестовых материалов.

4. Предложены новые методика создания качественных тестовых материалов и технология их сертификации.

5. Впервые предложена классификация этапов эволюции сознания восприятия науки тестологии индивидуумом.

Оценка теоретической значимости результатов работы. Полученные модели и математические алгоритмы являются теоретической основой для создания автоматизированной системы экспертизы и сертификации тестовых материалов для повышения качества банков тестовых, заданий. Нормативные документы и методики по сертификации тестовых материалов применяются для оценки качества банков тестовых заданий, используемых при итоговой аттестации студентов высших учебных заведений.

Практическая ценность работы. На основании предложенных теоретических разработок создана автоматизированная программа «АСТ-Эксперт» (свидетельство об официальной регистрации программ для ЭВМ № 2 004 612 525 от 15.11.2004. М. Федеральная служба по интеллектуальной собственности, патентам и товарным знакам), что позволило автоматизировать процесс оценки качества тестовых материалов с использованием Интернет-технологий. Предложенные методики легли в основу технологии проведения сертификации тестовых материалов Органом сертификации (аттестат аккредитации № РОСС.

RU.0001.11Cni3 от 17.12.03) и испытательной лаборатории (аттестат аккредитации № РОСС RU.0001.21CII35 от 23.09.03).

На защиту выносятся следующие положения:

• модели выборки тестовых заданий при экспертизе программно-педагогических тестовых материалов и расчета объема выборочной совокупности студентов при тестировании;

• модель и алгоритм обработки совокупного мнения экспертов на основе теории статистики качеств;

• модель для расчета количественных характеристик банков тестовых заданий в условиях различной степени агрессивной среды;

• классификация этапов эволюции сознания восприятия науки тестологии индивидуумом;

•технология и алгоритмы проведения сертификации и экспертизы тестовых материалов.

Внедрение результатов. Нормативные документы по сертификации тестовых материалов для итоговой аттестации студентов применяются Федеральной службой по надзору в сфере образования и науки для экспертизы тестовых материалов. Модели и алгоритмы оценки качества тестовых материалов внедрены в Московском государственном университете печати и в AHO «Центр образовательных коммуникаций и тестирования профессионального образования». Результаты работы также использованы при выполнении государственного контракта № 1070(2003;2004гг).

Апробация результатов работы. Основные результаты диссертационной ' - работы обсуждены на Всероссийских конференциях «Развитие методов, и. средств-компьютерного тестирования», Москва, 2004; «Развитие методов и средств компьютерного тестирования», Москва, 2005. Модели и алгоритмы, полученные автором данной работы, использовались в процессе подготовки экспертов по оценке качества банков тестовых материалов, используемых при аттестации высших учебных заведений.

Публикации. Основные работы изложены в 14 научных публикациях. Программное обеспечение официально зарегистрировано в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

Структура и объем диссертации

Диссертационная работа состоит из введения, 4-х глав, заключений по каждой главе, основных результатов, списка использованной литературы и приложений.

6. Результаты работы внедрены на уровне Федеральной службы по надзору в сфере образования и науки, а также в пяти образовательных учреждениях.

Показать весь текст

Список литературы

  1. B.C. Основы научной организации педагогического контроля высшей школы. -М.: Исслед. центр, 1989 г.
  2. B.C. Тесты в социологическом исследовании. Москва. Издательство «Наука», 1982.
  3. Г. Г. Теория и практика качества товаров (основы квалиметрии). М.: Экономика, 1982.-256 с.
  4. ГГ., Райхман Э. П. О квалиметрии. Издательство стандартов, 1972.
  5. Н.Г. г Методические проблемы проведения массовых обследований уровня знания учащихся: статика и динамика/ЯТроблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1973. Вып.1.
  6. Анализ нечисловой информации в социологических исследованиях. М., 1985.
  7. А. Психологическое тестирование: Пер. с англ. М., 1982. Т. 1./2.
  8. СИ., Михеев В. И., Перельцвайг Ю. М. Вопросы измерения, анализа и оценки результатов в педагогических исследованиях. М., 1975.
  9. СИ. Учебный процесс в высшей школе, его закономерные основы и методы. М., 1980.
  10. СИ., Михеев В. И. Теоретические основы научной организации педагогических исследований. М., 1976.
  11. СИ., Михеев В. И., Перельцвайг Ю. М. Вопросы измерения, анализа и оценки результатов в педагогических исследованиях. М., 1975.
  12. Р. и др. Введение в математическую теорию обучения. М., 1969.
  13. В.П. Основы теории педагогических систем. Воронеж, 1977.
  14. В.П. Теория учебника: Дидактический аспект. М.:Педагогика, 1988.
  15. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М., 1980
  16. .В., Геллер Е. Ф. Кибернетика в гуманитарных науках. М., 1973.
  17. Л.В., Соколова М. А. Выделение объектов проверки на основе структурирования учебного материалаУ/Совершенствование проверки знаний и умений учащихся / Под ред. Р. Ф. Кривошаповой. М., 1979.
  18. Л.В., Соколова М. А. Тематическая модель структуры з^ебного материала // Проблемы педагогических измерений: — Межвуз. сб. тр. / Под ред. В. И. Левина. М., 1984.
  19. Буш Р. В., Мостеллер Ф. Стохастические модели обучаемости. М., 1962.
  20. В.И., Демидов А:Н., Малышев Н. Г., Тягунова Т. Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000. С 30−52.
  21. В.И., Красильников В. В. и др. Оценка качества деятельности образовательного учреждения / М.: Издательство ИКАР, 2005. — 320с.
  22. В.И., Красильников В. В., Плаксий СИ., Тягунова Т. Н. Статистический анализ многомерных объектов произвольной природы, Москва, изд. ИКАР, 2004 С147−258.
  23. В.И., Тягунова Т. Н. Культура компьютерного тестирования. / В5ти частях. М.: МГУП, 2002.
  24. В.И., Тягунова Т. Н. Основы культуры адаптивного тестирования. — М.: Издательство ИКАР, 2003. — 584 с.
  25. В.И., Тягунова Т. Н. Теория и практика формирования программно-дидактических тестов. — М.: Изд-во МЭСИ, 2001.
  26. Н.Е. Выборочный метод в аудите. // Банковский р’яд, весна 2000(1). (http://www.apko.ni/head/vasil000300.html)
  27. П.Н. Проблемы применения методов тео’рии вероятностей и математической статистики в педагогической теории и практике: Автореф. докт. дис. Киев, 1977.
  28. Ю.П. Методы сбора информации в социологическом исследовании. М., 1974.
  29. СИ. Об использовании метода тестов при учете успеваемости школьников//Сов. педагогика. 1963. № 10.
  30. ТА. Червинская К. Р. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992. 200 с.
  31. Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс. 1976−495 с.
  32. М.И. Об одном алгоритме получения количественной оценки знаний учащихся//Сов. педагогика. 1981. № 5.
  33. М.И. Применение компонентного анализа для обработки результатов контрольных работ и анкетирования//Проблемы педагогических измерений: Сб. научных трудов / Под ред. В. И. Левина.М.-1984. '^^••- •:. .. .
  34. М.И. Применение математических моделей для исследования латентных факторов, влияющих на результаты обучения//Сов. педагогика. 1979. № 10.
  35. М.И., Краснянская К. А. Применение математической статистики в педагогических исследованиях: Непараметрические методы. М., 1977.
  36. Е.А. Оценивание как метод педагогического исследования: Автореф. канд. дис. Л., 1974.
  37. В.В. Формы мышления. //Соционика, ментология и психология личности, N 4, 2002 (http://socionicsl6.narod.rii/t/gul-402.html).
  38. Н.Д. Особенности применения методов многомерного статистического анализа в педагогическом исследовании: Автореф. канд. дис. Л., 1973.
  39. Р. Методы выборочных обследований. М.: Финансы и статистика, 1985.
  40. Джефри Вялфорд. Современная типология педагогических тестов.
  41. Э.П., Вепхвадзе А. А. Кибернетика и проблемы обучения. Тбилиси, 1981.
  42. .З. О надежности измерения в социологическом исследовании. Д., 1979.
  43. Н.К. Выборочный метод и его применение в социально- экономических исследованиях. М.: Статистика, 1970.
  44. В.А. К вопросу о природе языка. — Вопр. философии, 1979, № 11,с.75.
  45. А.Г. Методология и процедура социологических исследований. М., 1969.
  46. Измерение знаний при проведении массовых обследозаний: Методические рекомендации / Сост. Л. В. Болотник. М., 1984.
  47. Информационное письмо № 14−55−681ин/15 о сертификации качества педагогических тестовых материалов от 13.11.2000 // Министерство Образования Российской Федерации. — 2000.
  48. Л.Б. Математические и кибернетические методы в педагогике. М., 1964.
  49. Л.Б. Об использовании математических и кибернетических методов в педагогических исследованиях // Сов. педагогика. 1962. № 4.
  50. B.C. -Методы «обработки/ порядковой информации: неметрическое многомерное шкалирование. (Обзор). — В кн.: Многомерный статистический анализ в социально-экономических исследованиях. М., «Наука», 1974.
  51. М. Ранговые корреляции. М., 1978.
  52. Кибернетика и педагогика / Под ред. Дж. Ушшерн: Пер. с англ. М., 1972.
  53. Ким Дж.-О., Мьюллер Ч. У., Клекка У. Р., Олдендерфор М. С, Блэшфилд Р. К. Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989.
  54. Н.Н. Групповые экспертные оценки. М., 1975.
  55. В.Г. Выборочные методы. М.: Статистика, 1976.
  56. В.В. Статистика объектов нечисловой природы. — Наб. Челны: Изд-во Камского политехнического института, 2001. 144 с.
  57. Н.В. и др. Методы системного педагогического исследования. Л., 1982.
  58. А.В. Вопросы оценки качества контрольных работ // Проблсхмы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1974. Вып. 1.
  59. .Г. Экспертная информация: Методы получения и анализа. — М.: Радио и связь, 1982. — 184 с, ил. «
  60. И.И. Имитационное моделирование учебных программ. М., 1980.
  61. Е.К. Методы квалиметрии в педагогике. М., 1979.
  62. В.П. Моделирование и количественные характеристики дидактических объектов: Автореф. канд. дис. М., 1970.
  63. Я.А. Оптимизация сложности учебного текста. М., 1981.
  64. Я.А. Оценка учебников формулами трудности текста/ЯТроблемы школьного учебника. М., 1977. Вып. 5.
  65. Я.А. Теория измерения и оптимизации степени сложности учебного материала в общеобразовательной школе: Автореф.докт. дис. М., 1983.
  66. МиркинБ.Г. Анализ качественных признаков и структур. М., 1980.
  67. В.И. Моделирование и методы теории измерений в педагогике. М., 1987.
  68. В.Б., Пятирублёвый Л. Г., Таранцева К. Р. Системный подход к формированию единого формата образовательного теста // Материалы международной конференция «Информационные технологии в открытом образовании». -М.:Изд-воМЭСР1,2001.-С. 311−315. • • •
  69. Ю.М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. — М: Прометей, 2000. — 169 с.
  70. Н.Д. Программированное обучение и идеи кибернетики: Анализ зарубежного опыта. М., 1970.
  71. Объективные характеристики, критерии, оценки и измерения педагогических явлений и процессов / Под ред. А. М. Арсеньева, М. А. Данилова. М., 1973.
  72. В. И. Проблема измерения и оценки знаний учащихся//Сов. педагогика. 1975. № 12.
  73. В.И., Болотник Л. В. Вопросы анализа структуры знаний учащихся и методики составления контрольных работ // Проблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1975. Вып.2.
  74. В.И. Основные направления исследования проблем измерения качества знаний учащихся // Проблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1974. Вып. 1.
  75. А.И. Заводская лаборатория. 1995, т.61,№ 3.
  76. В.Ю. Критериально-ориентированное педагогическое тестирование. Учебное пособие. — М: Логос, 2003. — 120с.
  77. Д.И., Попова Е. Д. Количественные характеристики банков тестовых заданий //Перспективные информационные технологии и интеллектуальные системы (ПИТИС). № 1(21) 2005 г, Таганрог: Изд-во ТРТУ.
  78. Д.И., Попова Е. Д. Нормативные документы по сертификации тестовых материалов для итоговой аттестации студентов //Утверждены 15.02.04 заместителем руководителя департамента лицензирования, аккредитации и аттестации Минобразования РФ, с. 42.
  79. Д.И., Попова Е. Д. Подходы к оценке валидности теста при экспертизе банков тестовых заданий //Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004, с.92−95.
  80. Д.И., Тягунова Т. Н. Попова Е.Д. АСТ-Эксперт // Свидетельство об официальной регистрации программ для ЭВМ № 2 004 612 525 от 15.11.2004. М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам.
  81. Е.Д. Методика определения размера выборки при экспертизе программно-дидактических тестовых материалов //Мир человека: научн.-. информационное изд., вып.4. — Красноярск: Изд-во СибГТУ, 2003, с.46−50.
  82. Е.Д. Оценка качества тестовых суждений //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с.172−178.
  83. Е.Д. Оценка уровня учебных достижений //Известия высших учебных заведений. Проблемы полиграфии и издательского дела № 2'2005,М.:2005.
  84. Е.Д. Расчет объема выборочной совокупности при тестировании //Перспективные информационные технологии и интеллектуальные системы (ПИТИС). № 4(20) 2004 г, Таганрог: Изд-во ТРТУ, с.84−87, http://pitis.tsure.ru //files20 //pl5.pdf.
  85. Е.Д. Социальный подход в тестологии //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с. 168−169.
  86. Е.Д. Способ отбора экспертов при сертификации тестовых материалов //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с.170−171.
  87. Е.Д., Попов Д. И. Эволюция сознания восприятия тестологии //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.:Изд-во МГУП, 2005, с. 178−182.
  88. Е.Д., Узденов Д. М. Автоматизация экспертной оценки качества тестовых заданий //Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004, с. 109−113.
  89. Е.Д., Этезов Б. Б., Алексеенко А. А., Сапарова А. Т. Анализ оценки качества системы образования //Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004, с.135−136.
  90. СИ., Савченко Е. Е. Методические основы педагогического тестирования: Учеб. пособие. Красноярск: ИПЦ КГТУ, 2004. 60 с.
  91. Проблемы '^-педагогической квалиметрии: Межвуз, • сб. тр./Под ред. В. И. Огорелкова. М., 1973, 1975. Вып. 1, 2- То же/Под ред. В. И. Левина. М., 1984.
  92. Л.А. Современные принципы управления сложными объектами. -М.: Сов. Радио, 1980.-232 с. ил.
  93. Н.М. Проблема измерений в дидактике. Киев. 1979.
  94. Сайт Международного комитета стандартов в обучении http://ltsc.ieee.org/
  95. Сайт с описанием стандартов IMS // http:\www.ims.com.
  96. Сайт с описанием стандартов IMS и их применения// http :\www. imsproj ect.org.
  97. Г. А., Каменский B.C. Общий подход к анализу экспертных оценок методами неметрического многомерного шкалирования
  98. С ид ельников Ю. В. Разработка методов повышения качества экспертных оценок: Автореф. канд. дис. М., 1987.
  99. A.M. Логическая структура учебного материала. М., 1974.
  100. A.M. Сравнительный анализ учебных текстов (на материале учебников физики) //Проблемы школьного учебника. М., 1978. Вып.6.
  101. A.M. О методах количественной оценки эффективности учебных обобщений//Сов. педагогика. 1977. № 2.
  102. Тера-Лексикон: Иллюстрированный энциклопедический словарь. — М.: ТЕРРА, 1998. • •
  103. А.Ю. Информационное моделирование как метод дидактических исследований: Автореф. канд. дис. М., 1971.
  104. Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.388с.
  105. Л.М. Логико-психологический анализ школьных учебных задач. М., 1977.
  106. М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. -М.:Логос, 2002.
  107. B.C. Метод групповых экспертных оценок//Сов. педагогика. 1987. № 5.
  108. B.C. О применении метода ГЭО в дидактических исследованиях//Проблемы педагогических измерений: Межвуз. сб. тр./Под ред. В. И. Левина. М., 1984.
  109. Черепанов B.C. Экспертные оценки в педагогических исследованиях
  110. Г. Выборочный метод. М.: Статистика, 1978.
  111. Д.С. и др. Экспертные оценки. Методы и при-, менение (обзор) // Статистические методы анализа экспертных оценок. М., 1977.
  112. Beals R., Krantz D., Tversky A. Foundations of Multidimensional Scaling. — «Psychological Review», 1968, v.75, N2.
  113. Berk R.A. Criterion-referenced measurement: The state of art. Baltimor, MD: Johns Hopkins University Press, 1980.
  114. Carrol J.D. Individual Differences and Multidimensional Scaling. Multidimensional Scaling. Theory and Applications in the Behavioral Science, v. l Theory, N.Y., 1972.
  115. Cattel J.McK. Mental tests and Measurement. Mind, 1980, 15.
  116. Coombs C.H., Dawes R.N., Tversky A. Mathematical Psychology N.Y., 1970.
  117. Extensible Markup Language (XML) 1.0. W3C Recommendation, 10 February, 1998.
  118. Galton F. Inquiries into Human Faculty and its Development. L., 1883
  119. IMS Content Packaging Information Model, T. Anderson, M. McKell, A. Cooper and W. Young, C. Moffatt, Version 1.1.2, IMS, August 2001.
  120. IMS Question & Test Interoperability: Overview, C. Smythe, E. Shepherd, 1. Brewer and S. Lay, Version 1.2, IMS, September 2001.
  121. McCall W.A. How to Measure in Education. N.Y., 1922
  122. , K. (1896). Regression, heredity, and panmixia. Philosophical Transactions of the Royal Society of London, Sen A, 187, 253−318.
  123. Rasch G. Probablistic Model for- Some Intelligence and -Attainment Tests. Chicago. Univ. of Chicago Press, 1980.
  124. Roskam E.E. Metric Analysis of Ordinal Data in Psychology. Nijmegem, 1968.
  125. Spearman С «General intelligence» objectively determined and measured. — American Journal of Psycology, 1904, 15.
Заполнить форму текущей работой