Предмет  математики  настолько  серьезен,

что  полезно  не упускать  случая  сделать его

немного  занимательным.

(Блез Паскаль)

Необходимость адаптации образования к потребностям современного общества обусловливает поиск научно обоснованных оценок качества образования и наблюдения за процессами его развития. Важнейшим условием повышения качества общего образования являются систематический контроль и анализ объективных данных о качестве обучения и подготовленности обучающихся. Процесс управления качеством образования может быть эффективным только при наличии постоянной обратной связи, обеспечивающей субъектов образования надежной валидной информацией о качестве всей системы образования и ее составляющих. Однако такая связь в практике образования пока еще организована слабо. Только в последнее время исследуются отдельные компоненты: мониторинга: диагностика, моделирование, прогнозирование, компьютерная поддержка.

Анализ литературы по данной проблеме позволил сделать вывод, что само понятие мониторинга трансформировалось от более общего – «проверка и учет знаний учащихся», количественного – «оценка знаний и умений», к более жесткому – «контроль и учет знаний и умений», далее к неопределенному – «отслеживание учебных достижений учащихся» – и более диагностичному – «измерение уровня достижения учащимися образовательного стандарта» – и, наконец, к современным понятиям – «диагностика качества образования», «образовательный мониторинг», «экспертиза качества образования», «квалиметрический мониторинг». Анализ частоты использования тех или иных понятий позволяет выделить наиболее употребимые из них при характеристике мониторинга: система, наблюдение, анализ, прогнозирование, диагностика состояния объекта или процесса, экспертиза.

Диагностика (от греч. diagnostikos – способность распознавать) – средство выявления результатов обучения и практика оценивания качества учебно–воспитательной деятельности, состояния педагогических процессов и явлений, а также дифференцированная процедура получения информации о ряде показателей, критериев, признаков, качеств, отнесение их к определенному классу, в результате чего получается достаточно полное представление о реальном состоянии отдельных параметров качества образования. Как отмечает И.П. Подласый, «диагностика должна быть индикатором качества – категорическим определителем успеваемости обучаемого или, наоборот, должна существовать как показатель преимуществ или недостатков той или иной системы» [143]. В последние годы диагностика качества образования стала превращаться в относительно самостоятельную, быстро развивающуюся отрасль педагогической науки и образовательной практики. Диагностика, оценка состояния и возможностей системы позволяют определяться в выборе стратегии управления качеством образования. Основную задачу диагностики как научного направления Б.П. Битинас и Л.И. Катаева видят в определении оптимальной совокупности непосредственно фиксируемых показателей состояния педагогических явлений и процессов, где каждый отдельно взятый показатель только с некоторой вероятностью свидетельствует об этом состоянии [20]. С этих позиций в современной педагогической литературе чаще используется понятие «диагностика качества образования» – «диагностирование», которое рассматривается как «деятельность по установлению и изучению признаков, характеризующих состояние каких–либо систем, для предсказания возможных отклонений и предотвращения нарушений нормального режима их работы» [125].

Объектом мониторинга и диагностических исследований, как правило, является педагогическая система. Основными элементами педагогической системы являются обучающийся, цели образования, содержание образования, дидактические процессы, организационные формы, педагоги, опосредующие их деятельность технические средства и др. [18, 19]. Для анализа состояния педагогической системы необходима научно обоснованная экспертная оценка результатов диагностических наблюдений.

Экспертные методы на основе мониторинговьгх исследований широко используются в различных сферах человеческой деятельности: в планировании, в управлении, в технике, в научных исследованиях, в педагогике. Спектр использования этих методов увеличивается при оценке качества обучения, организации проф–ориентационной работы, отборе задач и заданий. Общие вопросы использования экспертных методов в педагогических исследованиях отражены в работах В.П. Беспалько, Н.В. Галицыгной,

Б.С. Гершунского, Н.Н. Катаева, Э.Г. Скибицкого, М.Е. Тарасовой, В.С. Черепанова и др.

До недавнего времени экспертиза осуществлялась исключительно с помощью экспертов – специалистов, компетентных в решении исследуемой задачи. Экспертиза (от лат expertus – опытный) представляет собой исследование какого–либо вопроса, требующего специальных знаний, с предоставлением мотивированного заключения. Экспертная оценка позволяет получать необходимую информацию об исследуемом объекте и его развитии от компетентных лиц или экспертов. При этом качества эксперта определяются такими понятиями, как компетентность (профессиональная и квалиметрическая), заинтересованность, креативность как способность эксперта решать творческие задачи, деловитость, аналитичность, конструктивность, широта мышления [13, 204]. Кроме того, для экспертизы очень важной составляющей является также правильная интерпретация результатов. Сочетание таких свойств указывает на требование высокой квалификации эксперта, что далеко не всегда реализуется в образовательной практике, а поэтому часто экспертные заключения приводят к неверным оценкам.

Практическая реализация диагностических наблюдений и экспертных оценок осуществляется через систему мониторинга. С.Е. Шишов и В.А. Кальней мониторинг качества образования рассматривают как систематическую и регулярную процедуру сбора данных по важным образовательным аспектам на национальном и местном (включая школы) уровнях, используемую для эффективного управления учебно–воспитательным процессом [211]. Согласно А.Н. Майорову, это «постоянное наблюдение за каким–либо процессом с целью выявления его соответствия желаемому результату или исходному положению» [117]. Образно говоря, мониторинг представляет собой ««градусник», позволяющий измерять температуру объекта» [147].

Для получения положительных изменений в образовании должно быть создано удобное для практического использования диагностическое средство, позволяющее с достаточной достоверностью судить об истинном состоянии объекта. Создание надежных инструментов диагностики качества образования возможно на основе таких технологий оценки, как педагогическая квалиметрия и мониторинг. Мониторинговые методы активно используются как современный подход к анализу качества образования и его комплексных характеристик, способности субъекта или образовательной системы развиваться и совершенствоваться.

Еще не создана устойчивая система классификации различных видов и уровней мониторинга, пока только можно говорить о существовании его локальных систем как в нашей стране, так и в других странах [48, 49, 78, 84, 113, 211, 228, 238]. В большинстве случаев мониторинг качества образования разделяется на два вида: мониторинг качества образовательной деятельности и мониторинг качества учебных достижений обучающихся.

Постоянный мониторинг качества образовательного процесса и его результатов становится особенно актуальным в условиях модернизации всей образовательной системы, развития федеральной системы тестирования и введения единого государственного экзамена. Создание информационных баз данных о состоянии всех элементов системы позволяет проводить различные виды анализа (корреляционный, дисперсионный, факторный, сравнительный, динамический, дидактический и др.) и делать выводы об эффективности функционирования всей образовательной системы, составляющих ее подсистем, выбирать направления и способы управления ими [58, 63].

Образовательный мониторинг рассматривается как метод повышения эффективности управления, исследования реальных параметров и характеристик объектов и субъектов обучения, воспитания и развития, как способ накопления результатов, позволяющий сопоставлять их, анализировать и строить прогноз развития отдельного субъекта образовательного процесса и педагогической системы. Под мониторингом понимается комплекс исследовательских процедур, позволяющих независимыми методами по большому спектру показателей выявлять количественно характер качественных изменений изучаемого объекта за определенный период времени. Выделяются его направления: социологический, педагогический, психологический, валеологический, воспитательный и управленческий.

Педагогический мониторинг включает в себя дидактический и воспитательный. Основные задачи педагогического мониторинга – оценка знаний, умений и навыков (в более широком смысле – учебных достижений) и соотнесение их уровня с заданным эталоном (стандартом) или статистическими нормами. Разносторонняя информация, обеспечиваемая педагогическим мониторингом, способствует повышению уровня взаимодействия между различными субъектами образовательного процесса, создает условия самооценки и самоидентификации, самовоспитания и саморазвития для этих субъектов. В таком случае можно говорить также о комплексном мониторинге, обеспечивающем выявление основных характеристик системы и ее подсистем. В этой связи возникает необходимость педагогическую диагностику рассматривать не только как средство и практику выявления состояния образовательной системы и качества образовательной деятельности, причин ее успехов и неудач, но и как направление исследований, нацеленных на разработку современных средств и методов оценки качества образования.

В деятельности образовательного учреждения результаты педагогического мониторинга являются основой для управленческого мониторинга, так как только на основе педагогически значимой информации возможно целенаправленное управление деятельностью субъектов образовательного процесса и качеством образовательных систем. Можно добавить такие реже встречающиеся понятия, как мониторинг качества учебной подготовки учащихся, мониторинг качества образовательных услуг, мониторинг обучения (наблюдение за состоянием педагогического процесса), мониторинг качества образования и др.

Основными функциями мониторинга в образовании являются интегративная (комплексная), диагностическая, сравнительная (компаративистская), экспертная, информационная, прагматическая, прогностическая. Сами названия достаточно определенно указывают на смысл и значение этих функций. Хорошо организованный мониторинг «вписывается в алгоритм маркетинговых услуг в образовании, обеспечивая информационную стабильность и предотвращая дефицит информации, необходимой для принятия управленческих решений» [147].

С процедурами мониторинга и диагностики тесно связано понятие контроля. Возможность реализации различных видов мониторинга зависит от степени развитости соответствующих систем контроля. Контроль чаще всего ассоциируется с процедурами измерения и оценки результатов учебно–познавательной деятельности обучающихся, а системообразующим звеном всех видов мониторинга является педагогический мониторинг. Поэтому будем иметь в виду, что в комплексный мониторинг качества российского образования могут быть включены обучаемые, обучающие, образовательные учреждения, образовательные системы, а предметом его оценки в первую очередь являются учебные достижения обучающихся как определяемая в результате контроля мера соответствия достигнутого уровня норме – требованиям государственных образовательных стандартов, статистической норме, а также запросам потребителей. Проверка, контроль, измерение уровня достигнутого качества учебных достижений предполагают в основном получение количественной информации, в том числе и о результатах деятельности образовательной системы на основе длительного наблюдения и анализа статистических результатов. На основании такой информации проводятся качественный анализ, формулирование выводов, поиск и принятие управленческих решений по совершенствованию образовательного процесса и условий его осуществления.

Недостатками традиционной системы контроля для организации мониторинга являются стихийность, нерациональное использование способов контроля, отсутствие дидактической направленности, игнорирование характерных особенностей материала предмета и условий работы, отсутствие систематичности, единых средств и критериев оценивания, субъективность, недостаточная разработанность приемов контроля [169]. Чаще всего диагноз уровня знаний и умений обучающегося, достижения им образовательного стандарта в традиционной системе строится на качестве его ответа отдельному преподавателю или комиссии по отдельным 3—5 вопросам. Состояние педагогических процессов выявляется не только по отдельным показателям, но еще и по несопоставимым данным для разных объектов одного и того же ряда. Как правило, анализируются данные разного свойства, полученные на основе субъективных оценок в разное время наблюдения, не соответствующее адекватности состояния исследуемых объектов. Выводы, сделанные на основе таких оценок, не отображают истинное состояние исследуемых объектов, а поэтому не способствуют выявлению их качества. Такой способ не дает полного представления о состоянии объекта, не позволяет сравнивать между собой показатели исследуемых объектов однотипных рядов.

До настоящего времени традиционые подходы к оценке результативности педагогической деятельности все еще остаются тормозом в развитии системы образования. Они противоречат общим тенденциям реформирования и развития образовательного процесса. Сами формы и методы педагогической диагностики пока еще не стали предметом систематического анализа и специально организованных исследований; недостаточно развита методологическая и методическая базы, отсутствуют стандартные программы для диагностики качества образования на основе регулярного сбора и статистической обработки результатов.

Данные теоретических исследований и практики свидетельствуют, что «экспертные суждения, при соблюдении правильной методологии их получения, содержат в себе достаточно достоверную информацию, использование которой позволяет принимать вполне обоснованные решения» [204]. Здесь следует помнить о специфичности педагогических объектов и явлений. Особенность этих подходов в образовании обусловлена также и тем, что под образованием понимаются и процесс, и результат обучения [5]. Смешение этих понятий приводит к тому, что иногда комплекс образовательных услуг приравнивается к уровню подготовленности обучающихся и способам оценки этого уровня. Поэтому предлагается проводить разграничение понятий «обеспечение качества» и «гарантия качества». В современном понимании качество образовательных услуг, а не знания и умения обучающихся является продукцией образовательных учреждений (а соответственно, и педагогов). Однако именно по качеству подготовленности обучающихся или уровню их учебных достижений как измеряемому параметру чаще всего делаются выводы о качестве образовательных учреждений и качестве предоставляемых ими услуг.

Вместе с тем в полной мере оценки обучающихся еще не являются оценками качества образовательных услуг, тем более когда речь идет о единичных оценочных процедурах. Иногда руководители образовательных учреждений или органов управления образованием делают выводы о квалификации педагога или образовательного учреждения на основании только одноразовых контрольно–оценочных процедур (централизованное тестирование, единый государственный экзамен, олимпиады и др.). Это является неверным по сути, так как может дать искаженную информацию о качестве образовательной системы; такой подход отпугивает педагогов от нововведений и снижает их заинтересованность в получении независимой оценки знаний своих учеников.

Пути объективизации контроля связаны с совершенствованием и стандартизацией способов измерения учебных достижений обучающихся, с широким использованием информационных технологий для накопления и анализа результатов контроля [68, 146, 220].

В силу складывающихся в стране изменений контрольно–оценочной системы появляются условия для получения и накопления статистической образовательной информации (образовательной статистики), основанной на универсальных педагогических измерениях уровня учебных достижений. Качество образовательных систем и образовательного процесса с достаточной достоверностью можно выявить только путем длительного квалиметрического мониторинга, накопления и анализа статистических результатов о качестве знаний, умений и навыков обучающихся. Это значит, что путем педагогических измерений, средствами и технологиями массового независимого тестирования, проводимого в стандартизированных условиях и стандартизированными контрольно–измерительными материалами, только с течением времени можно с достаточно большой степенью точности по статистическим характеристикам определять качественные параметры образовательной системы и ее составляющих по количественным оценкам. Это обусловливает необходимость формирования концепции нового вида мониторинга – квалиметрического многоуровневого – и предопределяет направления его развития.

Основной целью квалиметрического мониторинга в образовании являются создание условий для формирования целостного представления о состоянии образовательной системы, качественных и количественных изменениях ее составляющих, получение научно обоснованных выводов о функционировании той или иной системы или объекта, накопление статистических результатов внешнего контроля за деятельностью субъекта наблюдения, обоснование требуемых мер для достижения планируемого качества. Важной целью является обеспечение всех субъектов образовательного процесса объективной и достоверной образовательной информацией путем наблюдения, сбора, накопления, анализа, диагностики и экспертизы количественных показателей учебных достижений обучающихся [55, 119, 159, 177].

Эта цель естественным образом обусловливается современным этапом всей образовательной системы в условиях ее реформирования и изменения принципов организации контрольно–оценочного процесса в связи с проведением эксперимента по введению единого государственного экзамена в стране. Новые приоритеты в обществе и образовании, вариативность образовательных программ и форм получения образования, методов и технологии обучения обусловливают значительную дифференциацию уровня подготовленности и развития обучающихся. В условиях широкого использования тестового контроля в образовании появляются возможности и потребности организации и функционирования многоуровневого квалиметрического мониторинга (МКМ) для получения оперативной, валидной и разносторонней образовательной информации.

Его создание и функционирование в системе образования непосредственно связано с изменениями, происходящими в обществе, появлением необходимых условий, финансовых и материально–технических возможностей для организации новых видов информационного мониторинга. Одной из задач многоуровневого квалиметрического мониторинга становится обеспечение образовательных учреждений постоянным потоком сопоставимой образовательной информации о качестве подготовленности обучающихся. Современные технологии позволяют организовать квалиметрический мониторинг как наиболее информативный и современный способ наблюдения за развитием образовательного процесса. Полученные методами тестирования данные об уровне учебных достижений школьников не зависят от состава аттестационных комиссий и установок органов управления образованием. Такие результаты соответствуют определенной точности измерений, дифференцирующей способности, надежности и другим квалиметрическим показателям измерений знаний обучаемых. В системе такого мониторинга возможны упорядочение, систематизация и представление в удобной форме объективной образовательной информации.

Он становится важнейшим инструментом и методом выявления достоинств и недостатков различных обучающих программ и компонентов образовательной системы, средством управления качеством образования на всех его иерархических уровнях. К педагогическому тестированию как методу измерения, используемому для квалиметрического мониторинга и объективизации диагностики качества образования, наиболее применимо понятие «индикатор» (от лат. indicator – указатель).

Мониторинг качества учебных достижений средствами педагогического тестирования ориентирован, с одной стороны, на точное отражение в тестах современного содержания образования и требований образовательных стандартов, а с другой – на возможность стандартизированного измерения знаний, умений и навыков во всем комплексе их качественных характеристик:

• полноты, т.е. количества всех знаний об изучаемом объекте, предусмотренных программой (стандартом), запросами потребителей и др.;

• глубины, т.е. осознанных существенных связей данного знания с другими, с ним соотносящимися;

• оперативности, т.е. применения знаний в сходных и вариативных ситуациях за счет умения анализировать, обобщать, интегрировать и дифференцировать общепредметные знания и умения;

• гибкости, т.е. быстроты нахождения вариативных способов применения знания при изменении ситуаций;

• конкретности и обобщенности, т.е. способности к раскрытию конкретных проявлений обобщенного знания или подведению конкретных знаний под обобщенные;

• свернутости и развернутости, т.е. способности, с одной стороны, выразить знания компактно, уплотненно, а с другой – раскрыть систему и последовательность шагов, ведущих к сжатию или свертыванию знаний;

• систематизированности, т.е. осознания состава некоторой совокупности знаний, их иерархии и взаимосвязанной последовательности, осознания необходимости наличия одних знаний как базы для усвоения других;

• адекватности, т.е. такой совокупности знаний в сознании учащихся, структура которых соответствует структуре научной теории и этапу обучения;

• осознанности, т.е. понимания связей между знаниями, путей получения и закрепления знаний, умения их предъявлять и доказывать.

Особенностью квалиметрического мониторинга является использование данных массового тестирования и статистических методов анализа результатов как одного из направлений теории статистических выводов в педагогике. Следует отметить, что максимальный эффект такой мониторинг может дать при комплексном использовании теории педагогических измерений, теории моделирования и методов математической статистики. Понятно, что строгие количественные измерения без дальнейшей статистической обработки и построения соответствующей модели оценки качества бессмысленны. Взаимно дополняя и обогащая друг друга, эти теории позволяют представить состояние исследуемого объекта в большей полноте и целостности. Важнейшим в этом перечне является применение методов математической статистики, подразделяющейся на два направления: описательную статистику и теорию статистического вывода. При этом, как известно, для описания педагогических объектов давно и активно используются средний балл, дисперсия, различные показатели корреляции и др. Теория статистического вывода применяется значительно реже, хотя, по мнению Е.В. Яковлева, «именно она является наиболее мощным аппаратом исследования в педагогике» [223].

Таким образом, квалиметрический мониторинг следует понимать как непрерывное (на постоянной основе) стандартизированное наблюдение за образовательным процессом и деятельностью образовательной системы (ее подсистем) посредством педагогических измерений, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменения субъектов образования и состояния образовательной системы, определять направления их развития. Этот вид мониторинга включает совокупность методов, алгоритмов организации и технологических средств, а также содержательно–аналитическую интерпретацию мониторинговых наблюдений за образовательным процессом и его результатами на основе количественной информации, полученной средствами и методами педагогических измерений. Результаты таких контрольно–оценочных процедур обладают одинаковым свойством, относятся к адекватным по времени состояниям обучающихся и образовательных систем, а поэтому обеспечивают условия для реализации квалиметрического мониторинга как современного и перспективного средства управления качеством образования.

Концептуально такой вид мониторинга обеспечивает объективность характеристик исследуемых объектов на основе использования данных образовательной статистики тестового контроля как процедуры массового обследования однотипных объектов в стандартизированных условиях. Квалиметрический подход, в отличие от традиционного, позволяет извлечь максимум объективной информации из полученных количественных оценок и с математической точностью оценить состояние исследуемых объектов.

Его многоуровневый характер определяется совокупностью объектов наблюдения, методик, процессов и ресурсов, необходимых для сбора и накопления данных, методами анализа результатов, выработки рекомендаций и представления образовательной информации в сети Интернет с целью воздействия для получения положительных тенденций развития и результатов обучения с заданными свойствами, характеристиками, параметрами.

Принципиальное отличие многоуровневого квалиметриче–ского мониторинга от традиционного заключается в использовании таких технологий контроля, которые ориентированы не на субъективные оценочные механизмы локального применения, а на современные объективизированные (дистанцированные от учителя) оценочные процедуры, удовлетворяющие требованиям объективности, сопоставимости и репрезентативности оценок. Концепция комплексного многоуровневого квалиметрического мониторинга качества образовательных систем и образовательного процесса достаточно хорошо вписывается в систему современного маркетинга образовательных услуг.

Принципы его организации и функционирования опираются на теорию IRT при получении образовательной статистики, информационные технологии накопления и обработки данных, сравнение показателей качества исследуемых объектов со статистическими нормами.

В работах по системному анализу и опыту системного исследования [14, 118, 148, 160] отображена совокупность принципов, лежащих в основе функционирования сложных систем, – системность, моделируемость и автономность, целенаправленность, объективность и неопределенность, согласованность, коммуникативность и технологичность, информативность, интегративность и дифференцируемость, действие, развитие, управляемость и непротиворечивость. Эти принципы с учетом условий полноты получения информации и эффективности ее воздействия на образовательный процесс характерны и для многоуровневого ква–лиметрического мониторинга качества учебных достижений в общем образовании.

Системность означает, что МКМ присущи закономерности системы, определяющие ее внутренние и внешние причинно–следственные связи, условия целостности, существования и функционирования, возникновения и развития; необходимость достаточности и периодичности наблюдения за всей совокупностью объектов при соблюдении индивидуальности результатов каждого отдельного объекта наблюдения.

Моделируемость и автономность проявляются в том, что МКМ как единое целое имеет свое устройство, внутреннюю структуру и содержание; как сложная система, состоящая из множества подсистем и уровней, он может быть представлен конечным числом моделей, каждая из которых сама имеет системный характер и отражает разные цели его функционирования.

Целенаправленность отражает точку зрения исследователей, позволяет формировать определенные подходы для решения практических задач в зависимости от целей такого мониторинга (методы, технологии, контрольно–измерительные материалы, время и место проведения, процедуры, формирование выборки испытуемых, подбор состава исполнителей, экспертов, разработчиков тестов и др.).

Объективность и неопределенность – этот принцип обусловливается достаточностью и валидностью генеральной выборки тестируемых; точностью оценок (измерений) и известной областью неопределенности значений исследуемых характеристик и параметров выборки; потребностью непрерывного совершенствования инструментария педагогических измерений, технологий и процедур контроля.

Согласованность как принцип требует адекватности мониторинговых средств и процедур состоянию обследуемых образовательных систем на момент измерения в соответствии с требованиями нормативных документов.

Коммуникативность и технологичность по схеме «вход—выход» заключается в согласованности требований и оперативного получения, обработки и передачи необходимой и достаточной информации по различным уровням, обеспечении доступности мониторинговых результатов большому числу пользователей; предусматривает широкое использование образовательной информации и информационных технологий для ее переработки и хранения.

Информативность означает требование полноты и всесторонности данных (качественную и количественную определенность) об исследуемом объекте (явлении, процессе), представление всей информации в сети Internet по открытым и закрытым каналам в заисимости от требований к уровню конфиденциальности материалов и данных, доступности статистической информации широкому кругу пользователей.

Интегративность и дифференцируемость информации обусловливают сохранение и укрепление единого образовательного пространства страны, создавая уникальную возможность качественно–количественного анализа сопоставимых показателей состояния всей образовательной системы и ее отдельных составляющих (многоуровневость), индивидуальных результатов.

Взаимодействие заключается в том, что такой мониторинг собирает, накапливает и выдает информацию, требующую оперативных действий других систем (системы образования, системы тестирования, системы воспитания, системы управления, общественных систем и др.) на основе универсальности подходов к управлению качеством в образовании.

Развитие – по мере накопления информации МКМ может скачкообразно изменяться, переходя в новое качественное состояние, воздействуя в то же время на другие системы, являясь катализатором их развития.

Управляемость должна обеспечивать предсказуемость действий различных мониторинговых служб, подотчетность их по иерархическим уровням органам контроля и управления качеством образования.

Непротиворечивость – деятельность МКМ не должна наносить ущерб объектам наблюдения и образовательному процессу, его действия и выводы должны быть направлены исключительно на улучшение качества подготовленности обучающихся и качества образовательных систем.

Система приведенных принципов в целом достаточно полно отражает весь динамический процесс мониторинговых исследований. В отличие от мониторинга, основанного на традиционном оценивании со стихийнь г м воздействием на образовательную систему и субъектов образовательного процесса, многоуровневый квалиметрический мониторинг базируется на квалиметрической концепции и является формативным феноменом, способным воздействовать на систему образования системно и независимо, задавая совокупность определенных требований к органам управления образованием, образовательному учреждению, педагогу, обучающемуся и др. [68].

В зависимости от выбора объекта мониторинговых исследований следует различать ряд признаков, характерных для квали–метрического мониторинга:

• функциональность отражает присущее ему качество технологичности и психологической комфортности для испытуемых во время контроля, оптимальности нагрузок, содержательной информативности, оперативности анализа и представления информации и др.;

• надежность характеризует квалиметрический характер процедур получения информации, организованность, стандарти–зированность, точность и дифференцирующую способность педагогических измерений, согласованность исполнения планов, расписания, решений, указаний, действий и т.д.;

• эффективность проявляется в достижении планируемого результата при экономном расходовании времени, средств, труда и психологических нагрузок участников контрольно–оценочного процесса, обработки и получения результатов;

• современность касается стандартов, методов обучения и развития, средств и методов контроля и получения образовательной информации, статистического характера обработки и анализа результатов;

• оптимальность обеспечивает выбор необходимых корректировок учебных программ и их вариантов, прогнозируемые результаты подготовленности обучающихся при соблюдении норм учебной деятельности (работоспособность, утомляемость и др.); предполагает обоснованность используемых методов, технологий и принципов обучения и контроля, системность применения контроля;

• реализуемость устанавливает меру возможностей и полноты воплощения идей, подходов и планов в оценке образовательной деятельности.

Общеметодологическая база многоуровневого квалиметриче–ского мониторинга как количественного метода наблюдения за изменениями качества исследуемых объектов открывает новые возможности качественно–количественного отображения педагогических явлений с возможностями сопоставления данных по отдельным стратам системы наблюдения и путем их сравнения с данными генеральной совокупности объектов исследования. Основой функционирования квалиметрического мониторинга являются данные современных контрольно–оценочных процедур, получивших развитие в общем образовании (единый государственный экзамен, централизованное тестирование и др.) и позволяющих охватить основное содержание контролируемого материала одновременно в одинаковых условиях для всех испытуемых одинаковым шкалированием и оцениванием. Тестирование как средство педагогических измерений является наиболее точным методом диагностики и дифференциации уровня подготовленности обучающихся и состояния образовательных систем. Оно позволяет на единой информационной основе оценить состояние большого числа объектов, увидеть тенденции, оценить достоинства, вскрыть причины неудач и просчетов, наметить перспективы развития.

Функциями квалиметрического мониторинга являются наблюдение, выявление, анализ и оценка качества состояния образования на основе сопоставимых результатов педагогических измерений уровня учебных достижений обучающихся. К функциям квали–метрического мониторинга качества учебных достижений (в том числе и по результатам ЕГЭ) можно также отнести следующие:

• получение оперативной и долговременной, всесторонней и валидной информации о состоянии российской образовательной системы и отдельных ее подсистем по результатам независимого контроля;

• обеспечение циркуляции потоков валидной образовательной информации между банком образовательной статистики и образовательной системой (подсистемами), субъектами образовательного процесса (учащимися, учителями) или другими пользователями (родителями, вузами и ссузами, управлениями образования и др.) для создания надежной и оперативной обратной связи;

• выявление результативности образовательного процесса на различных его стадиях, начиная с ранних, и качества учебных программ путем сравнения с нормами и требованиями стандартов;

• обеспечение валидной диагностики особенностей учебного процесса, выявление достижений и пробелов в образовании конкретных учащихся, дифференциация и индивидуализация их обучения и развития;

• прогнозирование и управление развитием образовательных систем на основе анализа комплексной образовательной информации;

• определение рейтинга обучающегося, образовательного учреждения, территории или региона на основе сопоставимости результатов массового тестирования;

• создание условий для мониторинга развития самого образовательного процесса;

• формирование информационных систем самоподготовки, самоконтроля, самоаттестации и самоидентификации обучающихся и самоаттестации образовательных систем;

• выявление потребности в повышении профессиональной переподготовки педагогических кадров.

Последовательность действий в обеспечении этих функций может быть следующей.

1. Установление образовательных стандартов: определение требований стандартов; операционализация стандартов в индикаторах (измеряемых величинах); установление комплекса показателей и критериев (норм как меры качества образования), по которым можно судить о степени достижения стандартов.

2. Создание и совершенствование стандартизированных контрольно–измерительных материалов, контрольно–оценочных процедур, техники и технологии обработки материалов тестирования и автоматизированной проверки результатов, алгоритмизация форм их предъявления.

3. Совершенствование методик шкалирования и оценивания результатов педагогических измерений.

4. Сбор и накопление метрических характеристик качества учебных достижений обучающихся с использованием информационных технологий и программно–инструментальных средств.

5. Систематизация информации и анализ результатов мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов и норм.

6. Представление образовательной индивидуальной и статистической информации по результатам тестового контроля в формате, обеспечивающем ее доступность большому числу пользователей, многоуровневый и многофакторный педагогический анализ.

7. Интерпретация результатов, моделирование состояния образовательной системы, прогнозирование направлений ее развития, выработка рекомендаций по совершенствованию образовательного процесса.

8. Принятие обоснованных управленческих решений и мер, направленных на получение положительных изменений в образовательной деятельности учебных учреждений в целях повышения ее результативности.

Существует ряд требований, связанных с экспертизой качества учебных достижений, определяемых на основе квалиметри–ческих мониторинговых обследований по результатам массового стандартизированного тестирования:

• стандартизация содержания образования, образовательного процесса и контрольно–измерительных материалов, установление образовательных стандартов и операционализация средств и методов контроля, определение требований стандартов в индикаторах (измеряемых величинах) и установление критериев, по которым можно судить о приближении подготовленности испытуемых к уровням учебных достижений, задаваемым образовательными стандартами, разработка стандартизированных контрольных измерительных материалов, техники и технологии тестирования и проверки результатов;

• выбор методов шкалирования и оценивания уровней учебных достижений обучающихся, получение критериев оценки учебных достижений, деятельности учителя и образовательного учреждения на основе сравнения со статистическими нормами;

• обеспечение объективности и сопоставимости оценок на различных уровнях (национальном, региональном, локальном, в том числе на уровне общеобразовательного учреждения, индивидуальном) путем стандартизации процедур выявления и измерения уровня учебных достижений каждого обучающегося;

• дистанцирование учителя от контрольно–оценочного процесса, демократизация образовательного процесса и вариативность выбора форм и уровней трудности аттестации субъектами тестирования;

• алгоритмизация и автоматизация системы тестового контроля и мониторинга в образовании;

• сбор метрических данных о качестве учебных достижений по различным выборкам испытуемых с использованием информационных технологий и программно–инструментальных средств;

• систематизация и анализ результатов, проведение мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов;

• интерпретация результатов анализа и выработка рекомендаций по совершенствованию образовательного процесса для получения положительных изменений в деятельности образовательных учреждений и повышения качества образования.

В силу значительной сложности организации такого полномасштабного мониторинга его создание возможно только путем поэтапного развертывания и последовательного включения всех регионов в федеральную систему тестирования, распространения мониторинговых процедур и исследований на все уровни системы образования и системы управления его качеством. Реализация многочисленных задач и функций многоуровневого ква–лиметрического мониторинга может обеспечиваться различными дополнительными методами и каналами получения информации: анкетирование, контент–анализ документов, тестирование, экспертное оценивание, анализ, статистика, моделирование, прогнозирование, заключение и выработка решений, действия по совершенствованию системы образования и др.

Логика его развития показывает, что в будущем он затронет не только сферу общего образования, но и все его уровни, обеспечивая независимый аттестационный процесс для всех субъектов образования. Активно развивающиеся технологии массового тестирования школьников и выпускников общеобразовательных учреждений находят применение и в профессиональном образовании, особенно в системах открытого образования. В перспективе тестовый контроль как базовый для квалиметрического мониторинга станет основой для получения валидной и надежной информации о качестве всей системы образования в стране. Важными являются независимость контрольно–оценочных процедур от образовательного учреждения, квалиметрический подход к получению информации и сопоставимость результатов как по вертикальным срезам наблюдения (обучающийся, образовательное учреждение, территория, регион, Россия), так и по горизонтальным – между объектами одного ряда.

Понятно, что построение многоуровневой и многоаспектной системы квалиметрического мониторинга – процесс сложный и длительный. Такая мониторинговая система должна быть независимой, постоянно действующей организационной структурой, обеспечивающей объективное, всестороннее, стандартизированное обследование системы образования и ее составляющих. Сегодня для ее организации только появляются необходимые условия. К ним относятся создание федеральной системы независимого массового тестирования (централизованное тестирование, единый государственный экзамен, другие формы независимой аттестации средствами тестирования); формирование федерального банка стандартизированных педагогических измерителей, банка образовательной статистики результатов тестового контроля; использование информационных технологий накопления, представления и передачи результатов в форме, удобной для различных категорий пользователей.

Таким образом, в условиях стандартизации содержания образования и интенсивного развития федеральной системы тестирования, происходит развитие и введение целостной и комплексной общероссийской системы многоуровневого квалиметрического мониторинга как средства управления качеством образования, основанного на современных и универсальных методах наблюдения за всей системой образования.

Поскольку сам образовательный процесс является многомерным и многофакторным, то и мониторинг должен быть сложной системой, во всей полноте отображающей особенности обучения и структуру образовательной системы. Такой мониторинг должен обладать системным свойством, а поэтому для его организации требуется системный подход, основанный на упорядочении множества элементов, взаимосвязанных между собой; система образовательного квалиметрического мониторинга должна включать в себя ряд подсистем, существование которых обусловлено в первую очередь наличием различных уровней обобщения данных для разных объектов наблюдения.

Система многоуровневого квалиметрического мониторинга рассматривается в этом аспекте как совокупность организационной структуры, методик, технологических процессов и ресурсов, необходимых для его осуществления и являющихся инструментом для накопления рандомизированных данных. Предполагается, что квалиметрический подход, базирующийся на концептуальных положениях теории измерений IRT и математической статистики, может обеспечить строгость, четкость и упорядоченность данных об уровне подготовленности учащихся и качестве образовательных систем, а также осуществлять прогнозирование их развития.

Система мониторинга – это совокупность его элементов, взаимосвязанных между собой, обеспечивающих осуществление всех мониторинговых процедур для достижения поставленных задач и целей. Как и всякая сложная система, квалиметрический многоуровневый мониторинг состоит из нескольких подсистем и их элементов для получения количественных показателей качества исследуемых объектов. К таким элементам можно отнести: предмет, объекты и субъекты мониторинга, комплекс мониторинговых показателей, инструментарий мониторинговых обследований, системы накопления информации, процедуры анализа и переработки информации, методы педагогической интерпретации и форматы предъявления результатов, программно–инструментальные средства их анализа и интерпретации, осуществление прогнозов дальнейшего развития объекта. Следовательно, она должна обладать обратными связями, посредством которых обеспечивается управление ее подсистемами, обусловливая как стабильность, так и развитие. Вместе с тем система такого мониторинга не является замкнутой, так как другие, связанные с ней системы (система образования, система тестирования, система воспитания, система управления, общественные системы и др.) способны оказывать на нее воздействие, а она, в свою очередь, влиять на них.

Предметом мониторинговых исследований выступают состояния подготовленности обучающихся, образовательного процесса, образовательных систем, их изменения и направления развития.

Объектами мониторинговых наблюдений могут выступать отдельные обучающиеся, группа (группы) учащихся, педагоги, образовательные учреждения, педагогические системы, территориальные, региональные или федеральные образовательные системы, образовательный процесс.

Субъектами являются проводящие обследование организаторы, независимые аттестационные службы, комиссии, центры тестирования и т.д.

Инструментарием таких исследований могут быть анкеты, тесты, опросные листы, статистические отчеты, различного рода формы, таблицы, графики и др. Инструментами мониторинговой деятельности являются технические, электронно–вычислительные и информационные средства, программно–инструментальные продукты, средства коммуникации и т.д.

Мониторинговая деятельность может рассматриваться как совокупность процедур, используемых для наблюдения за объектом и предметом мониторинга, сбор информации, ее накопление и обработка: квалиметрические процедуры (контрольно–оценочные, таксонометрические, социологические и др.), экспертное оценивание, анализ статистических данных, контент–анализ документов, заключения комиссий, решения и действия официальных структур управления образованием.

Мониторинговые показатели могут подразделяться на первичные результаты обследований – непреобразованные, и вторичные, – обработанные определенным образом. По сравнению с традиционным контролем при тестовом контроле расширяется спектр показателей, комплекс которых способен обеспечить целостное, качественное и количественное представление о состоянии объекта исследований и динамике его изменений. К числу таких показателей в условиях массового тестирования относятся первичный тестовый балл испытуемого (число или процент выполненных заданий теста); сертификационный тестовый балл, полученный в результате шкалирования с учетом статистического уровня трудности тестовых заданий; статистические нормы, средний тестовый балл исследуемой выборки; средний тестовый балл генеральной выборки испытуемых; дихотомические таблицы и проценты правильно выполненных заданий теста для разных категорий и групп испытуемых; индивидуальный рейтинг участника тестирования; рейтинг образовательного учреждения; территории, региона и др.

Критерии оценивания состояния объекта исследования зависят от задач и целей мониторинга. К таковым можно отнести соответствие тестового балла норме или заданному уровню; достижение требований образовательных стандартов; соответствие запросам и ожиданиям потребителей. Суждения, выводы, доводы и оценки, сделанные в результате анализа результатов тестового контроля, должны способствовать совершенствованию объекта.

Суть такого системно–методологического подхода в этом случае заключается в формировании совокупности методов и процедур мониторингового исследования, вооружении его действенными методами сбора, синтеза, анализа и предъявления результатов независимого контроля учебных достижений субъектов образовательного процесса. Система квалиметрического мониторинга качества учебных достижений является многоуровневой, многофакторной, целенаправленной, динамической, саморазвивающейся, способной сохранять свою сущность, несмотря на изменения, происходящие в ней, а ее особенности связаны с междисциплинарным характером обучения, который обусловливает ее проектирование и функционирование, требует системности (полисистемности) методологических оснований контрольно–оценочной деятельности.

В соответствии с решением задач наблюдения виды квали–метрического мониторинга могут быть классифицированы как:

• информационный – направлен на сбор, накопление, систематизацию и распространение образовательной информации. Кроме того, информационные технологии в последнее время обеспечивают не только повышение эффективности при достижении педагогических целей, но и позволяют расширить круг пользователей образовательной информацией, обеспечивают оперативность и многоаспектность педагогического анализа [58, 68, 132];

• базовый (фоновый) – направлен на выявление соответствия уровня подготовленности обучающихся требованиям образовательных стандартов и качества образовательных систем для обеспечения условий обучения и развития личности;

• проблемный – предполагает выявление новых проблем в той или иной образовательной системе, по тем или иным направлениям деятельности системы образования; ориентирует на выявление закономерностей и процессов, важных в управлении качеством образования;

• управленческий – ставит целью наблюдение за характером взаимодействия на различных управленческих уровнях, обеспечивает оценку эффективности последствий и вторичных эффектов решений, принимаемых в области управления;

• дидактический – обеспечивает наблюдение за различными сторонами учебного процесса, в том числе и за усвоением материала учебных дисциплин, соответствием полученных знаний требуемому уровню или образовательному стандарту;

• социально–психологический – предоставляет информацию о психологическом состоянии личности, взаимоотношениях обучающихся в классах и группах, взаимодействии обучающихся и обучающих, общем характере психологической среды в образовательном учреждении.

Для эффективного управления качеством образования с целью получения положительных изменений необходимо постоянное научно обоснованное воздействие на всех его субъектов с позиций современных требований и возможностей анализа количественно измеренной комплексной информации об уровне учебных достижений обучающихся. Вместе с тем такое наблюдение должно быть организовано на различных уровнях и стадиях обучения.

Для этого должен быть создан комплексного квалиметрический мониторинг качества образовательного процесса и образовательных систем в масштабах страны, региона и далее по уровням управления образованием. Именно сравнения (парные и множественные, по вертикали и горизонтали) степени усвоения содержания учебных дисциплин (например, процентов правильных ответов по структуре теста) дают возможность видеть проблемы обучения и определять направления совершенствования образовательных программ, методик и технологий.

Как средство реализации новых моделей и методов управления качеством информационные технологии в последнее время активно входят в сферу образования, и обеспечение системного и комплексного подхода к организации и функционированию многоуровневого квалиметрического мониторинга возможно в результате технологизации процедур контроля и оценки, упорядочения информационного взаимодействия всех подсистем российского образования.

При решении таких масштабных задач по совершенствованию федеральной системы управления качеством образования важнейшей составляющей является обеспечение объективности, полноты и оперативности получения данных для мониторинга качества региональных систем образования, состыкованных и тесно взаимодействующих с соответствующими федеральными структурами. Многоуровневый характер такого мониторинга как раз и обусловлен возможностью сравнения показателей тестового контроля и выравнивания основных требований в педагогической, образовательной и профессиональной культуре разных типов образовательных учреждений, по различным территориям и массивам испытуемых.

При этом информационной основой организации мониторинга качества образовательных систем всех уровней становится федеральный банк независимой образовательной статистики, периодически пополняемый результатами массового тестирования обучающихся и выщскников. Базой такого банка являются данные образовательной статистики, получаемые по результатам тестового контроля как одного из видов стандартизированных педагогических измерений.

Тестирование, как уже было отмечено выше, в настоящее время относится к высоким технологиям контроля качества учебных достижений обучающихся, позволяющим осуществлять научно–инновационный подход к организации квалиметриче–ского мониторинга качества образования по определенным показателям. Поэтому многоуровневый мониторинг можно создавать на основе использования различных тестовых систем: критериально–ориентированных, нормативно–ориентированных и содержательно–ориентированных (международные обследования, единый государственный экзамен, централизованное тестирование и др.).

На региональном и других (территориальных) уровнях управления качеством образования создаются аналогичные информационные банки образовательной статистики, дополняемые результатами обследований, выполняемых по целям и задачам соответствующего уровня, таких, как аттестация образовательных учреждений, результаты фронтального тестирования учащихся в отдельных территориях и др. Особенности системы педагогического тестирования – открытость, массовость, адаптивность, развиваемость, корректируемость – позволяют получать наиболее полную и достоверную информацию о результатах деятельности не только учащихся, но и той или иной образовательной системы: отдельных образовательных учреждений, муниципальной, региональной или федеральной.

Получение метрических данных об учебных достижениях на больших массивах позволяет проводить многоуровневый и многофакторный анализ результатов: дидактический – по различным показателям качества образования; личностно ориентированный – выявление личностных качеств испытуемых (мотивация, профессиональная ориентация, самооценка, творческое отношение к учению и др.); содержательный – о качестве образования на основе анализа усвоения и структурированности содержания различных учебных дисциплин, отдельных разделов, тем, элементов знаний и др.

Отсюда возникают различные виды квалиметрического мониторинга, базирующегося на анализе одних и тех же результатов массового тестирования и обусловливающего разные статистические показатели по уровням наблюдения в зависимости от степени обобщения данных образовательной статистики.

В качестве объектов анализа могут быть выбраны любые массивы участников единого государственного экзамена: учащиеся, классы, школы, районы, города, регионы и все выпускники регионов—участников ЕГЭ. Для каждой такой выборки используется соответствующий уровень обобщения статистических данных. При систематическом наблюдении учет особенностей образовательного процесса и его динамического характера, своевременное и целенаправленное воздействие на него становятся особенно эффективными, так как система такого мониторинга ориентирована на обеспечение большого числа пользователей (учащихся, учителей, родителей, работников управления образованием и др.) постоянным потоком сопоставимой образовательной информации. На единой информационной образовательной базе могут быть сформированы все другие иерархические уровни квалиметриче–ского мониторинга – от мониторинга качества учебных достижений отдельного ученика и вплоть до генеральной выборки (как статистической нормы, имеющей место в образовательной системе на данный момент): индивидуальный, классный, школьный, территориальный (муниципальный), региональный, федеральный. Каждый уровень такого мониторинга обеспечивает ряд своих специфических функций.

Индивидуальный – накопление и анализ результатов различных видов тестового контроля по каждому обучающемуся в течение всего периода обучения, обеспечение индивидуализации образования, выявление способностей и предрасположенности каждого обучающегося к определенному спектру учебных дисциплин, накопление независимой оценочной информации для формирования портфолио.

На уровне образовательных единиц (класс или отдельные группы учеников) – может предоставить информацию, необходимую педагогам для совершенствования квалиметрических навыков оценивания знаний школьников, выработки объективных критериев оценивания как учебных достижений школьников, так и собственной образовательной и практической деятельности (корректировка программ, выбор технологий обучения и др.).

Школьный – по различным предметам и классам необходим администрации школ для анализа работы учителей, корректировки рабочих программ, совершенствования технологий обучения, организации работы методических советов, определения направлений повышения квалификации работников и др.

Территориальный (муниципальн^гй) – по видам образовательных учреждений (лицеи, гимназии, колледжи, профильные школы и др.) для администрации и органов управления образованием (распределение оборудования, кадровых и материальных ресурсов), аттестации образовательных учреждений.

Региональный – для анализа состояния качества образования по территориям и видам образовательных учреждений (школы, гимназии, лицеи, ПТУ и др.) как средство управления качеством регионального образования.

Федеральный, позволяющий центральным органам управления образованием получать и анализировать комплексную образовательную информацию в целом по стране, по разным территориям и иерархическим уровням управления, по организации образовательного процесса, по всем предметным областям.

Каждый более высокий уровень последовательно вбирает в себя результаты нижних (рис. 15). Идет циркуляция информации по направлениям, как восходящим, так и нисходящим. Основное свойство такой системы заключается в том, что как по вертикали, так и по горизонтали ведется наблюдение результатов одного и того же свойства измерения, проведенного в одно и то же время одинаковыми контрольными измерительными материалами и процедурами. Это позволяет зафиксировать адекватные состояния всей образовательной системы и ее подсистем на момент измерения, провести сравнения между однотипными структурами, выработать статистические нормы для определения показателей и критериев оценок для всех испытуемых и объектов наблюдения.

Важной в такой системе мониторинга является возможность соотносить результаты тестового контроля со средними показателями объектов более высоких уровней обобщения данных и мониторинга, определять рейтинг всех объектов наблюдения в однотипном ряду. Такая система мониторинга позволяет всем субъектам получать объективные данные контроля, быть более восприимчивыми к инновациям в образовании и в управлении им, видеть общие тенденции развития.

В такой схеме классификация видов мониторинга может непрерывно уточняться, пересматриваться и систематизироваться. Существующие и получившие распространение виды мониторинга как раз и обусловлены различным выбором образовательных целей, задач и средств их решения. Именно статистические методы дают возможность от оценок учащихся перейти к оценкам качества образовательного процесса и самой образовательной системы или подсистемы. При таком комплексном и систематическом наблюдении понимание особенностей образовательного процесса, его динамического характера, своевременное и целенаправленное воздействие на него становятся особенно эффективными. Использование тестового контроля позволяет выявлять количественно–качественные изменения во всей системе общего образования.

Рис. 15. Схема взаимосвязи различных уровней квалиметрического мониторинга

На современном уровне развития теоретических и технологических возможностей квалиметрического мониторинга для каждого уровня управления образованием возможно выделение различных видов мониторинга со специальными функциями.

• Динамический, при котором требуется использование специальных технологий, методов измерения и интерпретации оценок по каждому показателю, специальных измерителей – тестов, контрольно–оценочных процедур (ЕГЭ, централизованного или локального тестирования) и совокупности показателей качества, рассматриваемых как результат учебного процесса. Использование динамического подхода очень привлекательно для выявления действительных тенденций изменения качества образования и направлений его развития как в целом по стране, так и по отдельным составляющим системы образования и системам управления, поскольку накапливаемая в течение длительного времени информация об изменениях подготовленности обучаемых может способствовать получению отчетливой картины учебного процесса, предоставляет возможность исследовать, анализировать и выявлять как негативные, так и позитивные тенденции изменения качества образования по отдельным составляющим системы общего образования, различным учебным дисциплинам, педагогам, отдельным учащимся и группам.

• Сравнительный, при котором не менее сложно, чем при оценке качества подготовленности отдельных учащихся, обстоит дело с выделением совокупности показателей для оценки качества учебного процесса, аттестации педагогических кадров и школ. Отсюда становится очевидной важность использования тех показателей, которые опираются на количественные критерии и нормы. Введение авторских количественных критериев и чрезмерное увлечение ими могут привести к неверным представлениям о наличии или отсутствии качества подготовки обучающихся. В то же время благодаря использованию единых инструментария и методов шкалирования можно получать сопоставимые данные о результатах образовательной деятельности всей федеральной образовательной системы и различных ее подсистем, сравнивать показатели одинакового свойства любых подсистем между собой в однотипном ряду как по вертикали (территории, регионы, образовательные учреждения), так и по горизонтали (рейтинг школьников, рейтинг территорий и т.д.).

• Конкурентный, при котором часто возникает необходимость зафиксировать и дифференцировать уровни подготовленности испытуемых по определенным правилам, способствующим их идентификации. Действительно, процесс усвоения знаний может существенно зависеть от дисциплины и характеристик учащегося. Поэтому корректная интерпретация результатов учебной деятельности, соотносящая их с уровнями усвоения, возможна, если результаты тестирования сравниваются со среднестатистическими баллами, предоставляется возможность ранжировать показатели учебных достижений по отдельным участникам тестирования, образовательным учреждениям, территориям, регионами, а также устанавливать причины смещения показателей относительно статистических норм.

• Информационный по двум основаниям, во–первых, массовое независимое тестирование выявляет объективную, выверенную, систематизированную, всестороннюю и достоверную информацию о качестве предоставляемого образования; во–вторых, информационные технологии предоставляют многочисленным пользователям доступ к открытым банкам образовательной статистики.

• Проблемный, обеспечивающий выявление наиболее общих закономерностей процессов и актуальных потребностей, характерных как для отдельных элементов образовательной системы, так и для образования в целом.

• Управленческий, когда при оценке качества обучения в рамках системного подхода приходится принимать во внимание совокупность самых разных показателей. Для принятия обоснованного решения о достижении либо недостижении определенного качества необходимо выбирать по каждому показателю некоторый критерий или набор критериев, характерный для уровневого подхода к оценке качества обучения. Понятно, что эффективное использование полученной информации и реализация стратегии повышения качества обучения возможны лишь в рамках единой контрольно–оценочной системы, обладающей свойствами полноты и опирающейся на соответствующую научно–методическую базу. В значительной степени результаты педагогических измерений учебных достижений обучающихся, получаемые на основе независимого тестирования и единого шкалирования, могут служить основой для принятия более обоснованных и адекватных управленческих решений.

• Комплексный, при котором обобщенной мерой качества может быть результативность, нередко заменяющаяся близким по смыслу понятием эффективности. В этой связи выстраивают определенную иерархическую модель качества, структуру критериев, их иерархию и схему оценки. Результаты массового независимого тестирования, наряду с другими показателями, могут использоваться для выявления одаренных детей, наиболее эффективных программ и технологий обучения, формирования портфолио, оценки квалификации учителей, аттестации и аккредитации образовательных учреждений.

Экспертизу качества образования с помощью квалиметричес–кого мониторинга затрудняет тот факт, что образовательный процесс как многофакторное явление имеет множество характеристик, которые невозможно не только измерить, но даже учесть. Поэтому необходимо выделять однозначно измеряемые параметры и факторы, такие, как знания и умения (предметные и надпредметные), навыки, творческий опыт и практическое применение знаний. В будущем, возможно, удастся разработать способы измерения творческих способностей и компетенции (например, педагогические и психологические тесты).

При этом необходимо исключить или стабилизировать влияние неизмеряемых факторов учебного процесса, очистить «от налета субъективизма оценку числовых значений измеряемых факторов и результатов обучения» [201]. В подобных случаях производится рандомизация – создаются условия, при которых неизмеряемые факторы меняются случайным образом. Например, проводятся измерения (тестирование) с охватом большого числа испытуемых. В этих случаях стабилизируются на среднестатистическом уровне такие существенные, но случайным образом изменяющиеся факторы, как профессиональная компетенция учителя, обеспеченность учебного процесса техническими средствами и наглядными пособиями, частные особенности конкретной школы и др. В качестве субъекта образовательного процесса рассматривается не каждый конкретный учащийся, а большая совокупность учащихся разных школ одного или нескольких регионов или всей страны. Такой выбор объекта тестирования позволяет рандомизировать множество факторов, имеющих случайный характер, а выявленные закономерности носят среднестатистический характер. Именно тестирование (централизованное, единый государственный экзамен, региональное и др.) как массовый способ оценки уровня учебных достижений обучающихся предоставляет возможность наиболее полной рандомизации.

Для достижения этих целей в условиях функционирования многоуровневого квалиметрического мониторинга возможно решение ряда задач:

• оказание образовательным учреждениям действенной помощи в максимально точном и объективном определении качества их образовательной деятельности;

• объективизация результатов контрольно–оценочных процедур за счет апробации контрольно–измерительных материалов на всем массиве учащихся страны (региона);

• установление объективных критериев оценки подготовленности обучающихся и качества образовательных систем;

• формализация и алгоритмизация мониторинговых исследований;

• создание условий открытости и доступности информации об учебных достижениях учащихся и качестве образовательных услуг;

• предоставление органам управления образованием разносторонней и достоверной информации для совершенствования образовательного процесса и условий для его осуществления.

Однако для создания целостной системы тестового контроля и основанного на его результатах многоуровневого квалиметри–ческого мониторинга требуется выполнение ряда условий:

• формирование в регионах системы опорных баз для проведения стандартизированных массовых контрольно–оценочных процедур аттестации школьников;

• материально–техническое и информационно–технологическое оснащение распределенных пунктов автоматизированной первичной обработки результатов тестирования;

• включение в тестовый контрольно–оценочный процесс всех общеобразовательных учреждений не только на заключительной стадии обучения школьников, но и на более ранних;

• разработка валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур;

• обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса с целью повышения объективности результатов итоговой аттестации выпускников;

• создание банка валидной образовательной статистики, обеспечение ее информационных потоков и создание условий доступа к ним различным категориям пользователей (школы, управления образования, вузы, родители, учащиеся, учителя и т.д.);

• разработка новых форм и методов зачисления абитуриентов в вузы и ссузы по результатам независимой аттестации выпускников;

• массовое обучение педагогических кадров теории, технологии и технике тестирования, разработке и применению тестов в образовательной практике, навыкам шкалирования и корректной педагогической интерпретации результатов тестирования.

Очень важными в модели квалиметрического мониторинга являются комплекс показателей подготовленности учащихся и качества образовательного процесса, обеспечивающих объективное и целостное представление о состоянии системы образования и ее составляющих; методы и способы педагогического анализа результатов и их интерпретации; регулярность и периодичность проведения тестового контроля; оперативность и полнота предоставления результатов, в том числе и в Интернете с тем, чтобы способствовать удовлетворению потребности общественности и специалистов в получении информации о качестве образовательной практики; создание механизмов коррекции деятельности всех субъектов образовательной системы.

Опыт показывает, что объективная информация порождает ряд проблем, к решению которых пока не готовы педагоги, образовательные учреждения и управления образованием: объективная аттестация выявляет двоечников, которых надо выпускать из школы, но непонятно, какой документ при этом им выдавать; появляется проблема работы с явно слабыми учителями; возникают трудности с организацией учебного процесса с учетом индивидуальных учебных возможностей и дифференцированных достижений учащихся и др.

Тем не менее в условиях изменений общественной жизни в стране, смены социальных потребностей проблема получения качественной и объективной информации о педагогической деятельности образовательного учреждения приобретает чрезвычайно важное значение. Конкуренция на рынке труда формирует социальную базу потребителей информации о качестве образовательных услуг, предоставляемых тем или иным образовательным учреждением. Становится востребованной информация о потенциале кадров, комфортности пребывания в школе, наличии дополнительных образовательных услуг, взаимодействии школы с вузами. Следовательно, смена концепции контроля в стране и накопление образовательной статистики объективно создают возможность для реализации и развития многоуровневого квалиметрического мониторинга российского образования.

Чтобы образовательная статистика оказывала влияние на образовательный процесс и его субъектов, необходима оперативная передача ее пользователям для переработки, анализа и принятия мер, адекватных выявленному состоянию.

В отличие от эпизодических внешних проверок, аттестации и аккредитации экспертными методами многоуровневый квалимет–рический мониторинг предусматривает регулярное, последовательное и длительное накопление результатов тестового контроля, позволяющее сопоставлять, анализировать и интерпретировать результаты по разным массивам испытуемых и генеральной выборке. Комплексной организацией рассмотренного выше мониторинга пока еще не занимались ни в нашей стране, ни за рубежом. Вместе с тем следует отметить, что накопление результатов массового тестирования уже начинается, на федеральном уровне создается банк образовательной статистики (федеральная база свидетельств ЕГЭ, статистические отчеты централизованного тестирования), постепенно создается информационная система управления образованием (сайты и порталы центра тестирования и единого государственного экзамена).

Схема движения информации в системе мониторинга показана на рис. 16.

Рис. 16. Схема движения образовательной информации

Помимо данных образовательной статистики на порталах размещается большой объем организационно–методической, информационно–технологической и содержательно–аналитической информации и документации. Все это является необходимым условием функционирования многоуровневого квалиметриче–ского мониторинга, определяет перспективный характер его функционирования.

Отдельные элементы этой схемы уже в той или иной мере реализуются на уровне некоторых регионов (в частности, в Ростовской области), территорий и образовательных учреждений. Есть основание полагать, что в ближайшем будущем все категории пользователей получат доступ к интересующей их образовательной информации, а ее потоки станут более достоверными, полными, постоянными.

Для этого необходима надежная система получения, сбора, обработки, накопления, структурирования, анализа, систематизации и хранения статистической образовательной информации, включения ее в Internet в формате, доступном для широкого круга пользователей. На специальном сайте образовательная информация о результатах независимого тестирования может быть доступна всем категориям пользователей. Однако абсолютные данные не дают полного представления о качестве исследуемого объекта, более информативным является сопоставление показателей исследуемой выборки с нормами или объектами более высокого уровня обобщения результатов (парные или множественные сравнения). Должны быть разработаны программно–инструментальные средства для автоматизированной выборки и наглядного представления статистических результатов централизованного тестирования и единого государственного экзамена, возможности сравнивать данные по различным массивам испытуемых как по вертикали, так и по горизонтали, сопоставлять показатели между собой, проводить анализ и графическое представление информации по отдельным предметам, темам, классам, территориям.

Федеральная база данных массового тестирования и единого государственного экзамена интегрирует результаты всех участников этого процесса и позволяет обеспечивать отдельные запросы пользователей. Одним из важнейших свойств базы должно быть четкое структурирование образовательной информации по регионам, образовательным учреждениям и другим кодификаторам групп тестируемых. Благодаря этому можно будет в любой точке страны для различных образовательных целей оперативно подготовить статистический отчет по любой выборке учащихся, преобразовать массив данных и представить его в требуемом для анализа виде. При этом составление регионального (территориального и др.) образовательного статистического отчета не требует больших временных и материальных затрат. За последние годы в некоторых регионах страны начинает складываться практика содержательного и динамического мониторинга средних тестовых баллов [38, 49, 63, 64, 84, 111, 137]. Возможности образовательной статистики еще не используются в должной мере.

Школьники могут, автономно и периодически проходя независимое тестирование, самостоятельно определять зоны своего актуального развития, оценивать общий уровень подготовленности и развития, анализировать достижения и пробелы в своем образовании, продвигаться по индивидуальным траекториям учебных достижений.

Родители, используя образовательную информацию, реально могут оценивать возможности своих детей, подбирать для них формы дополнительной подготовки или способы оказания помощи при самоподготовке.

Педагоги могут получать информацию о качественном изменении и структуре усвоенных знаний учащихся количественными методами путем анализа тестовых баллов, дихотомических таблиц по структуре тестов, диаграмм успешности выполнения отдельных тестовых заданий без больших затрат труда и времени, получать из банков калиброванных тестовых заданий готовые материалы для организации обучения и контроля. За несколько лет такой анализ может позволить методическим советам школ разработать наиболее эффективные обучающие программы с использованием калиброванных тестовых заданий, создать систему опережающего развития каждого ученика и класса в целом, устранить собственные просчеты, откорректировать нормы оценок. Школы получат возможность как проводить внутренний (горизонтальный) мониторинг по классам, предметам, темам, ученикам и педагогам, так и оценивать рейтинг образовательного учреждения во внешней образовательной среде (в районе и регионе среди однотипных учреждений).

Таким образом, в качестве объекта мониторинговьгх исследований могут быть класс, школа, район, город, регион или весь массив тестируемых по стране. Анализ результатов тестового контроля для отдельных объектов включает использование статистических данных и различных графических форм их представления: таблиц, графиков, гистограмм, радиальных диаграмм и др. Эти же графические формы могут быть использованы и для анализа уровней трудности отдельных тестовых заданий или выборок заданий по темам, разделам, формам «А», «В» или «С».

Обобщая указанные методы исследования, получаем совокупность возможных способов представления и сравнения результатов тестового контроля в информационной системе мониторинга (рис. 17).

В информационной схеме квалиметрического мониторинга используются различные методы сравнения результатов для нескольких объектов, возможно как парное, так и множественное сравнение. При этом можно проводить анализ статистических результатов для любых объектов как по горизонтали для объектов одного уровня: ученик – ученик, класс – класс, школа – школа, район – район и т.д., так и по вертикали для объектов разных

Рис. 17. Информационная схема многоуровневого квалиметрического мониторинга

уровней: ученик – класс, ученик – школа, класс – школа, класс – район, класс – регион, школа – район, школа – регион, регион – регион и т.д. наложением графиков. Распределение результатов может быть проанализировано для группы заданий по разделу, для группы заданий в зависимости от уровня подготовленности учащихся, а также для группы учащихся по всем заданиям теста.

Очень важным при многоуровневом анализе является выбор комплекса показателей качества подготовленности учащихся и качества образовательного процесса, обеспечивающих объективное и целостное представление о состоянии системы образования и ее составляющих. Все виды сравнений учебных достижений различных объектов могут проводиться по средним значениям тестовых баллов, процентам выполненных заданий, различным коэффициентам подготовленности как отношения показателей, полученных данной выборкой испытуемых, к среднестатистическим для генеральной, по медианным значениям как средней величины отранжированного ряда тестовых баллов и т.д.

Необходимо отметить, что результаты тестового контроля на 100–балльной шкале связаны не только с числом решенных заданий, но и со статистическими весами трудности каждого выполненного задания. Статистические веса вводятся в виде так называемых весовых коэффициентов, определяющих трудность каждого тестового задания по их оценке во всей генеральной выборке испытуемых. Именно поэтому результаты тестирования на 100–балльной шкале не имеют столь прозрачного толкования, как при простом суммировании «сырых» набранных баллов, зависящем только от количества выполненных заданий. Измерение уровня подготовленности является наиболее объективным, при этом чем выше процент выполнения задания по генеральной выборке, тем ниже уровень трудности задания.

Наибольший интерес для педагогов представляет информация тематического содержательного анализа подготовленности класса и каждого отдельного учащегося, из которой они получают возможность сравнивать успешность своих учеников относительно достижений других классов школы или школ района, а также относительно объектов более высоких уровней обобщения данных, вплоть до международного. Учитывая, что последние годы характеризуются объединением стран в проведении международных сравнительных мониторинговых исследований, осуществляемых на основе стандартизированного тестирования школьников, такие сравнения становятся особенно важными и необходимыми.

Сравнение с нормой позволяет выявлять индивидуальные особенности учебной деятельности как самого педагога, так и его учеников, показывает направления корректировки учебных программ и технологий обучения. Комплексная, оперативная оценка, сравнительный анализ сопоставимых данных по горизонтали и вертикали могут обеспечить педагогу разработку и реализацию эффективных мер по устранению недостатков, коррекции содержания и процесса обучения, закреплению достигнутого уровня и дальнейшего развития обучающихся. Использование информационных технологий и широкие возможности графического представления данных независимого тестового контроля существенно расширяют возможности коллектива школы, мобилизуют его и задают реальные ориентиры для совершенствования образовательного процесса.

Введение многоуровневого квалиметрического мониторинга в образование и управление его качеством позволяет:

• преодолевать межведомственные и территориальные барьеры на пути более точного и объективного определения состояния образовательных систем;

• создавать взаимосвязи учебных достижений на разных уровнях системы образования с качеством предоставляемых образовательных услуг путем сравнения метрических результатов оценивания, полученных с помощью одинаковых контрольно–оценочных материалов на генеральной выборке учащихся и оценочной группе испытуемых, использования стандартизированных процедур тестирования и корректных методов шкалирования;

• обеспечивать возможность оптимизировать контрольно–оценочные материалы и процедуры, создавать систему получения и анализа наиболее достоверных оценок, обеспечивая ими различные категории пользователей образовательной информацией;

• использовать информационные технологии для диагностики и анализа усвоения учебного материала по всему спектру дисциплин;

• сделать систему образования более открытой обществу в сфере оценки уровня подготовки обучающихся и качества предоставляемых образовательных услуг, а следовательно, более динамично отвечающей на запросы различных потребителей;

• ускорить развитие новых форм, средств и технологий управления образовательными системами с целью получения в них положительных изменений.

Современное состояние теории и практики тестового контроля, уровень развития техники массового тестирования и информационных технологий обусловливают необходимость и возможность организации и функционирования системы такого мониторинга, определяют направления его использования для совершенствования системы управления качеством образования и дальнейшего развития. На фоне многообразия существующих на сегодня аттестационных моделей, методик, технологий, показателей и критериев оценок многоуровневый квалиметрический мониторинг может быть универсальным средством, использующим данные одного и того же свойства по различным массивам обучающихся, статистические нормы и другие показатели, одинаковые для всех образовательных систем одного типа на всей территории страны. В то время как уровень подготовленности отдельного обучающегося зависит от его индивидуальных свойств, характеристик и качеств (развитие, способности, прилежание и др.), анализ структуры усвоения содержания дисциплин по данной выборке отражает особенности организации образовательного процесса и качество образовательной системы.

Интенсивное развитие информационно–образовательной среды в образовании актуализирует создание эффективной системы управления качеством образования, позволяющей оперативно анализировать статистику результатов независимых контрольно–оценочных процедур, более обоснованно определять направления совершенствования образовательных программ и технологий обучения. В связи с экспериментом по введению ЕГЭ информационные технологии тестового контроля, обеспечивающие общеобразовательным учреждениям и органам управления образованием доступ к образовательной статистике и нормам количественных оценок учебных достижений школьников, становятся средством повышения качества образовательного процесса и образовательных систем, развития образовательного мониторинга как средства управления качеством образования. В условиях введения ЕГЭ вся система образования становится более открытой обществу в сфере оценки результатов учебного труда. Именно статистическая обработка результатов позволяет от количественных оценок когнитивной составляющей образования перейти к качественным оценкам образовательного процесса и образовательной системы, оценивать ее состояние относительно нормы (среднестатистических показателей учебных достижений выпускников страны), зафиксировать адекватные состояния всей образовательной системы и ее подсистем на момент педагогического измерения.

При этом каждый более высокий уровень обобщения данных последовательно вбирает в себя результаты нижних уровней, обеспечивая статистические характеристики соответствующей выборки. Анализ таких результатов всем субъектам образования предоставляет возможность идентифицировать себя в общем контрольно–оценочном пространстве, сравнивая показатели как по вертикали – с общероссийскими или региональными среднестатистическими данными, так и по горизонтали, в однотипном ряду между собой.

Именно сравнения метрической информации о степени усвоения содержания учебных дисциплин с нормами (парные и множественные, по вертикали и горизонтали) дают возможность выявлять проблемы обучения, а комплекс необходимых показателей способен обеспечить целостное, качественное и количественное представление о состоянии объекта исследований и динамике его изменений. Многоуровневый процесс циркуляции образовательной информации позволяет обеспечить основные требования независимости контроля в педагогической, образовательной и профессиональной культуре для разных типов образовательных учреждений, различных территорий и по любым массивам испытуемых, организацию различных видов образовательного мониторинга: динамического, диагностического, сравнительного, базового, управленческого и др.

В ближайшие годы, несомненно, будут созданы программно–инструментальные средства, которые позволят любой категории пользователей оперативно получать и анализировать достоверную образовательную информацию. При создании таких средств следует учитывать разные запросы отдельных категорий пользователей. Положим, школьника в первую очередь интересуют индивидуальный тестовый балл и оценка, а затем он задается вопросами: где находится в выборке его результат – выше или ниже нормы, на сколько он выше или ниже, каков его рейтинг в конкретной выборке (класса или школы) или в генеральной. Что касается родителей, то все обозначенные вопросы их так же интересуют, как и самого школьника, но добавляется еще потребность знать рейтинг школы, качество той образовательной среды, в которой развивается ребенок. Учителю по конкретной учебной дисциплине требуются детальный анализ качества усвоения содержания, тематический анализ и сравнение с достижениями однотипных выборок: класс – класс, школа – школа и т.д., а также по вертикали – класс, школа, район, город и т.д. Такая информация позволяет ему корректировать учебную программу, выбирать более эффективные технологии обучения, заниматься повышением своей квалификации. Важную информацию по результатам массового стандартизированного тестирования получает и администрация. Ко всему перечисленному выше можно добавить сравнение учебных достижений разных классов, а косвенно – и квалификации учителей. Разумеется, такие процедуры квалификацию учителя позволяют оценивать только косвенно. Более достоверную информацию о квалификации учителей администрация может получить только лишь в результате динамического анализа результатов тестирования за несколько лет и при сравнении текущих отметок школьников с результатами тестирования.

Традиционная контрольно–оценочная система не в полной мере обеспечивает органы управления объективной информацией о качестве образования, препятствуя тем самым правильности, эффективности и согласованности управленческих решений. Сложившаяся за десятилетия традиционная система управления качеством обучения, доминирующая на внешнем и внутреннем уровне ее функционирования в стране, регионе, территории или образовательном учреждении, обладает многими существенными недостатками, не совместимыми с современными направлениями модернизации образования. К их числу относятся:

• отсутствие общих критериев оценивания, стандартизированных измерителей и единых шкал, баз данных, вследствие чего возникают несопоставимость оценок при аттестации учащихся по отдельным образовательным учреждениям, невозможность сравнения эффективности работы педагогов и педагогических коллективов;

• отсутствие независимой системы аттестации образовательных учреждений и педагогических кадров;

• недостаточное использование методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

• в целом отсутствие оперативности и обратной связи на базе информационных технологий, препятствующее эффективному использованию результатов контрольно–оценочной деятельности в управлении качеством образования.

Управление качеством образования по принципу обратной связи требует преобразования оперативного анализа информации о результатах обучения и деятельности образовательных учеждений, ее структурирования и укрупнения, возможных лишь в ситуации, когда педагогический контроль и оценка опираются на теорию педагогических измерений, а накопление и анализ – на систему многоуровневого квалиметрического мониторинга.

Введение в образовательную и управленческую практику многоуровневого квалиметрического мониторинга обусловлено современным состоянием теории и практики тестового контроля, техники и информационных технологий; наличием программно–инструментальных продуктов конструирования и параметризации тестов; возможностями сбора и накопления, обработки и представления в удобных для анализа форматах статистической образовательной информации в масштабах всей образовательной системы страны и по отдельным ее составляющим. Все это позволяет получать и оперативно передавать во все территории объективные и сопоставимые результаты тестового контроля как показатели качества и эффективности системы образования, показатели и критерии учебных достижений.

Многоуровневый квалиметрический мониторинг становится средством управления качеством образования и его повышения при условии использования тестирования в образовательной практике для организации личностно ориентированного, развивающего, дифференцированного и индивидуализированного подходов и реализации контрольно–оценочной функции при оптимальном сочетании современных процедур тестирования и традиционного контроля, развитии независимых форм диагностики и экспертизы при аттестации образовательных учреждений и педагогов, исключении условий возникновения конфликтов среди субъектов образовательного процесса при аттестации.

К педагогическим условиям эффективного функционирования современной контрольно–оценочной системы можно отнести переход к инновационным видам педагогических измерителей и повышение их дифференцирующей способности; расширение уровней сбора и обобщения количественной образовательной информации (региональный уровень, уровень учебных заведений, уровень отдельных учащихся или педагогов); создание методического и программно–инструментального обеспечения; активизацию обучающей функции контроля, перенос центра тяжести с оценивания результата на анализ и коррекцию процесса обучения и формирование его результата; совершенствование образовательного процесса; организацию мониторинговых исследований оценки качества обучения по результатам независимых контрольно–оценочных процедур.

Тестовый контроль и основанный на его результатах квалимет–рический мониторинг реально могут выявлять качество учебных достижений обучающихся и качество образовательных систем, обеспечивая им позитивные изменения при условии оперативного многомерного и многофакторного анализа индивидуальных и статистических результатов тестирования, их теоретически обоснованной и корректной педагогической интерпретации, корректировки образовательных программ и образовательного процесса, выявлении квалификации педагогов и необходимости ее повышения с целью использования и совершенствования инновационных средств и методов обучения и контроля в образовательной практике.

При этом важно учитывать, что анализ индивидуальных оценок учебных достижений позволяет только косвенно делать выводы о качестве предоставляемых образовательных услуг и образовательного процесса. Трудности на пути оценки качества образовательного процесса по качеству учебных достижений испытуемых на сегодня обусловлены целым рядом причин: отсутствием стандартов в общем образовании и вытекающими отсюда сложностями обучения; сложностями создания стандартизированных педагогических измерителей; недостаточным развитием системы независимого тестового контроля и отсутствием технологий его использования для подготовки обучающихся к независимой аттестации; опасностью чрезмерного увлечения тестированием, что может деформировать учебный процесс и снизить его эффективность.

Корректность выводов и рекомендаций о качестве образовательной системы может быть обеспечена только при периодичности проведения стандартизированных педагогических измерений, участии в тестировании статистически достаточного количества учащихся, обусловливающего рандомизацию случайных, неизмеримых педагогических факторов, научно обоснованном многофакторном анализе данных.

В настоящее время формирование независимых контрольно–оценочных систем в стране и некоторых регионах находится на начальной стадии. Опыт Пермской области показывает широкое использование данных ЕГЭ и Федерального центра тестирования (ФЦТ) для управления образованием [162]. В Челябинской области образовательные учреждения используют локальные системы обучения и контроля по компьютерным технологиям [122]. В Псковской и Самарской областях в последнее время наметилась интеграция контрольно–оценочной деятельности в регионе на базе центра оценки качества образования [152]. Плодотворными являются наработки в системе образования Новгородской области [10]. Особенностью Ростовской области является наличие разветвленной сети центров и пунктов независимого тестирования, охватывающих все территории региона. В ежегодных итоговых статистических отчетах приводятся интегральные данные независимых форм аттестации школьников и выпускников [99—100].

Модель региональной системы оценки качества обучения опирается на имеющийся опыт и предусматривает как включение образовательной статистики федеральной системы тестирования, так и широкое использование тестовых материалов на разных уровнях обучения школьников. В основе функционирования такой системы лежат информационные потоки, обеспечивающие достоверные и сопоставимые данные об учебных достижениях обучаемых. Сбор объективной образовательной информации, ее анализ и научно обоснованная интерпретация по разным выборкам обучаемых являются первоочередными практическими проблемами, решение которых в рамках системного подхода позволяет совершенствовать деятельность аттестационных, методических, инспекторских и других служб, улучшить кадровый состав преподавателей в региональной системе управления качеством образования.

Развивающиеся информационные технологии обеспечивают условия для создания целостной и комплексной общероссийской системы мониторинга качества образования и основанных на нем диагностики и экспертизы качества образования. Перспективы развития такого мониторинга могут проявиться:

• в усилении прогностических функций, обеспечении научно и статистически обоснованных критериев качества обучения для выявления образовательной ситуации в отдельном классе, образовательном учреждении, регионе, стране в целом;

• в использовании информационных технологий для получения и накопления образовательной статистики, ее анализа, экспертизы качества образовательных систем, обосновании как оперативных, так и стратегических решений в системе образования;

• в использовании в качестве средства стандартизации содержания образования и его обновления;

• в применении для анализа результативности образовательных программ и технологий обучения;

• в определении потенциала образовательных систем, их возможностей в достижении социально значимых результатов, принятии решений об аттестации и статусе образовательного учреждения;

• в выявлении образовательных учреждений, требующих повышенного внимания, административной и финансовой поддержки, принятия оперативных управленческих решений;

• в практике проведения вузами отбора абитуриентов по результатам независимого тестирования.

Региональная система оценки качества обучения должна строиться как структурированная целостность методических, организационных, технологических, функциональных и материально–технических составляющих, действующих на единой концептуально–методологической основе:

• совмещения контрольно–оценочных функций, способствующих наиболее эффективному управлению качеством обучения путем установления, обеспечения и поддержания необходимого уровня организации учебного процесса;

• разработки и использования средств и методов повышения качества обучения с одновременным совершенствованием управленческих функций территориальных органов управления образованием;

• внешней по отношению к образовательным учреждениям оценки качества обучения, оказывающей непосредственное воздействие на учебный процесс.

Создание региональной системы качества обучения обусловливает появление инновационных направлений в деятельности органов управления образованием:

• получение объективной статистической образовательной информации о состоянии учреждений образования, осуществление постоянной информационной обратной связи по результатам оценочной деятельности в целях повышения качества обучения;

• выявление и обоснование внутренних и внешних для школы факторов и ресурсов для повышения качества обучения;

• организация и поддержка научно–исследовательских, методических и практических работ по оценке качества обучения;

• создание внутренних систем оценки качества обучения в учебных заведениях системы полного среднего образования, условий для самоконтроля и самоаттестации;

• обеспечение доступности результатов оценки качества обучения широкой аудитории пользователей.

Для повышения эффективности региональной системы оценки качества обучения важно соблюдение ряда принципов ее организации: научности, объективности, высокой прогностич–ности, систематичности, полноты состава системы, целостности.

Принцип научности предполагает создание научно–методического обеспечения региональной контрольно–оценочной системы с опорой на психолого–педагогические работы отечественных ученых, инновации педагогов–практиков в сфере контроля и оценки учебных достижений, теорию педагогических измерений.

Принцип объективности требует использования педагогических измерителей, технологий и процедур, обеспечивающих надежность результатов измерений.

Принцип прогностической направленности регламентирует наличие достаточного объема информации для оценивания потенциальных возможностей объектов в целях дальнейшего обучения, учета изменяющихся потребностей и запросов внешней и внутренней среды по отношению к системе.

Принцип систематичности указывает на необходимость системного наблюдения за образовательным процессом, условиями его осуществления и возникающими проблемами.

Принцип полноты состава системы предусматривает эффективное осуществление управленческой деятельности в образовании за счет включения всех необходимых компонентов системы, циркуляции всех необходимых информационных потоков, получение максимально возможного количества информации о состоянии управляемых объектов.

Принцип целостности предполагает интеграцию всех составляющих региональной системы оценки качества обучения.

При всем многообразии функций управления контрольно–оценочная является базовой для повышения качества обучения, без нее немыслимо выполнение ни одной из других управленческих функций, а поэтому из целостной совокупности управленческих функций можно выделить относящиеся к контролю:

• планирование и организацию независимых контрольно–оценочных процедур при аттестации образовательных учреждений и педагогических кадров;

• оценку качества обучения выборочных совокупностей обучаемых в целях осуществления регионального мониторинга;

• нормирование качества (региональный компонент формирования показателей и критериев качества обучения);

• проведение статистического анализа результатов оценивания, их интерпретацию в целях управления качеством обучения;

• совершенствование планирования, организации и коррекции учебного процесса для перевода его в новое, более высокое качественное состояние;

• прогнозирование, выявление тенденций в изменении качества обучения;

• информационное обеспечение систем управления качеством обучения в целях содействия реализуемой стратегии управления.

Региональная система оценки качества обучения должна учитывать основные направления инновационных тенденций в обучении и контроле; специфику и уровень школьного образования; общие закономерности управления образованием в регионе; теоретический и практический опыт внутришкольного управления качеством обучения и общие задачи контрольно–оценочной компоненты обучения; оптимальное соотношение традиционной и независимой оценки качества обучения, функций педагогического контроля на региональном и внутришкольном уровнях.

Определить структуру региональной системы оценки качества обучения – значит выявить компоненты этой структуры, указать их положение относительно друг друга, установить взаимосвязь компонентов, их взаимоположение и разработать схемы взаимодействия, обеспечивающие развитие системы в наиболее перспективных направлениях. При выявлении структуры целесообразно выделить региональный уровень, муниципальный, уровень учебных заведений, уровень отдельных учащихся и педагогов. Для каждого из них необходимо определить достаточное по полноте охвата количество направлений сбора и обобщения информации о качестве обучения (материальные вложения в образование, квалификация педагогических кадров, учебный процесс, его результаты и т.д.), установить корректную взаимосвязь между отдельными периодами обучения в рамках мониторинга качества обучения.

Таким образом, цели создания региональной системы оценки качества обучения указывают, что она нужна для:

• повышения объективности контроля и оценки учебных достижений обучаемых при решении различных, в том числе и управленческих, задач в образовании;

• создания системы многоуровневого мониторинга качества образования в регионе, способствующего повышению качества образования, управляемости и мобильности в развитии образовательных систем;

• установления эффективной обратной связи между различными участниками образовательного процесса, в том числе между органами управления образованием и всеми составляющими региональной системы;

• содействия внедрению в практику инновационных технологий обучения и развития школьников;

• подготовки к процедурам независимого тестирования, в том числе к единому государственному экзамену;

• содействия устранению субъективизма и авторитаризма в принятии управленческих решений.

Принципиально новые инновационные возможности аттестации выпускников школ, педагогических кадров и самих учебных заведений создают массовое тестирование и единый государственный экзамен. Основанная на них государственная аттестация выпускников школы призвана обеспечивать единство требований к знаниям выпускников, получение объективной оценки, высокое качество оценивания, доверие выпускников, родителей и педагогической общественности к результатам аттестации, возможность использования результатов для анализа и мониторинга состояния системы общего среднего образования на муниципальном, региональном и федеральном уровнях, а также для аттестации образовательных учреждений и педагогических кадров.

Важно учитывать, что анализ индивидуальных оценок учебных достижений позволяет только косвенно делать выводы о качестве предоставляемых образовательных услуг и образовательного процесса. Трудности на пути оценки качества образовательного процесса по качеству учебных достижений испытуемых обусловлены сложностями создания стандартизированных педагогических измерителей; недостаточным развитием системы независимого тестового контроля и отсутствием технологий его использования для подготовки обучающихся к независимой аттестации; опасностью чрезмерного увлечения тестированием, что может деформировать учебный процесс и снизить его эффективность. Поэтому требуется научное обоснование сбалансированного сочетания традиционного и тестового контроля в системе обучения и контроля в пропорциях, обеспечивающих динамический характер оценок учебного труда всех субъектов образовательного процесса с сохранением достижений педагогической науки и практики.

Для проведения подобной аттестации с учетом многомерности и многоаспектности подходов одних результатов единого государственного экзамена или разового тестирования явно недостаточно. Для принятия важного решения, связанного с отбором выпускников для получения профессионального образования при поддержке государства, необходимо учитывать также успеваемость выпускника в период обучения в школе, его способности, уровень компетентности в различных образовательных областях и результаты проверки по расширенному спектру умений, выходящему за пределы минимальных требований к обязательному уровню подготовки выпускников. Словом, необходима информация о выпускнике, накапливаемая первоначально в школьной системе оценки качества обучения, а затем переданная в обобщенном виде на внешний уровень региональной системы оценки качества обучения.

Для осуществления аттестации необходимо также определить спектр показателей качества достижений, рассматриваемых как результаты обучения, с учетом затраченных педагогических усилий, вложений в образование и преемственности образовательных этапов в рамках системы регионального мониторинга качества образования. Система аттестации выпускников в форме и по материалам ЕГЭ предъявляет новые требования и к уровню квалификации учителей, которые должны уметь работать с тестами, чтобы подготовить выпускников к экзамену. Органы управления образованием, общеобразовательные учреждения и институты усовершенствования должны готовиться к прямой аттестации учителей по результатам выполнения тестов [30]. Объективизация аттестации учителей, стандартизация оценивания знаний выпускников общеобразовательных учреждений и их рейтинг в общероссийской шкале рангов создают феномен новой культуры управления качеством образования, закладывают основы независимой системы аттестации всех субъектов образовательного процесса и управления его качеством на основе широкого использования образовательной статистики и информационных методов доступа к ней.

На внешнем уровне функционирования региональной системы оценки качества обучения, где высока ответственность принимаемых административных и управленческих решений, требуется и высокое качество педагогических измерений. Это означает, что ЕГЭ, другие формы массового тестирования в целях аттестации учебных заведений, педагогических кадров и принятия важных управленческих решений требуют обращения к специфической объективности, что, в свою очередь, предполагает использование тестов по методологии IRT или квалиметрических подходов к измерениям, использованию сертифицированной тестовой продукции.

Если обратиться к подструктурам внутреннего уровня региональной системы оценки качества обучения, то можно обозначить основные цели создания школьной контрольно–оценочной системы в условиях существования независимой аттестации выпускников:

1. Обеспечение объективной информации об уровне и качестве индивидуальных учебных достижений учащихся и среднестатистических достижений образовательных учреждений в целях коррекции учебного процесса.

2. Индивидуализация учебного процесса на основе результатов тестового контроля, обеспечивающая условия для практической реализации личностно ориентированной, развивающей и других технологий обучения.

3. Получение объективной информации об уровне и качестве подготовки обучающихся для выставления итоговых оценок при переходе на следующую ступень обучения с помощью новых форм, методов и средств контроля.

4. Обеспечение условий для самоконтроля, самокоррекции и самооценки результатов учебной деятельности учащихся.

5. Методическая поддержка учащихся и преподавателей при подготовке к сдаче ЕГЭ и аттестации.

6. Проведение мониторинга учебных достижений по основным дисциплинам.

7. Определение потребности в повышении квалификации преподавателей, качества преподавания и обучения.

Общий замысел школьной контрольно–оценочной системы состоит в создании совокупности методик, процедур, измерителей, программно–педагогических средств контроля и оценки образовательных достижений учащихся, стыкующихся между собой и охватывающих все ступени школьного образования. В отличие от традиционных, доминирующих в школе контрольно–оценочных процедур, представляющих собой эклектическое соединение наборов методов, форм и средств контроля с различными субъективными критериями оценки, современная система содержит совокупность научно обоснованных методик, процедур, критериев оценивания, измерителей, компьютерных программно–инструментальных средств, содействующих решению приоритетных задач модернизации школьного образования.

В таком аспекте составляющими модели региональной системы оценки качества обучения являются:

• распределенная по региону система опорных баз проведения стандартизированных массовых контрольно–оценочных процедур не только для итоговой аттестации, но и в процессе обучения;

• материально–техническое и информационно–технологическое оснащение распределенных пунктов проведения и автоматизированной обработки результатов тестирования;

• включение в тестовый контрольно–оценочный процесс всех образовательных учреждений, использование валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур, обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса;

• система подготовки специалистов для обеспечения правильности проведения контрольно–оценочных процедур по новым технологиям и использования их в образовательной практике;

• банк валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур, обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса;

• региональный банк валидной образовательной статистики и доступ к нему различных категорий пользователей (школы, управления образованием, вузы, родители, учащиеся, учителя и т.д.);

• система обучения и переподготовки педагогических кадров технологии и технике современного тестирования, использования методов статистической обработки анализа и интерпретации результатов;

• системная подготовка большого числа специалистов для обеспечения правильности проведения контрольно–оценочных процедур по новым технологиям, разработки тестов и определения их качества;

• новые формы и методы зачисления абитуриентов в вузы и ссузы по результатам независимой аттестации выпускников.

Новые тенденции в управлении, естественно, требуют разработки новых критериев оценки качества образования, создания служб оценки учебных достижений, разработки информационных технологий статистической обработки и анализа результатов контроля качества образования на разных образовательных уровнях и ступенях для оперативного управления и самоуправления процессами обучения и развития.

1. Перечислите виды мониторинга в образовании.

2. В чем особенность квалиметрического мониторинга качества обучения?

3. При каких условиях возможна организация многоуровневого мониторинга?

4. Что является основополагающим при организации многоуровневого квалиметрического мониторинга?

5. Какие показатели используются при анализе данных в системе ква–лиметрического мониторинга?

6. На какие критерии можно ориентироваться при квалиметрическом мониторинге качества обучения?

7. Что следует учитывать при аттестации педагогов с учетом результатов тестирования?