Технология экспертной оценки качества. Классификация и характеристика экспертных методов

Механизм потребительского выбора достаточно консервативен, поскольку базируется, как правило, на использовании только того, что уже хорошо себя зарекомендовало. В значительной степени он ориентирован на прошлое, чем на возможное будущее.

В условиях рынка основой оценки качества продукции должна стать объективная общественная полезность продукции, что будет отражать ее прогрессивность и соответствие чертам нового быта. Одним из методов, который может обеспечить именно такую оценку продукции, может стать экспертный метод.

Экспертный метод оценки качества продукции предусматривает выяснение мнения экспертов.

Эксперт – это квалифицированный специалист, который соответствует требованиям профессиональной и квалиметрической компетентности, деловитости и объективности, а также заинтересованный в работе экспертной комиссии.

Использование экспертных методов рационально при наличии одной из двух причин:

    задание не может быть выполнено никаким другим методом;

    другие методы выполнения задания или менее точные, или более трудоемкие.

Экспертные методы совместно с другими или самостоятельно могут быть использованы для:

    классификации продукции;

    определения номенклатуры показателей качества продукции;

    определения коэффициентов весомости отдельных показателей качества;

    выбора базовых образцов продукции и определения значений отдельных показателей качества этих образцов;

    определение органолептических показателей качества оцениваемой продукции;

    определение комплексных показателей качества продукции.

Привлечение к работе в экспертных комиссиях высококвалифицированных экспертов позволяет получить точную и воспроизводимую оценку качества товаров. Проведенные эксперименты подтверждают, что при правильной методике экспертной оценке ошибка результатов находится в пределах 5–10 %, и ее целиком можно сопоставить с результатами инструментальных методов.

Для оценки качества продукции экспертным методом создаются экспертные комиссии. Порядок создания, цели и задания такой комиссии определяются приказом или распоряжением руководителя министерства, ведомства, объединения, фирмы. Общий алгоритм операций создания и работы экспертной комиссии, которая использует методы группового опроса, приведен на рисунке 7.1.

Работа экспертной группы заканчивается статистической обработкой экспертных оценок, их анализом и принятием обоснованных решений.

Основные преимущества групповой экспертной оценки заключается в возможности разностороннего анализа проблем, связанных с определением отдельных характеристик товара. Взаимодействие между экспертами увеличивает объем суммарной информации по сравнению с информацией каждого члена группы. При групповой оценке меньше вероятность ошибки конечного результата работы. В большинстве случаев групповая оценка более надежная, чем оценка каждого эксперта в отдельности.

Рабочая группа готовит и проводит экспертную оценку качества продукции. Ее заданием является подготовка экспертов, помощь в проведении оценки качества, обработка, анализ, обобщение результатов и установление коллективного мнения экспертов. Она начинает свою деятельность с подбора экспертов и формирования экспертной группы.


Страница 1 из 2

Качество есть качество" . Качество в отличие от количества не измеряют, а оценивают. Существуют две формы оценки качества: лингвистическая и количественная. В первом случае качество определяют словами: например, "качество высокое", "среднее", "низкое" и т.д. Во втором случае качество оценивают по некоторой условной шкале числом к (0 < к < м, где м - высший балл в числовой оценке качества). Например, 5 как в российской или 100 как в английской школах.

Для оценки качества привлекаются эксперты. Мы к такой оценке качества уже прибегали, когда пытались характеризовать параметры пожарного ведра (см. рис. 3.31 и 3.32). Экспертной оценке качества могут быть подвергнуты товары и услуги, проекты и законы, знания и квалификация, выступления фигуристов, гимнастов или вокалистов и многое другое. Как ни ругают качественные, а не количественные оценки в некоторых видах спорта, вспоминая при этом скандалы на соревнованиях, экспертные оценки жюри остаются единственным мерилом выступления многих спортсменов. Не говоря уже о людях искусства и о различных творческих конкурсах...

В повседневной жизни при принятии решения можно исходить из лингвистической оценки качества: мы, например, покупаем хороший чай или газонокосилку высокого качества и т. д. Однако есть такие задачи, в решении которых лучше руководствоваться количественной оценкой качества. Кроме того, обычно лингвистические оценки строятся на основе экспертных количественных оценок. Так, качество выпускника английского университета и достоинство диплома, который он получает, определяется по следующей шкале, представленной в табл. 4.11.

Таблица 4.11. Шкала оценки качества диплома

Независимо от объекта, качество которого подлежит экспертной оценке, методика ее получения в основе своей одинакова.

На рис. 4.29 показана оценка качеств некоторой рукописи книги по Mathcad, сделанная по пятибалльной шкале разными рецензентами (таблица Excel, внедренная в Mathcad-документ), проиллюстрированная двумя диаграммами, глядя на которые можно сделать лишь один вывод о том, что качества отдельных семи сторон рукописи более соответствуют друг другу, чем качества отдельных пяти рецензентов.

Но оценку качества можно делать не только качественно (прошу прощения за тавтологию), но и количественно, цифрами. Для этого рассмотрим задачу оценки деловых качеств руководителя (менеджера). Для оценки потребуются модель качества менеджера, эксперты и математическая обработка результатов работы экспертов.

Модель качества специалиста может быть представлена в виде некоторого набора важнейших качественных параметров (качеств), характеризующих его профессиональный уровень, личностные, деловые качества и предопределяющих успешную работу в рассматриваемой сфере деятельности.

Допустим, что этот набор включает следующие качества:

Уровень и качество образования, опыт практической работы;

Эрудицию, знания и умения в своей и смежных сферах деятельности;

Обучаемость и способность обучать;

Культурный уровень, моральные стандарты;

Физическое и психологическое здоровье, возраст;

Характер, отношение к окружающим;

Умение руководить;

Амбициозность, стремление к лидерству; - способность к риску;

Динамизм, способность оценивать и принимать изменения внутренней и внешней среды.

Рис. 4.29. Графическое сопоставление качеств рукописи и рецензентов


Пред. -

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.

Предназначены для определения значений показателей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэконо­мично из-за чрезмерных расходов на их применение или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органо- лептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значительно отличающихся по качеству, рекомендуется определять значение единичного показателя Р следующим образом :

К. = Р. / Р. 5 ,

где Р. 5 - базовое (эталонное значение).

Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости f, т. е. с целью разработки формул для расчетов оценок показателей:

К = f (Р/ Р 5).

Оценка единичных показателей качества начинается с определения допустимых интервалов их измене­ния (Р. макс : - Р™"). р. макс - наилучшее значение показателя, пре­вышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя (Р. макс) зависят от целей оценки качества, при этом необходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработки согласованных решений на предыдущей.

Экспертная процедура определения допустимых значений показателей качества состоит из ряда операций:

выдачи экспертам анкетой пояснительных записок, в кото­рых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;

заполнения экспертами анкет и указания конкретных мо­делей продукции, значения которых они считают предельно допустимыми;

ознакомление каждого эксперта с оценками, назначенны­ми другими экспертами, и их обсуждение;

проведение второго (иногда третьего и четвертого) тура анкетирования;

усреднение результатов оценки.

При значительном разбросе мнений проводится дополни­тельный тур голосования.

Для определения экспертами вида зависимостей (f) между значениям показателей Р. и их оценками К. нередко используется "метод главный точек". Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно по­строить модель искомой величины.



"Метод главных точек" в зависимости от их числа име­ет несколько разновидностей.

"Метод трех главных точек" - метод, основанный на разделении значений показателей Р. на максимальное, мини­мальное, среднее значение и определении значений оценок К. в этих точках. Интервал шкалы между максимальной и мини­мальной точками задается заранее (шкалы О-ч-l или 0ч-10). В задачу эксперта входит также определение тенденции зависи­мости в интервале между главными точками и построение гра­фика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя каче­ства К. "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки К.

"Метод семи главных точек" - метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.

Семибалльная шкала является равномерной, т. е. при пере­ходе от одного класса качества к другому оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости f. Затем каждому клас­су качества назначается оценка в соответствии с характером зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "наивысшее качество" получает оценку 10.

Таким образом, график, построенный экспертом, характе­ризует зависимость между абсолютными значениями показателей Р. и их оценками К, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.

В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение "метода главных точек" дает возможность осу­ществлять группировку и классификацию показателей по ви­дам зависимости.

Определение комплексных показателей ка­чества осуществляется двумя видами методов:

методами комплексной оценки качества образцов товаров;

методами построения моделей комплексных показателей качества.

Методы комплексной оценки качества имеют две разно­видности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образ­цов товаров основаны на определении комплексного показате­ля качества путем анализа значений отдельных единичных по­казателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для иысококвалифицированного эксперта является 7-9 показателей, расположенных на одном уровне иерархии и составляю­щих достаточно однородную группу. Кроме того, эксперты долж­ны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рас­сматривать качество товара как систему.

Метод движения по уровням без подготовки представляет собой комплекс операций, осуществляемых последовательно, с постепенным повышением уровня. При этом анализ начинается от нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична про­цедуре по методу движения по уровням без подготовки.

Формализация процесса экспертной оценки заключается в нахождении зависимости между значениями показателей качества Р. (или их оценками К.) и показателем качества нижележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении ком­плексных показателей. При этом решающая функция, как и любая модель, упрощает объект исследования, так как учитываются не все показатели и связи между ними.

Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой представляет собой набор оценок еди­ничных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ.


Лекция 13. ВИДЫ ЭКСПЕРТИЗ

  • V1: Качество, как фактор успеха предприятия в условиях рыночной экономики
  • V1:Рекомендации международных стандартов ИСО 9000 по обеспечению качества
  • Эксперт - специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений.

    Дадим некоторые пояснения. Естественно, что мнения начинающего терапевта и всемирно известного кардиолога несопоставимы по уровню оценки состояния больного и рекомендаций по его лечению в достаточно сложной ситуации. Однако если больному необходима экстренная помощь, а специалист высокого профессионального уровня по той или иной причине не может быть приглашен, то решение будет принимать тот, кто окажется рядом, даже если он и менее квалифицирован. В этой ситуации в роли эксперта оказывается именно он.

    Таким образом, формирование состава экспертной комиссии зависит от:

    · конкретной ситуации принятия решения;

    · возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

    · возможностей специалистов принять участие в работе экспертной комиссии.

    Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитическим центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка альтернативных вариантов решений.

    При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в том или ином конкретном случае. Они подразделяются на три основных группы:

    · априорные;

    · апостериорные;

    · тестовые.

    Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.

    Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.



    Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания.

    Априорные методы оценки эксперта. К этой группе относятся, прежде всего, наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

    · самооценка по одной из балльных шкал (3-х, 5-ти, 10-ти или 100-балльной);

    · самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

    · самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

    · самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и критерий, характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.).



    В этом случае комплексная самооценка эксперта рассчитывается по формуле:

    К к = (К и + ß К з) / 2,

    где К к - комплексная самооценка эксперта, К и - коэффициент информированности (в долях единицы), К з - коэффициент знакомства с проблемой, ß - весовой коэффициент.

    Более подробно вопросы измерения показателей и типы шкал будут рассмотрены в следующей теме.

    Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

    К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенным из них является метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта - отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

    К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный или анкетный метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как: стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.

    Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества как конформизм, конъюнктурность, компетентность эксперта. В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительней второго, второй предпочтительней третьего, но, в то же время, третий объект оказывается предпочтительней первого, т.е. возникает очевидное противоречие. В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.

    Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям. При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.

    Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки.Этот метод основан на расчете коэффициента отклонения - Ко.

    К oi = D oi / D max ,

    где К oi - коэффициент отклонения суждений i-го эксперта, D oi - отклонение индивидуальной оценки i-го эксперта от результирующей оценки, D max - максимально возможное отклонение оценки эксперта от результирующей оценки.

    Тестовые методы оценки качеств эксперта. Их суть - выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хорошо известны, т.к. широко используются для определения профессиональной пригодности специалистов в различных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии. Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:

    · тест должен быть разработан специально под конкретные объекты экспертной оценки;

    · истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но неизвестны испытуемому эксперту;

    · должна быть разработана шкала для определения точности оценок, даваемым экспертом;

    · вероятность случайного угадывания истинной оценки должна быть очень мала.

    Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки. Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.

    Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например:

    1. способность организовывать и планировать труд;

    2. профессиональная компетентность;

    3. сознание ответственности за выполняемую работу;

    4. контактность и коммуникабельность;

    5. способность к нововведениям;

    6. трудолюбие и работоспособность.

    По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1).

    Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":

    "1" - явно неорганизованный работник и руководитель;

    "2" - не умеет организовывать и планировать свой труд и труд подчиненных;

    "3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;

    "4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;

    "5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.

    По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения.

    Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист.

    Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.

    Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.

    Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:

    К = Оу.обр. (1 + С/4 + В/18), где

    Оу.обр. - оценка уровня образования, которая обычно принимается (составляет

    0,15 для лиц, имеющих незаконченное среднее образование;

    0,60 - для лиц со средним образованием;

    0,75 - для лиц со среднетехническим и незаконченным высшим образованием;

    1,00 - для лиц с высшим образованием по специальности;

    С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);

    В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.

    На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.

    Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок.

    На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.

    Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями.

    Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.

    Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.

    Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.

    Групповая экспертиза включает следующие обязательные этапы:

    Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;

    Выбор техники опроса или способов выявления индивидуальных мнений;

    Формирование экспертной группы;

    Проведение опроса экспертов;

    Обработка результатов (получение группового суждения);

    Анализ результатов.

    Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.

    Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.

    Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).

    Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.

    После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1).

    Таблица 1.

    Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:

    1. если всегда - 1,5 балла;

    2. если в большинстве случаев - 1 балл;

    3. если иногда - 0,5 балла;

    4. если почти никогда - 0 баллов.

    При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта.

    Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле:

    Где Зср - средний балл оценки качества по степени его функциональной значимости;

    З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале;

    N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах);

    Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле:

    Где Пср - средняя оценка степени проявления качеств у аттестуемого;

    П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;

    N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки;

    N - общее количество экспертов.

    Затем по каждому качеству определяется средневзвешенный балл по формуле:

    К = Зср * Пср, где К - качество.

    Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты:

    1) 57 х 1,5 = 85,5;

    2) 57 х 1,0 = 57,0;

    3) 57 X 0,5 = 28,5.

    Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.