Экспертные оценки и способы измерений. Сравнительный анализ качественных и количественных методов оценки личности

Критерии, используемые при формировании оценочной системы, должны быть измеримыми, т. е. должна иметься воз­можность оценки любого рассматриваемого объекта эксперти­зы по каждому из критериев.

В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, мы говорим о субъективных критериях, имея в виду прежде всего, что для оценки объек­тов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально - числовых шкал.

Естественно, что такие критерии, как "объем продукции", "себестоимость производства", "срок окупаемости", могут быть отнесены к объективным. В то же время такие критерии, как "гудвилл", связанный с оценкой интеллектуальной собст­венности, "имидж фирмы", "социальная значимость проекта" и другие, могут быть измерены лишь субъективно.

Многие из объективных крите­риев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объ­емы производства продукции, которые станут возможными по­сле реализации проекта, ожидаемая цена единицы продукции и др. часто во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Но первым шагом в процессе экспертного оценивания яв­ляется формирование адекватной оценочной системы.

Мы обсудили некоторые требования, предъявляемые к со­вокупности критериев, включаемых в состав оценочной сис­темы.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную про­цедуру. Это могут быть 2-3-туровые экспертизы, когда пред­варительно сформулированный перечень критериев уточняет­ся экспертами.

При формировании совокупности критериев должно быть обращено внимание на такие моменты, как четкое понимание смысла каждого из критериев ЛПР и экспертами.

Иногда целесообразно агрегирование критериев. Этим мо­жет быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и общее уменьшение количества критериев, что важно для снижения трудоемкости работы с оценочной систе­мой.

2. 3. Количественные и качественные экспертные оценки

Остановимся теперь на основных способах экспертных из­мерений - методах получения экспертных оценок, играющих во многих случаях определяющую роль при принятии важных управленческих решений.

Методы получения количественных экспертных оценок

1. Непосредственная количественная оценка

Непосредственная количественная оценка используется как в случае, когда надо определить значение показателя, из­меряемого количественно, так и в случае, когда надо оценить степень сравнительной предпочтительности различных объек­тов.

В первом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Это может быть конкретное численное значение показателя для оцениваемого объекта, например стоимость жилой квартиры; цена единицы продукции, при которой она может иметь кон­курентоспособный спрос; предполагаемая емкость рынка; оп­тимальный объем производства и т. д.

Если эксперт затрудняется указать конкретное значение по­казателя, он может указать диапазон, в котором лежит значе­ние оцениваемого показателя.

Во втором случае, когда оценивается сравнительная пред­почтительность объектов по тому или иному показателю, ко­личественная оценка, указываемая экспертом, определяет сте­пень их сравнительной предпочтительности.

Заранее необходимо условиться, что, скажем, большее зна­чение оценки соответствует более предпочтительному альтер­нативному варианту. Иногда количественную оценку сравнительной предпочтительности объектов целесообразнее произ­водить в баллах, используя специально разработанные балль­ные шкалы.

2. Метод средней точки

Метод используется, когда альтернативных вариантов до­статочно много. Если через f(a1) обозначим оценку первого альтернативного варианта значения показателя, относительно которого определяется сравнительная предпочтительность объектов, через f(a2) - оценку второго альтернативного вари­анта, то далее эксперту предлагается подобрать третий альтер­нативный вариант a3, оценка которого f(a3) расположена в се­редине между значениями f(a1) и f(a2) и равна f(a1) + f(a2)/2.

При этом в качестве первого и второго альтернативных ва­риантов целесообразно выбирать наименее и наиболее пред­почтительные альтернативные варианты.

Далее эксперт указывает альтернативный вариант a4, значе­ние которого f(a4) расположено посередине между f(a1) и f(a3), и альтернативный вариант a5, значение которого f(a5) располо­жено посередине между значениями f(a1) и f(a4).

Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтерна­тивных вариантов.

3. Метод Черчмена - Акофа

Метод Черчмена - Акофа используется при количествен­ной оценке сравнительной предпочтительности альтернатив­ных вариантов и допускает корректировку оценок, даваемых экспертами.

В методе предполагается, что оценки альтернативных вари­антов - неотрицательные числа, что если альтернативный ва­риант a1 предпочтительнее альтернативного варианта а2, то f(a1) больше, чем f(a2), а оценка одновременной реализации альтернативных вариантов a1 и а2 равняется f(a1) + f(a2)).

Все альтернативные варианты ранжируются по предпочти­тельности, и каждому из них эксперт назначает количествен­ные оценки, как правило, в долях единицы.

4. Метод лотерей

Согласно этому методу, для любой тройки альтернативных вариантов а1, а2, а3, упорядоченных в порядке убывания пред­почтительности, эксперт указывает такую вероятность p, при которой альтернативный вариант а2 равноценен лотерее, при которой альтернативный вариант a1 встречается с вероятно­стью р, а альтернативный вариант а3 - с вероятностью 1 - р.

Методы получения качественных экспертных оценок

Иногда специфика объектов экспертного оценивания тако­ва, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

1. Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных ва­риантов к установленным и принятым к использованию клас­сам, категориям, уровням, сортам и т. д. (далее - классы).

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объ­екты, заранее не определены. Может быть заранее не опреде­лено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь по­сле завершения процедуры классификации.

Методы качественной оценки риска.

План

§ 1. Понятие оценки предпринимательских рисков.

Методы количественной оценки риска.

Методы качественной оценки риска.

§1. В процессеуправления рисками особое внимание уделяется механизму оценки предпринимательского риска. Оценка риска – это определение количественным и качественным способом величины (степени) риска.

В процессе принятия управленческого решения в любой сфере деятельности перед предпринимателем стоит задача выбора только одного, которое бы отвечало его требованиям. Для этого предпринимателю необходимо проанализировать все возможные варианты и их последствия.

Оценка предпринимательского риска зависит от многих факторов, в том числе, как от объективных, так и от субъективных. Так, качество оценки уровня риска зависят и от опыта предпринимателя, и от ситуации, в которой принимается решение. Если решение принимается в условиях неопределенности, предприниматель точно знает результат каждого из вариантов решения. Однако, как отмечалось выше, наличие определенности – это довольно редкое явление в предпринимательстве. Причем неопределенность может возникнуть даже при вполне ясном однозначном выборе, в случае если решение принимается в условиях, когда состояние внешней среды неизвестно или быстро меняется.

Оценка предпринимательских рисков, и в том числе финансовых, проводится с целью определения вероятности и размера потерь, характеризующих величину риска.

Следует различать качественную и количественную оценку предпринимательского риска. Качественная оценка может быть сравнительно простой, ее главная задача – определить возможные виды риска, а также факторы, влияющие на уровень риска при выполнении определенного вида деятельности. Качественный анализ проводится, как правило, на стадии разработки бизнес-плана. На данном этапе оценки риска предприниматель должен выявить основные виды рисков, влияющие на результаты предпринимательской деятельности.

Количественная же оценка является более трудоемкой, длительной и затратной. В исследованиях, посвященных проблеме риска, встречаются разные подходы к определению критерия количественной оценки риска. Рассмотрим некоторые из них.

В случае рассмотрения риска как вероятности неудачи критерием оценки риска является вероятность того, что полученный результат окажется меньше требуемого значения. Расчет данного критерия производится по следующей формуле:

где R – критерий оценки риска;

P – вероятность наступления рискового события;

D tr – требуемое (планируемое) значение результата;

D – полученный результат.

Недостатком рассмотренного метода является то, что он позволяет оценить уровень риска только после получения определенного результата, а для предпринимателя важно оценить риск на этапе принятия решения. Для этого существует метод оценки риска, который в качестве критерия последнего рассматривает абсолютную величину, исчисляемую по формуле:

где R – степень риска;

У – ожидаемый ущерб;

Р(У) – вероятность ущерба.

§2. Наиболее распространенными методами количественного анализа риска являются следующие:

Статистический;

Анализ целесообразности затрат.

Суть статистического метода заключается в том, что изуча­ется статистика потерь и прибылей, имевших место на данном или аналогичном производстве, устанавливается величина и ча­стота получения той или иной экономической отдачи и состав­ляется наиболее вероятный прогноз на будущее.

К числу основных расчетных показателей этого относятся: дисперсия, среднеквадратическое (стандартное) отклонение, коэффициент вариации.

Мерой количественной оценки величины риска служит по­казатель «среднее (математическое) ожидаемое значение событий (результата)», который рассчитывается по формуле:

где – среднее ожидаемое значение;

– абсолютное значение -го результата;

Вероятность наступления -го результата;

Число вариантов исхода событий.

Другими показателями оценки риска являются величины
изменчивости (колеблемости) возможного результата - среднее
квадратическое отклонение действительных результатов от сред­него ожидаемого значения и дисперсия, которые определяются по формулам:

; (4)

, (5)

где σ - среднее квадратическое отклонение;

σ 2 - дисперсия.

Остальные обозначения соответствуют принятым ранее.

Дисперсия и среднее квадратическое отклонение характери­зуют абсолютную колеблемость возможных финансовых резуль­татов.

Для сравнительной оценки наиболее пригодны показатели относительной колеблемости: коэффициент вариации и бета-коэффициент.

Коэффициент вариации (V) рассчитывается по формуле:

Бета-коэффициент (β)применяется для оценки риска вложений в ценные бумаги и рассчитывается по формуле:

где Δ i - процент изменения курса i-й ценной бумаги;

Δ - средний процент изменения курсов всех акций на фон­довом рынке.

При значении коэффициента вариации до 10% колеблемость считается слабой, при значении 10-25% - умеренной, свыше 25% - высокой. Соответственно оценивается и степень финан­сового риска.

Анализ целесообразности затрат заключается в определении потенциальных зон риска. В качестве исходных факторов, ко­торые могут вызвать рост планируемых затрат, рассматривают следующие факторы или их комбинации:

ü первоначальная недооценка стоимости проекта;

ü изменение границ проектирования;

ü различие в производительности;

ü увеличение первоначальной стоимости проекта;

ü изменение условий реализации проекта.

Факторы могут быть детализированы. Примером может слу­жить анализ показателей финансовой устойчивости с целью оп­ределения степени риска финансовых средств.

Все указанные выше методы анализа позволяют провести, как правило, количественную оценку риска и определить численную величину возможных потерь и вероятность их появления. Но на практике количественный анализ риска дополняется его каче­ственным аспектом.

Качественный анализ риска может быть сравнительно простым. Его главная задача - определить факторы риска, этапов и ра­бот, при выполнении которых риск возникает, т.е. установить потенциальные области риска, после чего определить все возмож­ные риски.

Все факторы, влияющие на степень риска, можно подразде­лить на объективные и субъективные. К объективным относятся факторы, не зависящие непосредственно от самой фирмы, ин­фляции, конкуренция, политические и экономические кризисы, экология, таможенные пошлины и т.д. Субъективные факторы характеризуют непосредственно данную фирму: производствен­ный потенциал, кадровый состав, хозяйственные связи, финан­совое состояние.

В зависимости от полученных результатов определяют, на­сколько безопасна среда, в которой функционирует фирма либо осуществляется реализация данного проекта.

В литературе по проблеме риска приводится много методов качествен­ной оценки финансовых рисков, использующие результаты опыта, интуицию, сбор и анализ различной информации, т.е. эвристические методы.

Особенностью таких методов и моделей является отсутствие строгих ма­тематических доказательств оптимальности получаемых решений. Общей на­правленностью этих процедур является использование человека как «измери­тельного прибора» для получения количественных оценок и суждений.

Яркими примерами традиционных эвристических процедур служат раз­личные экспертизы (метод экспертных оценок), консилиумы, совещания и т.п., результатом которых являются экспертные оценки состояния объекта исследо­вания.

Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются дорого­стоящие мероприятия.

Метод экспертных оценок представляет собой процедуру получения оценки риска с помощью опросов специально отобранных экспертов относи­тельно значений некоторых параметров и/или показателей анализа. Для осу­ществления экспертной оценки формируется группа аналитиков различного направления, хорошо информированных в области рассматриваемой проблемы. Члены экспертной группы отбираются по признакам их формального профес­сионального статуса и должностного положения, ученой степени, стажа прак­тической и научной работы, а также результатам тестирования и аттестации со стороны коллег и других специалистов. Группа экспертов должна обеспечивать надежность и полноту анализируемой информации, возможность ее проверки с точки зрения методологии ее формирования, создавать условия для статистиче­ской устойчивости анализируемых рядов динамики и гарантировать надеж­ность самой процедуры оценки. Форма опроса экспертов может быть аноним­ной, очной или заочной, индивидуальной или групповой.

Каждому эксперту предоставляется полный набор анализируемой инфор­мации, перечень возможных рисков и шкала оценки вероятности их наступле­ния (или ненаступления). Например, предлагается следующая шкала оценки ка­кого-то конкретного риска:

0 – несущественный уровень риска;

25 – скорее всего рисковая ситуация не наступит, т. е. уровень риска со­хранит свой оптимальный уровень;

50 – рисковая ситуация не определена, и, вероятно, необходима дополни­тельная информация;

75 – достаточно высокая вероятность наступления рисковой ситуации;

100 – рисковая ситуация наступит обязательно.

Затем экспертные оценки подвергаются анализу на их различие и проти­воречивость. При этом максимально допустимая разница между оценками кон­кретного вида риска двух экспертов не должна превышать определенного, за­ранее заданного значения вероятности наступления этого риска:

max /Ai – Bi / <= K (2),

где А, В – вектор оценки для каждого из двух экспертов;

i – вид оцениваемого риска;

К – значение критерия.

Например, при наличии трех экспертов должно быть сделано три оценки: для попарного сравнения мнений первого и третьего, первого и второго и вто­рого и третьего экспертов.

Помимо метода экспертных оценок к группе качественного анализа уровня финансового риска можно отнести такие методы, как метод аналогий, метод «Due Diligence» («должное внимание»), «дерево решений», метод «Монте-Карло».

Метод аналогий, который заключается в сравнении вида, размера и причин возникновения или изменения конкретного анализируемого риска с аналогичной ситуацией. Сравнение проводится с ситуацией в прошлом или су­ществующей в аналогичных институциональных единицах в настоящем. Для этой цели используются результаты исследовательской и маркетинговой ин­формации.

Метод «Due Diligence» («должное внимание»), который используется, главным образом, банками или небанковскими финансовыми учреждениями, проводящими некоторые банковские операции. В основе этого метода лежит система сбора и анализа информации об эффективности деятельности клиен­тов, учредителей и всех субъектов третьего уровня маркетингового анализа: по­средников, поставщиков, конкурентов и всех видов контактных аудиторий.

«Дерево решений». Метод построения «дерева решений» используется чаще всего для анализа риска, при котором можно выделить обозримое количе­ство просчитываемых вариантов. Этот метод заключается в определении веро­ятности реализации определенного количества возможных сценариев, в опре­делении количественных и качественных параметров риска для каждого сцена­рия. Для проведения исследования методом «дерева решений» необходимо иметь максимально возможный объем количественной и качественной инфор­мации не только в статике, но и в динамике. Для сбора и оценки данных необ­ходимо соблюдать следующую последовательность:

1. определение состава и продолжительность жизненного цикла процесса и/или конкретной финансовой операции;

2. определение ключевых внешних и/или внутренних событий, которые могут оказать влияние на динамику уровня риска;

3. определение времени наступления этих событий;

4. определение возможных решений или вариантов действий, которые могут быть предприняты в результате наступления или ненаступления каждого ключевого события;

5. определение вероятности принятия каждого из возможных решений;

6. определение уровня риска при прохождении каждого из выявленных этапов процесса.

На основании полученного результата строится «дерево решений». Его узлы представляют собой ключевые события, а стрелки (векторы) и соединяю­щие узлы – объективный процесс/конкретную финансовую операцию и т.д.

Для проведения анализа полученного «дерева решений» необходимо оп­ределить все возможные сценарии и в зависимости от ситуации выбрать опти­мальный.

Метод «Монте-Карло», который является методом формализованного описания неопределенности, применяемый в наиболее сложных для прогнози­рования ситуациях.

Метод основан на применении имитационных моделей, позволяющих создать множество сценариев, согласованных с заданными ограничениями на исходные переменные. Имитационное моделирование – это искусственный эксперимент, при котором вместо проведения натуральных испытаний прово­дятся опыты на математических моделях.

На практике данный метод может быть применен только с использова­нием ряда компьютерных программ, позволяющих описывать прогнозные мо­дели с большим количеством случайных сценариев.

Основным недостатком качественного анализа финансовых рисков явля­ется высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок. Именно поэтому во многих случаях предпочтительней считаются методы количественного анализа.

Любые изменения в условиях или результатах деятельности организации (промышленного предприятия, торговой фирмы или банка), связанные с той или иной альтернативой управленческого решения, можно определить только тогда, когда существуют соответствующие показатели, которые можно измерить. Но речь идет не только о количественных измерениях в привычном для нас понимании, но и о качественных оценках, позволяющих судить о динамике происходящих изменений. Поэтому, говоря об оценках экспертов, мы понимаем под ними количественные или качественные измерения соответствующих показателей.

В зависимости от целей экспертизы, эксперты могут оценивать стоимость недвижимости, ожидаемый уровень инфляции, изменения валютного курса, надежность эмитента ценной бумаги, рейтинг банка и т.д. Объекты оценки и оцениваемые показатели весьма разнообразны. Если при этом эксперт должен измерить значение количественного показателя (дать количественную оценку), он может указать конкретное числовое значение или интервал, в котором оно лежит. Если же эксперт должен определить значение показателя, который может быть оценен только качественно (дать качественную оценку), то он может использовать для этого вербально-числовые шкалы.

Итак, экспертная информация может носить как количественный, так и качественный характер. Рассмотрим наиболее распространенные методы ее измерения отдельно для каждого из этих двух случаев.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка. Эксперт непосредственно указывает числовое значение показателя для оцениваемого объекта (альтернативы), например, стоимость квартиры или земельного участка, предполагаемую емкость рынка и т.п. Если конкретное значение показателя указать трудно, эксперт может определить диапазон, в котором находится это значение.

Метод средней точки. Этот метод используется, когда альтернативных вариантов, требующих оценки, достаточно много. В начале эксперт количественно оценивает наиболее предпочтительную альтернативу - f(а1) и наименее предпочтительную - f(а2). Далее он должен подобрать третий альтернативный вариант а3, оценка которого f(а3) расположена в середине между значениями f(a1) и f(a2) и равна половине их суммы. Затем экспертом определяется оценка альтернативы а4, значение которой - f(а4) - расположено посередине между значениями f(а1) и f(а3), и альтернативы а5 - f(а5), значение которой является средним значением между f(а3) и f(а4), и так далее до тех пор, пока не будет дана оценка всех сравниваемых альтернатив.

Методы получения качественных экспертных оценок

Метод экспертной классификации. Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернатив к установленным и принятым классам, категориям, уровням, сортам и т.п., например, оценка дегустаторами сортов чая или определение категории отеля. Если классы установлены заранее, то эксперту последовательно предъявляют альтернативные варианты и тот определяет, к какому классу принадлежит данная альтернатива. Если же классы не установлены, то эксперту предъявляют альтернативные варианты парами и просят определить, относятся они к одному классу или к разным. После чего альтернативы предлагаются для оценки последовательно, и выясняется, можно ли каждую из них отнести к одному из образовавшихся классов, или для нее надо образовать новый класс. Процедура повторяется до тех пор, пока не будут оценены (расклассифицированы) все альтернативы.

Метод ранжирования альтернатив. Сущность этого метода заключается в упорядочивании сравниваемых альтернатив по степени предпочтительности определенного признака. Если таких альтернатив сравнительно немного (не более 20), то эксперту предъявляется весь набор альтернативных вариантов, и он указывает наиболее предпочтительный среди них. Затем эксперт определяет наиболее предпочтительный вариант из оставшихся. И так далее, пока все оцениваемые альтернативы не будут проранжированы. Если же оцениваемых вариантов больше, то сначала производится их разбиение на упорядоченные по предпочтению группы с помощью метода экспертной классификации, а затем ранжирование внутри каждой группы.

Метод экспертных кривых. Этот метод применяется, когда целью экспертизы является разработка прогнозов на основе анализа динамики изменения показателей, характеризующих объект экспертизы, например, темпов роста ВВП, инфляции, уровня безработицы и т.п. Использование данного метода предполагает построение на основе имеющихся статистических данных графика, отображающего тенденцию динамики анализируемого показателя. Затем, при помощи экстраполяции, эта тенденция продолжается в будущее, что дает возможность оценить значение данного показателя в прогнозируемом периоде. Однако использование экстраполяции может привести к существенным ошибкам, т.к. не учитывает возможность качественных изменений, приводящих к смене тенденции. Поэтому далее, на основе обобщенного мнения экспертов, на графике определяются точки, в которых следует ожидать смены тенденции изменения оцениваемого показателя, что позволяет наглядно представить возможные альтернативные сценарии развития ситуации.

Двум рассмотренным выше группам методов получения экспертных оценок соответствуют и два типа шкал:

шкалы количественных измерений;

шкалы качественных измерений.

Количественные шкалы

Абсолютная шкала. Если требуется определить количество мест в аудитории или количество работников, необходимых для выполнения определенной операции, то число, являющееся результатом подобных измерений, определяется однозначно и является единственным. В этом и заключается особенность абсолютной шкалы.

Шкала отношений. Предполагает возможность производить измерения в различных системах единиц. Так, например, если оценивать массу предмета в килограммах, получим одно числовое значение, в фунтах - другое и т.д. Однако какой бы системой измерений ни пользоваться, отношение масс любых двух предметов будет одинаково и при переходе от одной системы к другой не меняется. То же самое наблюдается и при измерении длины предметов. Это типичные примеры шкалы отношений, в которых отношения числовых оценок остаются неизменными.

Шкала интервалов. В шкале интервалов при переходе от одной системы измерений к другой отношения числовых значений оцениваемых альтернатив не сохраняются, однако сохраняется отношение разностей числовых оценок. Примером измерений в шкале интервалов является определение температуры, которую, как известно, можно измерять по разным шкалам: Цельсия, Фаренгейта и т.д. Каждый раз мы будем получать разные числа, т.к. в различных шкалах используются различные точки начала отсчета и различные единицы масштаба измерений. Но эти разные числовые оценки соответствуют одной и той же температуре объекта.

Шкала разностей. Если при переходе от одной числовой системы измерений к другой меняется лишь точка начала отсчета, такие шкалы называются шкалами разностей. Примером количественных оценок в шкале разностей являются системы летоисчисления, отличающиеся точкой начала отсчета (от рождества Христова, от сотворения мира или от переселения пророка Мохаммеда из Мекки в Медину).

Качественные измерения являются гораздо менее строгими, они носят субъективный характер и для них используются другие типы шкал, основными из которых являются следующие.

Качественные шкалы

Номинальная шкала (шкала наименований). Суть измерений оцениваемых альтернатив в этой шкале - разбиение их на классы по определенному признаку. Всем альтернативам, попавшим в один класс, должно соответствовать одно и то же число. Примерами измерений в номинальных шкалах может служить разбиение студентов одного курса на группы, разделение изделий по уровням качества (сортам) и т.д.

Порядковая шкала. Эта шкала используется для ранжирования, т.е. определения порядка предпочтения альтернатив, выраженности того или иного свойства, например важности, срочности и т.п.

Довольно часто в ходе экспертизы возникает необходимость измерения показателей, оценки которых носят заведомо субъективный характер. Так, например, на знаниях и опыте специалистов основаны оценки степени риска при реализации того или иного инвестиционного проекта, конкурентоспособности определенного вида продукции, уровня компетентности кандидата на вакантную должность и т.п. В этих случаях используют особый тип порядковых шкал - вербально-числовые шкалы. Их особенность как раз и состоит в том, что они позволяют измерить степень интенсивности какого-либо свойства, имеющего субъективный характер. В состав вербально-числовой шкалы входят содержательное (словесное) описание выделенных градаций и соответствующие им (градациям) числовые значения.

Наиболее известна широко применяемая на практике шкала Харрингтона, показанная в табл. 6.1.

Таблица 6.1.

Шкала Харрингтона

Приведенные в таблице числовые значения получены на основе статистического анализа большого массива данных, благодаря чему шкала Харрингтона имеет универсальное применение и может в соответствующих модификациях (например, в виде шкалы баллов) использоваться для оценки различных показателей качественного характера.

Подводя итоги изучения экспертных методов, следует отметить, что их значение состоит в том, что они усиливают элемент коллегиальности в процессе принятия сложных решений и, используя интуицию и коллективную генерацию идей, позволяют находить новые, оригинальные решения проблем, к которым нельзя прийти с помощью только логических рассуждений.

В то же время между всеми рассмотренными способами разработки и обоснования решений (методами моделирования и экспертными методами) на практике довольно трудно установить четкие границы, т.к. разрешение комплексных проблем современного менеджмента требует и комплексного использования различных логических, статистических, математических и эвристических приемов. Поэтому не какая-то одна, а преобладающая группа способов и формирует тот или иной метод. Области применения методов принятия решений зависят, в основном, от характера решаемых проблем и условий принятия решений, что отражено на рис. 6.1.

Выводы

Сущность экспертных методов принятия решений заключается в получении ответов специалистов на заранее поставленные перед ними вопросы, обработке полученной информации с помощью специальных логических и математических процедур и преобразовании ее в форму, удобную для выбора наиболее предпочтительной альтернативы решения.

Среди методов экспертных оценок (различающихся процедурой организации экспертизы) основными являются метод комиссий, метод мозговой атаки, метод Дельфи и метод разработки сценариев.

В процессе формирования экспертной комиссии возникает проблема оценки качеств эксперта - необходимость учитывать его профессиональные знания, опыт деятельности и результаты работы в предшествующих экспертизах.

Способы оценки качеств эксперта делятся на три группы: априорные (не учитывающие эффективность его участия в предыдущих экспертизах); апостериорные (основанные на реальных результатах участия специалиста в проведении экспертиз) и тестовые (предполагающие проведение специального испытания для потенциального эксперта).

Экспертная информация может носить как количественный, так и качественный характер. Для получения количественных оценок основными методами являются метод непосредственной количественной оценки и метод средней точки. Для получения качественных оценок используются экспертная классификация, ранжирование альтернатив и метод экспертных кривых. Этим двум группам методов получения экспертных оценок соответствуют и два типа шкал: шкалы количественных измерений и шкалы качественных измерений.

Вопросы для самопроверки

Что включает в себя понятие априорные методы оценки эксперта?

В каких случаях принято использовать апостериорные методы оценки?

Каковы условия применения тестовых методов оценки качеств эксперта?

В чем различие количественных и качественных экспертных оценок?

По каким параметрам строятся качественные шкалы?

Экспертные оценки и способы измерений.

Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка

Эксперт указывает конкретное числовое значение или диапазон искомого параметра.

Метод средней точки.

Применяется при большом количестве альтернативных вариантов.

Сначала выбираются наиболее (А) и наименее (Я) предпочтительные альтернативы. Далее – промежуточный вариант – М, оценка которого делит отрезок А – Я пополам.

Методы получения качественных экспертных оценок

Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)

Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.

Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.

Инструментами вышеперечисленных методов являются качественные и количественные шкалы.

19. Способы оценки качеств экспертов и формирование экспертных комиссий.

Метод суда.

Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.

Оценка качеств эксперта .

Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.

Формирование состава экспертной комиссии эависит от:

Конкретной ситуации принятия решения;

Возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

Возможностей специалистов принять участие в работе экспертной комиссии.

Не существует общепринятой единой методики оценки качеств эксперта.

Можно опираться на:

Профессиональные знания;

Опыт и эффективность деятельности в составе экспертных комиссий.

Способы оценки качеств эксперта:

Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).

Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).

Тестовые – подразумевают проведение специального испытания.

Тест должен быть специально разработан под конкретные объекты экспертной оценки

Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту

Должна быть разработана шкала для определения точности оценок, даваемых экспертом

Вероятность случайного угадывания правильной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.