НЕКОТОРЫЕ ПРОБЛЕМЫ ОРГАНИЗАЦИИ РЕЙТИНГА ФОТОСНИМКОВ

Павел ГОРСКИЙ, экспертолог

Введение
Основная идея
Проблема №1 - количество критериев оценки снимка
Проблема №2 - шкала
Проблема №3 - анонимность
Проблема №4 - существенно неравномерное
количество просмотров снимков.
Проблема №5 - построение рейтинга снимка
Проблема №6 - построение рейтинга участника
Проблема №7 - представление рейтинга участника
Фотоклуб - как бизнес

Введение

Экспертология - наука о методах получения и обработки экспертной информации. В рамках этой дисциплины эксперт, упрощенно говоря, рассматривается как некий "измерительный прибор".  Такая аналогия позволяет сразу представить себе возможные проблемы. Например, ясно, что прибор может измерять не все, что угодно; существует погрешность измерения и т.д. Оценка фотоснимков на фотосайтах (фотофорумах) достаточно хорошо укладывается в эту модель. Посмотрев, как устроены системы оценок фотоснимков на нескольких популярных российских сайтах, я убедился, что они (системы) не только далеки от совершенства, но содержат грубые методические ошибки, которые фактически во многом лишают смысла саму затею с оценкой снимков. Разумеется, в этом нельзя винить авторов этих систем - они хотели как лучше...

Предвижу естественное возражение: "В чем, собственно дело? Сайты работают. Популярность их даже растет! Действительно хорошие снимки имеют высокие рейтинги, откровенно плохие - низкие. К чему сыр-бор?"

Причины есть. Поверьте, я с уважением отношусь к авторам,  администраторам и модераторам фотосайтов! Это, как правило, люди увлеченные, неравнодушные, иногда  даже самоотверженные. Они тратят свое время и силы во многом, как говориться, "из любви к искусству". Их деятельность достойна, без сомнения,  всяческого уважения. Именно поэтому важно и нужно помочь им в их благородном деле. На то есть, как минимум, 3 причины:

1. Даже самая несовершенная система оценки, как правило,  верно  рейтингует экстремально хорошие или плохие снимки. И это не удивительно - иначе система противоречила бы здравому смыслу.  Большинство же "средних" работ рейтингуютя некорректно. (Что понимается под корректностью выяснится ниже).
2. Форумы указанных сайтов изобилуют критическими замечаниями в адрес принятых систем оценки и предложениями по ее возможному улучшению. Анализ этих текстов говорит о высоком "градусе" неудовлетворенности рядовых посетителей. Хуже того - видна тенденция к прогрессу негативных настроений.
3. Образно говоря, и на "Запорожце" можно возить клиентов. Но это не аргумент, чтобы отказаться от "Мерседеса", если последний можно получить без больших проблем.

Первоначально я планировал написать небольшую заметку, в которой собирался просто перечислить замеченные методические ошибки и кратко обрисовать пути их возможного исправления. Приступив к работе, быстро понял, что такая форма изложения не подходит. Одна  деталь цеплялась за другую, та - за третью. Приходилось отвлекаться от основной темы и вдаваться в обсуждение важных для понимания сопутствующих моментов и т.д. Волей-неволей я пришел к необходимости описания целостной концепции фотосайта, ориентированного на коллективную численную оценку снимков. В описании концепции профессиональные моменты оказались перемешаны с общими, но я надеюсь, что большинство читателей сумеют отделить одно от другого. Особое внимание в описании уделено проблемам, которые приходится решать при проектировании сайта. Большинство проблем общего характера почерпнуто из форумов. 

Важно подчеркнуть, что речь идет именно о численных оценках снимков, хотя это вовсе и не обязательная деталь фотосайтов. Например, на известном англоязычном ресурсе  http://www.photocritique.net/  численная оценка снимков вообще не предусмотрена. Допускаются только комментарии. 

Основная идея

Основу концепции составляет понятие КЛУБ, как объединение людей по интересу. Понятно, что основная цель клуба - удовлетворение потребности в самовыражении посредством фотографии и общении на эту тему. Но, как говорят французы - "дьявол прячется  в деталях". Именно детали реализации этой основной потребности могут сделать два клуба радикально различными до такой степени, что один может быть очень привлекательным, а другой - отталкивающим. Сверхзадача предлагаемого мной клуба - максимальный комфорт для всех членов, в том числе для новичков. Существующие сайты этому требованию НЕ удовлетворяют (что является одной из основных проблем, как будет видно далее). Достигается эта благая цель комплексом мер, центральная из которых - введение обязанностей для членов клуба (наряду с правами).

Именно отсутствие обязанностей у посетителей действующих сайтов порождает ряд неразрешимых проблем. Увы, за все приходится платить. Хочешь иметь комфорт - соглашайся на некие обязательные действия, как увидим, не  столь уж и обременительные. Итак, перейдем к проблемам.

Проблема №1 - количество критериев оценки снимка

Все виденные мной сайты предлагают одну единственную оценку снимка (кроме "photoforum.ru"). Один из модераторов объяснил это так: "А вы попробуйте заставить посетителя нажать более чем на одну кнопку!" И он абсолютно прав в том смысле, что посетителей его сайта, видимо, действительно нельзя заставить нажимать больше одной кнопки. Потенциальных членов предлагаемого мной Клуба абсолютно не должно устраивать такое упрощенчество. Снимок может и должен быть оценен, например,  по следующим критериям (прошу не придираться к терминам, я ведь экспертолог, а не фотограф):

- техническое исполнение (техника),
- композиция,
- художественная ценность,
- эмоциональное воздействие.

Разумеется, если речь идет о критериях  типа "художественная ценность", то имеется в виду ценность с точки зрения членов данного Клуба и не более того. Набор критериев может быть и другим - сейчас не это важно. Важно, что оценка должна быть многокритериальной (в разумных пределах). Набор критериев и их число - это выбор Клуба.  Не удивлюсь, если члены одного из подобных клубов решат раскрыть критерий "техника" такими параметрами как "свет", "цвет", и т.п. Разделы Клуба могут отличатся набором критериев. Так, в разделах "репортаж" и/или "жанр" может отсутствовать "художественная ценность". 

Проблема №2 - шкала

Все сайты используют для оценки равномерную шкалу, что порождает перекос в сторону высоких оценок. Этой  "болезнью" болеют все сайты. Не спасает и введение промежуточных оценок (типа 4+). Здесь я могу дать первый профессиональный совет: в подобных случаях необходима шкала с "растянутым верхом". Например, шкала оценок для критерия "художественная ценность" может выглядеть так:

Набор и название градаций - опять-таки выбор Клуба. Здесь достаточный простор для творчества. И снова прошу не придираться к словам в названии градаций - не в этом сейчас суть. Важна сама идея (кстати, достаточно старая) растяжки диапазона в верхней части.

Обратите внимание на самую нижнюю строку. Логично было бы увидеть там описание градации вроде "отсутствует". Однако, только растяжка шкалы, к сожалению, не способна полностью решить проблему перекоса в сторону высоких оценок. Здесь есть еще психологический момент - боязнь обидеть. Как не растягивай шкалу, а у многих не поднимается рука на то, чтобы "влепить кол". Еще один психологический момент хорошо выражается английской поговоркой "человек, живущий в стеклянном доме, не должен бросать в соседей камнями". По указанным причинам, на большинстве фотосайтов стандартом "de facto" стало невыставление  оценки вместо выставления плохой оценки. Так не лучше ли решить эту проблему путем замены обидного "кола" на дипломатичное "для домашнего альбома"? Эта идея, спонтанно практикуемая на ряде сайтов,  и проведена в жизнь в предлагаемой шкале. 

Проблема №3 - анонимность

Здесь все достаточно просто. Международная практика фотоконкурсов предполагает только анонимную оценку снимков. Членам проектируемого Клуба предлагается полностью поддержать принятую практику. Применяемую на ряде фотосайтов неанонимную оценку следует считать, увы, следствием отсутствия  элементарной культуры. Нужно смотреть правде в глаза: "магия имени" - психологический феномен, известный и понятный всем здравомыслящим людям, имеющим мало-мальский жизненный опыт.

Предвижу естественное возражение: есть авторы, которые угадываются и без подписи. Яркий пример из области поэзии -  Маяковский. Но давайте подумаем, много ли маяковских среди пишущих стихи? Таких уникальных авторов следует считать исключением, которое только подтверждает наличие правила.

Если среди членов Клуба появится такой самобытный, узнаваемый автор, то его без сомнения следует считать гордостью Клуба. Но, при этом, анонимность оценки остается жестким правилом. Здесь не должно быть послаблений. Отсутствие анонимности чревато разными уродливыми явлениями, в частности, мне пришлось наблюдать, так сказать,  "дедовщину", когда "старики" (признанные лидеры сайта) "давят" новобранцев.

Существует категория авторов, причем талантливых и уважаемых, которые отрицают анонимность. Признавая ее в международных конкурсах, они считают, что на фотосайтах ее быть не должно. Они считают допустимым оценивание пары (автор, снимок), вместо оценки только снимка, считая, что имя, если оно заработано честно, также должно "работать" на автора. Уважая имена и заслуги носителей этого мнения, я хочу подчеркнуть, что категорически не согласен с такой точкой зрения. 

Разумеется, анонимность должна действовать только в период, когда новый снимок подвергается оценке. После завершения этого периода авторство раскрывается. После этого допустимы только комментарии. Новые оценки выставлять нельзя. Полученный  в период оценки рейтинг  уже не может измениться. Сколько должен длиться период оценки и когда его следует считать завершенным - решение Клуба. Можно предложить, например, такую простую схему: период оценки завершается тогда, когда снимок получит ровно N оценок. Конкретное значение числа N - выбор Клуба. Вот здесь-то и должна выручить одна из основных идей Клуба - введение обязанности членов. Вступающий в члены Клуба, принимает на себя обязанность оценить не менее Х снимков при каждом посещении Клуба. Причем, ему для оценки принудительно подаются снимки, имеющие на момент посещения минимальное количество оценок. Дополнительно можно оговорить минимально допустимое для членов количество посещений Клуба в месяц. Этим чрезвычайно простым механизмом решается попутно еще одна очень болезненная 

Проблема №4 - существенно неравномерное количество просмотров снимков.

В предлагаемом Клубе, все вновь поступившие снимки достаточно быстро наберут нужное количество оценок, поскольку в период анонимности (он же период оценки) для членов Клуба должна быть реализована технология запрещения просмотра без выставления оценки. При этом, под словом "оценка" подразумевается многокритериальная оценка, т.е. набор оценок по всем принятым в Клубе критериям. Кстати, проблема неравномерности порождает подпроблему: как учесть разное количество просмотров при расчете рейтинга? На некоторых сайтах ее пытаются решить путем подбора функции расчета рейтинга, в которую количество просмотров входит как один из аргументов. При этом, автор функции вольно или невольно должен принять волюнтаристское решение - какое дополнительное количество просмотров дает приращение рейтинга, скажем, на 1%?  В нашем Клубе и этой проблемы попросту нет, т.к. в период оценки каждая работа получает ровно N оценок.

Проблема №5 - построение рейтинга снимка

Если критериев несколько, то что же такое рейтинг? Обычно под этим термином понимают некую интегральную (обобщенную) оценку. В прикладной дисциплине "Поддержка принятия решений" - в английском варианте  "Decision Making" - процедура или функция получения интегрального параметра на базе критериальных оценок получила название "решающее правило".

При проектировании решающего правила нужно учесть 2 основных задачи:
1. как получить одну оценку на основе нескольких,
2. как учесть мнения нескольких участников об одном и том же снимке.

Рассмотрим эти задачи  по очереди.

Прежде всего, необходимо решить - а нужна ли нам вообще интегральная оценка? Как правило, на фотосайтах интегральная оценка (рейтинг) используется для сравнения результатов участников. Набор оценок по нескольким критериям, вообще говоря, непосредственно годится для этой цели. Пусть, например, у нас имеются 2 участника и 3 критерия. И пусть оценки участников по критериям представлены в следующей таблице.

Участники	Критерий-1	Критерий-2	Критерий-3
Участник-1	х1	х2	х3
Участник-2	y1	y2	y3

Пусть, далее, с точки зрения членов клуба, критерий 1 важнее критерия 2, а последний, в свою очередь, важнее критерия 3. Можно ли сравнить успехи участников, только на основе информации из приведенной таблицы и информации о сравнительной важности критериев? Можно, и разными методами. Самый простой называется "лексикографическое упорядочение". Он сводится просто к упорядочению строк таблицы сначала по критерию 1, затем (при равенстве оценок по  первому критерию) по критерию 2 и, наконец, по критерию 3. Этот метод реализует следующую простую идею: если снимок 1 лучше снимка 2 по критерию 1, то он считается лучшим (в этой паре), вне зависимости от оценок по остальным критериям. При равенстве оценок по критерию 1 в силу вступает критерий 2. Тот снимок считается лучшим, который имеет более  высокую оценку по критерию 2. И т.д. Справедлив ли такой подход? Это зависит от мнения членов Клуба. 

Есть и более сложные методы. Самым известным, "классическим" методом упорядочения участников на основе качественной информации о сравнительной важности критериев является метод, основанный на понятии "единая порядковая шкала" (ЕПШ).  Для простоты объяснения, пусть ставится задача упорядочить снимки по оценкам, полученным ими только по двум критериям. Для определенности, пусть этими критериями будут "содержание" и "техника". Задано также, что содержание важнее техники. Используется 5-балльная шкала оценок. Решим задачу "в лоб", т.е. перечислим все возможные пары оценок и упорядочим их по убыванию предпочтительности. Две верхние строчки такого упорядочения построить легко. Это

Место	Содержание	Техника
1	5	5
2	5	4

А дальше мы сразу наталкиваемся на проблему. Что лучше (5, 3) или (4, 5)? Со всей откровенностью приходится признаться, что ответ на это вопрос зависит от произвола лица, принимающего решение. Если для этого лица содержание значительно важнее техники, скорее всего, будет принято решение считать (5,3) более важным, чем (4,5). Тогда первые четыре строчки будут выглядеть так

Место	Содержание	Техника
1	5	5
2	5	4
3	5	3
4	4	5

Продолжая в том же духе, можно достроить всю таблицу до конца. Она, естественно, завершится парой отметок (1,1). Таблица такого типа и называется "единой порядковой шкалой". Пользоваться ею – одно удовольствие! Сравнение любой пары снимков сводится к поиску в таблице соответствующих их оценкам строк. Тот, чья строка оказалась выше – считается лучше. Построение ЕПШ для числа критериев больше, чем 2 - задача довольно трудоемкая. Но сделать ее нужно только один раз! 

Если нам не нравятся подходы такого рода и есть горячее желание все же получить одно число, то нужно подобрать адекватное решающее правило. В дисциплине Decision Making  предложено и исследовано несколько десятков различных решающих правил. Разумеется, мы не можем рассмотреть даже основные из них в рамках этих кратких заметок. Единственное, что я не могу не отметить здесь, так это то, что одно из самых любимых "народом" решающих правил - это известная многим взвешенная сумма:

     R =   w₁  r₁ +  w₂  r₂  + ... +  w_n  r_n                 
где r_i - оценка снимка по i-му критерию,
      w_i - вес i-го критерия.

Несмотря на кажущуюся простоту и "естественность", эта функция корректна далеко не всегда. В частности, она основана на аксиоме: "недостаток в одном критерии может быть компенсирован избытком в другом". А теперь представьте, можно ли компенсировать недостаток качества изображения телевизора улучшением качества его звука? И это не все недостатки указанной функции! Не углубляясь в тему, замечу только, что подбор адекватного решающего правила должен проводить специалист. Возможно, он предложит несколько подходящих правил. Тогда окончательный выбор - за членами Клуба.

Вторая проблема, напомню, заключается в том, как учесть мнения нескольких участников об одном и том же снимке. На всех существующих сайтах, не мудрствуя лукаво, используют среднее арифметическое. Здесь большинство читателей насторожатся: неужели и среднее арифметическое некорректно? Спешу успокоить - корректно! Но так бывает далеко не всегда. В экспертологии среднее арифметическое считается корректным только если согласованность экспертных оценок достаточно велика. Представьте ситуацию, когда 4 эксперта оценивают некий реальный объект и дают ему следующие оценки (по 5-балльной шкале):

Номер эксперта	Оценка
1	1
2	1
3	5
4	5

Такая ситуация говорит о полной рассогласованности оценок и попытка использовать здесь среднее арифметическое шутливо называется у экспертологов попыткой посчитать "среднюю температуру по больнице". Но насколько можно считать фотоснимок реальным объектом? Скорее, его можно считать разновидностью произведения искусства, отражающего реальные объекты. А оценка таких "отражений" - дело крайне субъективное и требовать здесь согласованности, видимо, не стоит. Но эти соображения могут интерпретироваться членами Клуба достаточно своеобразно. Никто не может помешать им, тем не менее, ввести некий порог согласованности, или запретить использование среднего арифметического в случае крайней рассогласованности.

Замечание для математиков. Альтернативой среднему арифметическому может, например, быть медиана. Она более устойчива в том смысле, что ее труднее изменить, добавлением крайних оценок шкалы. Это свойство медианы позволяет использовать ее, помимо прочего, и в качестве простейшего средства борьбы с манипулированием, т.е. сознательным искажением своих оценок с целью поднять (или "завалить") некоторого участника. Есть и другие известные и достаточно простые средства борьбы с манипулированием. Например, любители фигурного катания на коньках знают, что при получении интегральной оценки участников, две крайние оценки судей попросту отбрасываются. Медиана, как нетрудно заметить, может служить хорошей базой для  упорядочения участников на основе ЕПШ, поскольку для последней неудобны дробные оценки.

Проблема №6 - построение рейтинга участника

Прежде всего уточним рабочий термин "участник". Разделим, для определенности, всех посетителей Клуба на 4 категории: "эксперт", "мастер", "кандидат", "гость". Всем новым посетителям автоматически присваивается статус "гость". Если гость хочет стать членом Клуба, он должен заявить об этом. В этом случае ему присваивается статус "кандидат". В период анонимности (период оценки) снимки кандидатов могут оцениваться только членами Клуба по принципу "да/нет": снимку может быть либо дана оценка "рекомендую", либо не дано никакой оценки (т.е. отказано в рекомендации). Для перехода из статуса "кандидат" в статус "мастер" требуется получить не менее Z рекомендаций. Конкретизация величины Z и способа ее получения - предмет соглашения членов Клуба. "Мастер" - уже полноправный член Клуба. Снимки мастеров оцениваются, так сказать, "по полной программе", т.е. по многим критериям, с использованием подробных шкал и т.д. Наиболее заслуженным мастерам со временем может быть присвоен статус "эксперт" - каждый Клуб должен иметь свою элиту. При оценке снимков, члены Клуба, имеющие разный статус должны иметь разные веса. Этот вопрос достаточно простой и я его здесь рассматривать не буду.

Таким образом, речь идет о рейтинге полноправных членов Клуба: мастеров и экспертов. На большинстве фотосайтов в качестве рейтинга участника используется средняя оценка по всем его снимкам. Что касается усреднения, то здесь оно корректно, но проблема в другом, а именно - в разном числе снимков. Я уже писал о большом числе решающих правил, предлагаемых в Decision Making, поэтому не хотел бы здесь опять углубляться в эту проблему. Предложу простое решение: среднее считается по Y лучшим снимкам. Разумеется, как всегда, выбор числа Y - за Клубом.

Естественное возражение - такой рейтинг имеет верхний предел. Если это кому-то не нравится, что ж, значит нужно искать другое решающее правило. Меня, к примеру, ситуация с верхним пределом вполне устраивает. Автор, достигший предела, записывается в какой-нибудь "Зал Славы" Клуба. Красиво и почетно. А кто-то стремится к вечным подвигам и ему претит сама идея венца карьеры. Тогда вперед! И вечный бой, покой нам только снится!  Не будем спорить - пусть Клуб решает.

Проблема №7 - представление рейтинга участника

Особая проблема - представление рейтинга участников. Многие ее не видят, но она есть. Иногда список участников с их рейтингами даже называют специальным термином "рейтинг-лист". Если рейтинг - дробное число, то типична ситуация, когда разница в рейтинге между соседними строками рейтинг-листа не превышает, скажем, одной сотой. Некоему Иванову естественно обидно, что некий Петров занимает более высокую строку, а разница-то между ними по сути ничтожна! Петрова можно утешать, что, дескать, таковы правила игры и нужно относиться к ним с пониманием и уважением. Утешать-то можно - утешить нельзя! Ситуацию нужно регулировать с учетом психологических особенностей творческой личности. Одно из неплохих решений - стратификация.

Этот термин произошел от английского strata  что означает "слой", "пласт". Иными словами, стратификация есть разбиение множества на ряд уровней или слоев. В случае с фотосайтом можно считать, что рейтинг разбит на несколько страт (уровней). Внутри каждой страты все участники неразличимы, т.е. считаются имеющими одинаковый рейтинг, соответствующий высоте уровня.

Хорошая аналогия - спортивные разряды. Прыгнул выше 1 метра 80 см - получай 2-й разряд. Выше 2-х метров - получи 1-й. Выше 2,10 - получи звание "мастер спорта". (Все приведенные значения высоты прыжков - условны, я не специалист по легкой атлетике и не знаю истинных значений нормативов).

Отмечу попутно, что если гость не стремится в Клуб, то он так и остается гостем. Чтобы гостям тоже было интересно, хорошим решением является широко известный "рейтинг зрительских симпатий". Я предлагаю строить его по простейшему принципу "нравится/не нравится". Т.е., если гостю снимок нравится, он нажимает на одну единственную кнопку с именем "нравится", в противном случае вообще ничего не нажимает. Естественно, гость не должен быть связан, подобно членам Клуба, никакими обязательствами, вроде принудительного просмотра наименее просмотренных снимков. Хотя и это - спорный вопрос. Что если предупреждать гостей, что первые W снимков им будут предложены  по усмотрению Клуба в рамках конкурса "зрительских симпатий", а всё сверх того они могут выбирать произвольно? Отпугнет ли это или будет встречено с пониманием?

Коротко коснусь других, как мне кажется, небезынтересных вопросов, каждый их которых вполне может стать отдельным предметом для обсуждения.

Фотоклуб - как бизнес

В основе фотосайта может лежать спонсорство, благотворительность или что-то из этого ряда. Но более вероятно, что сайт будет особым видом бизнеса. Естественно, к таким ресурсам проявляют повышенный интерес производители и продавцы фототоваров. С учетом их интересов клуб может создать условия для получения полезной статистики. Известно, что на ряде действующих сайтов снимок размещают вне зависимости от полноты указанных реквизитов. Достигнуть желаемой полноты можно опять-таки за счет вменения этого условия в обязанность членов Клуба. Т.е. снимок НЕ принимается, если не указан хотя бы один из обязательных реквизитов. Дело существенно облегчается тем, что такая ситуация привычна завсегдатаям Интернета, которым то и дело приходится заполнять всевозможные бланки и формы разной степени подробности и жесткости требований к полноте. Полезна она и самим фотолюбителям, да и случайных посетителей отфильтровывает, что тоже явный плюс.

Особая проблема - защита интеллектуальной собственности. Она достаточно сложна и не до конца отрегулирована на государственном уровне. Я не буду ее касаться, но хочу обратить внимание всех читателей, что показатель культуры фото Клуба - ситуация, когда об этой проблеме не забывают "по обе стороны сайта".

Здесь пора вспомнить, что основная идея Клуба - максимальный комфорт для участников, включая новичков. Именно это и нужно в первую очередь для успешного бизнеса. Ресурс должен не отталкивать (как сейчас зачастую происходит), а привлекать! Клиента нужно любить не на словах и проявлять о нем реальную заботу. Один японский бизнесмен, посетив Германию, заметил, что немецкие бизнесмены живут по устаревшей формуле "клиент всегда прав", а японские перешли на более прогрессивную: "клиент - это Бог!". Этим он объяснил явное отставание Германии от Японии в уровне развития сервиса.

2002 © Павел Горский

Что ещё можно сделать:
Обсудить статью на Форуме >>>
Написать письмо Автору >>>
Посетить сайт автора >>>