Wikivoyage:Вики любит памятники 2018/Технический отчёт жюри

Первый раунд: предварительный отбор

Исходный массив: все фотографии (32631)

Участвуют: 6 членов жюри и волонтёры

Сроки: 11 сентября — 5 октября, 5 порций по 6-7 тысяч фотографий в каждой, время на оценку одной порции: 5-6 дней

Принцип оценки: да/нет, каждую фотографию смотрят три оценщика

На выходе:

860 фотографий, одобренных двумя или тремя членами жюри
5209 фотографий, которые: а) одобрены хотя бы одним членом жюри или волонтёром; б) не отбракованы двумя другими членами жюри. Эти фотографии имеют шанс получить достаточную поддержку жюри (два голоса из трёх), но требуют дополнительной проверки.

Проблемы:

Разные критерии у разных оценщиков. Принцип «фотографией можно иллюстрировать статьи» все понимают совершенно по-разному. Следование одному лишь этому критерию приводит к совершенно избыточному количеству отобранных фотографий
Ограничения по количеству, подобранные эмпирическим путём (желательно: 12-15%, никак не более: 20% отобранных фотографий) позволяют добиться на выходе разумного числа фотографий, но опасны тем, что неплохие снимки будут пропущены, особенно если они оказались в конце, когда оценщик уже превысил(а) свой лимит
Первый раунд нельзя завершить до того, как все оценщики закончат свою работу, и каждая фотография получит по три оценки. Одни оценщики работают быстрее, другие медленнее; кроме того, не все завершают работу в срок. Соблюдение сроков требует оперативной переброски заданий между оценщиками, что создаёт другую проблему: при первичном просмотре оценщик сразу отбирает заведомо плохие и заведомо хорошие фотографии, оставляя спорные случаи на потом. Если в какой-то момент эти спорные фотографии перебросить другому оценщику, он (она) получит не первичную выборку, а снимки, уже прошедшие какой-то отбор, и будет вынужден(а) оценивать более строго, чтобы уложиться в лимит.

Второй раунд: предварительный отбор

Статистика результатов предварительного отбора

Исходный массив: 5209 фотографий из первого раунда

Участвуют: 6 членов жюри

Сроки: 7-13 октября

Принцип оценки: да/нет, каждую фотографию смотрят три оценщика, отобрать нужно не более 25% фотографий

На выходе: 714 фотографий, одобренных двумя или тремя членами жюри

Третий раунд: отбор шорт-листа

Исходный массив: черновой лонг-лист, 1574 фотографии = 860 из первого раунда + 714 из второго

Участвуют: 6 членов жюри

Сроки: 14-22 октября

Принцип оценки: каждую фотографию смотрят все оценщики, выставляя баллы от 1 до 5. Оценщики стараются следовать единым критериям: 25% фотографий получают 1 балл, 25% фотографий получают 4 или 5 баллов, оставшиеся 50% получают 2 или 3 балла. Выдержать интервалы трудно, по факту приходится перенормировать все оценки к общему среднему. Впрочем, перенормировка влияет лишь на сами оценки, а не на рейтинг конкретных фотографий относительно других.

На выходе: отранжированный лонг-лист. Самая высокая оценка — 4.73, самая низкая — 1.17. В черновой шорт-лист попадают 274 фотографии, получившие оценку не ниже 3.15.

Проблемы: Montage предлагает довольно грубую пятибалльную шкалу, не позволяющую добиться нормального распределения. Десятибалльная шкала была бы лучше, а в идеале стоит дать оценщикам возможность выставлять и дробные баллы, однако тогда придётся всё делать в табличке в Excel, что для 1000+ фотографий крайне неудобно.

Четвёртый раунд: обсуждение

Исходный массив: черновой шорт-лист с 1574 фотографиями.

Участвуют: координаторы жюри, спорные вопросы выносятся на обсуждение с членами жюри

Сроки: 14-23 октября (просмотр фотографий), 24-25 октября (обсуждение, основной шорт-лист), 29-30 октября (обсуждение, лонг-лист), 28-30 октября (обсуждение, шорт-листы спецноминаций)

По каждой из 1574 фотографий делается проверка:

фотографии организаторов и членов жюри — исключаются
фотографии, на которых заведомо нет ОКН — исключаются
фотографии, на которых показаны современные фрагменты интерьера или части объектов, не входящие в предмет охраны — остаются в лонг-листе с комментариями, в шорт-лист не попадают
повторы (похожие фотографии одного объекта от одного автора) — прореживаются на основании оценок и обсуждения с жюри; в шорт-листе отсев строже, в лонг-листе мягче
фотографии, вызывающие сомнения по качеству — исключаются на основании низких оценок (менее 2 баллов) или высказанной жюри критики

На выходе: шорт-лист сокращается до 212 фотографий, лонг-лист — до 1323 фотографий; также формируются шорт-листы спецноминаций на основании подходящих по тематике и не вызывающих сомнений фотографий из лонг-листа

Пятый раунд: выбор победителей

Исходный массив: основной шорт-лист (212 фотографий) и шорт-листы спецноминаций

Участвуют: 7 членов жюри

Сроки: 26-31 октября (основная номинация), 31 октября — 4 ноября (спецноминации)

Основная номинация: вначале все члены жюри выбирают по 30 фаворитов (+1 балл), а кроме того называют те фотографии, которые не нравятся (-1 балл) или активно не нравятся (-2 балла). Подсчёт баллов позволяет выявить нескольких лидеров. Затем круг обсуждения повторяется, но уже для тех фотографий, которые получили в первом круге достаточную поддержку, и с учётом фотографий, вышедших в финал. Члены жюри аргументируют свой выбор. На основании этих комментариев формируется список «лучших фотографий».

Спецноминации: алгоритм тот же, но каждый член жюри называет всего трёх фаворитов, и этого обычно достаточно, чтобы определить победителя

На выходе: список победителей, а также комментарии членов жюри к 42 лучшим фотографиям

Статистика

Лонг-лист: 1323 фотографии или 4.05% от общего числа; для сравнения, в 2017 году — 3.03%, в 2016 году — 2.88%

Шорт-лист: 212 фотографий или 0.65% от общего числа и 16.0% от числа фотографий в лонг-листе; для сравнения, в 2017 году — 0.53% (17.5%), в 2016 году — 0.60% (20.8%).

Отсечка для шорт-листа: 3.15 балла из 5; для сравнения, в 2016 и 2017 гг. была отсечка 6 из 10

Технические замечания

Отсечка по разрешению (2 МП) позволяет сразу исключить около 10% фотографий.
Отсечка по авторам в Montage не использовалась и в целом неоптимальна, поскольку в оценке участвуют волонтёры, чьи фотографии отсекать не нужно. Кроме того, имеет смысл оценивать фотографии организаторов и членов жюри вместе со всеми, чтобы поощрить хорошие загрузки хотя бы неформально.
Во втором и третьем раундах фотографии нужно импортировать в Montage списком, при этом возникают две трудности. Во-первых, Montage имеет свои хитрые представления о формате и признаёт лишь чисто текстовый файл, выложенный в Github или на другие сторонние ресурсы. Во-вторых, Montage не импортирует переименованные фотографии. Их нужно найти и переименовать в исходном списке, который затем импортировать в Montage ещё раз.

Мысли на будущее

Процедуру предварительного отбора можно сделать более предсказуемой, составив подробную инструкцию, в которой перечислить критерии оценки и объяснить, на что обращать внимание. Это позволит хотя бы частично решить проблему #1.
Квоты в предварительном отборе необходимы; без них количество отобранных фотографий выходит за любые рамки, даже если не привлекать к оценке волонтёров.
Система с «динамическим» перераспределением заданий между оценщиками в полной мере себя оправдывает, позволяя в сжатые сроки обработать хоть 5, хоть 10 тысяч фотографий; её главное ограничение — проблема #3.
Можно попробовать разбить предварительный отбор на две части, но по-другому. На первом этапе делать беглый отбор, оставляя примерно треть от общего числа фотографий. Спорных случаев при этом будет меньше, можно управиться в один заход и совершенно точно не придётся открывать фотографии в полном размере. На втором этапе вводить более строгие технические критерии и смотреть фотографии внимательно. В нынешнем году этот путь категорически не сработал, хотя есть надежда, что он даст более осмысленные результаты, если выдать подробные инструкции, а ещё лучше — предварительно обучить волонтёров.
Предварительный отбор должен опираться только на технические критерии; не нужно обсуждать, где ОКН, а где нет, что нужно и что не нужно для спецноминаций, поскольку это не всегда простые вопросы. Их лучше оставить до четвёртого раунда