Новости | Результаты тестов матчмейкинга

Djent_Lady

В течение последних нескольких недель мы провели серию коротких тестов матчмейкинга на основе разнообразных отзывов, которые мы получили. Эти отзывы начинались от просьб сделать подбор быстрее, строже, разных комбинаций между ними, и заканчивая, да, даже отключением матчмейкинга по рейтингу навыка и возвратом к подбору по старой системе рангов. 

Мы бы хотели начать с благодарности всем, кто уделил время тому, чтобы поделиться своими мыслями о каждом из тестов. Хоть мы и можем отследить на своей стороне такие вещи, как время в очереди, ваши отзывы - бесценны, когда дело касается нахождения невероятных случаев и понимания того, как эти изменения ощущаются, чем как они себя проявляют. Спасибо вам! 

Мы держали детали тестов в секрете до этого момента, чтобы это не повлияло на ваши отзывы, но так как эти тесты уже закончились, мы готовы поделиться некоторыми деталями того, что вообще тестировалось. Но сначала нам нужно объяснить, что каждое из этих изменений означает. 

Предупреждаем сразу, это будет долго и очень технически!   

 

Переменные 

У нас есть целый набор настроек, которые мы можем менять с нашей стороны. Вот небольшой список того, что мы меняли во время тестов.  

Первое, это максимальный разброс. Когда вы ищете матч, мы пытаемся найти других игроков, которые близки к вашему рейтингу (+/- 50 очков). Если мы не можем этого сделать, то граница поиска со временем расширяется, пока мы не сможем найти вам матч. Стандартно граница установлена на 500 очках от вашего рейтинга. Это сделано для того, чтобы гарантировать вам нахождение матча, хоть он и может не быть самым равным.  

Второе, это время расширения поиска. Это то, как долго занимает достижение максимального разброса при поиске. Оно стандартно установлено на 5 минутах.  

Затем у нас есть несколько переключателей, которые мы можем выключить/включить. Это: 

Двунаправленный матчмейкинг: Обычно как только один игрок проводит слишком много времени в ожидании, другие игроки могут быть отправлены к нему в матч (пока они в пределах максимального разброса рейтинга). Двунаправленный матчмейкинг требует, чтобы оба игрока ждали достаточно долго, чтобы подойти друг к другу и быть отправленными в один матч. Обычно он выключен.  

Если это звучит непонятно, не волнуйтесь, это действительно сложно. Вот небольшая инфографика, чтобы прояснить некоторые вещи:

Рейтинг каждого игрока отмечен красным, а их текущие поиск матчей показан голубым.  

• В примере 1 поиск игрока А расширился до того, чтобы покрыть игрока В, но поиск игрока В еще не расширился, чтобы покрыть игрока А, так что вместе в матч они не попадут. 
• В примере 2, поиск обоих игроков расширился достаточно, чтобы покрыть друг друга, так что теперь они могут попасть в один матч. 
• Когда мы используем стандартный (однонаправленный) матчмейкинг, оба примера приведут к матчу.  

Отображение Разрядов: Легко и просто. Мы можем отключить Разряды на послематчевом экране, так как они обычно не используются для матчмейкинга. Эффекта тут нет, но нам было интересно увидеть, как игроки на это отреагируют, и как это влияет на их восприятие матчмейкинга.  

Матчмейкинг на основе Разрядов: Мы можем отключить поиск по рейтингу навыка целиком и использовать вместо него для поиска Разряды. Для тех ребят, кто присоединился к нам недавно: это, грубо говоря, то, каким образом работал подбор игр до введения матчмейкинга по рейтингу навыка.  

 

Тесты 

А теперь часть, которую вы так ждали: что именно мы тестировали каждый день? Мы также поделимся своими ожиданиями, и как они соотнеслись с результатами. Сразу же дисклеймер: в этом сегменте мы будем много говорить об обычном, стандартном и типичном. Если оно не совпадает с вашим опытом, не волнуйтесь, мы знаем, что все может меняться в зависимости от целой кучи разных факторов (время, регион, роль, рейтинг, и т.д.).   

В первых трех тестах мы не ожидали сильного улучшения. Они были призваны протестировать отдельные переменные и посмотреть их эффект на подбор матчей. После этого мы начали комбинировать эти переменные, чтобы увидеть, какой эффект они оказывают вместе.  

 

28 марта 

Тест: 

• Время расширения поиска снижено до 1 минуты (с 5 минут)  

Ожидания: Более быстрый подбор матчей конкретно для игроков, играющих во вне пиковое время, но качество подбора будет хуже.  

Результаты: Как и ожидалось, время ожидания значительно снизилось для всех (быстрее, чем в другие дни), особенно для игроков на крайних значениях спектра рейтинга. Качество матчей в среднем сильно не изменилось, но некоторые игроки заметили сильный разброс в уровнях навыков.  

Рейтинг убийств заметно изменился на крайних значениях рейтинга навыка, Убийцы с высоким рейтингом стали больше убивать, а Убийцам с низким рейтингом пришлось нелегко. Это, скорее всего, связано с тем, что игроков с крайними значениями рейтинга чаще ставило с игроками из серединных значений рейтинга.  

 

29 марта 

Тест: 

• Максимальный разброс снижен до 250 (с 500)  

Ожидания: Более долгий подбор, особенно для игроков с очень высоким/низким рейтингом и/или во внепиковые часы, но в целом матчи более хорошего качества.  

Результаты: Как мы и предсказывали, время ожидания увеличилось для игроков на концах рейтинга, хоть и игроки в середине не почувствовали заметного влияния на время подбора (в целом). В общем, этот тест только слегка снизил среднюю разницу в рейтинге по сравнению с днем без теста, хоть и игроки на концах рейтинга могли заметить увеличение времени подбора.  

 

30 марта 

Тест: 

• Включение двунаправленного матчмейкинга  

Ожидания: Более долгий подбор для игроков во внепиковые часы и игроков с крайними значениями рейтинга навыка, но более честный подбор для игроков, кому подобрали матч быстро.  

Результаты: Более долгое время подбора оказалось преуменьшением, некоторые игроки ждали в очереди невероятно долгое время (15 минут+). Это случилось, потому что не было достаточно игроков для матча с ними в их регионе и уровне навыка в то время, когда они играли, а игроки, которые были “достаточно близко” к их уровню навыка не могли попасть с ними в один матч, пока они сами не смогут найти матч.  

Это дольше, чем мы бы хотели, чтобы хоть кто-то ждал. Чтобы все было честно, мы сократили этот тест и изменили его спустя несколько часов. Была добавлена граница, после которой происходила смена на стандартный однонаправленный подбор, если кто-то ждал дольше 5 минут. Это ограничение было использовано и во всех дальнейших тестах с двунаправленным подбором.  

Из всех тестов этот снизил разницу в среднем различии рейтинга больше всего, снизив его примерно на треть. Однако долгое время подбора делает его не самым привлекательным решением. 

  

31 марта 

Тест: 

• Максимальный разброс снижен до 250 (с 500), время расширения поиска снижено до 1 минуты (с 5 минут)  

Ожидания: Игроки, у которых и так был быстрый подбор, могут заметить снижение в качестве подбора, но игроки с крайних значений рейтинга смогут найти матчи быстрее. С другой стороны, сниженный разброс может ограничить пул игроков, с которыми они могут попасть в один матч, на крайних значениях рейтинга.  

Результаты: Время поиска для Выживших стало быстрее на всем спектре значений, но время поиска для Убийц заметно не поменялось. Если говорить про рейтинг убийств, в средней-высокой группе значений рейтинга навыка рейтинг убийств немного упал (стал ближе к 50%), а у группы значений пониже все по большей части осталось как было. Этот тест также заработал второе самое большое снижение разброса в среднем рейтинге навыка между игроками среди всех тестов.  

 

4 апреля 

Тест: 

• Максимальный разброс снижен до 350 (с 500), время расширения поиска снижено до 1 минуты (с 5 минут), включен двунаправленный матчмейкинг  

Ожидания: Подбор матчей, возможно, стал дольше для некоторых игроков, но качество подбора должно улучшиться.  

Результаты: Время подбора для Выживших было быстрее на всех значениях рейтинга, а время подбора у Убийц осталось по большей части тем же (с исключениями в виде крайних значений). В это время рейтинг убийств немного поднялся на высших значениях уровня навыка и остался по большей части неизменным на нижнем уровне. Средний разброс в этом тесте заметно не снизился.  

 

7 апреля 

Тест: 

• Максимальный разброс снижен до 350 (с 500), время расширения поиска снижено до 1 минуты (с 5 минут), включен двунаправленный подбор, но скрыты Разряды  

Ожидания: Примерно то же, что и в предыдущем тесте, так как переменные те же.  

Результаты: Нам было интересно узнать, какое влияние на полученные нами отзывы окажут спрятанные Разряды, так как они более не используются для матчмейкинга (хоть от них и может сложиться впечатление, что они являются индикатором навыка). Для этого теста мы взяли те же переменные, но еще и спрятали Разряды. Таким образом мы смогли сравнить отзывы с предыдущим тестом, чтобы посмотреть, как Разряды влияют на настроения среди игроков.  

К нашему удивлению, отзывы в целом стали немного более позитивными со спрятанными Разрядами. При прямом сравнении отзывов ребят, которые оставляли их по тестам и 4, и 7 апреля, мы обнаружили, что отзывы были обычно теми же, если не лучше, со спрятанными Разрядами. Так что мы решили скрыть Разряды на выходных.  

 

11-12 апреля 

Тест: 

• Переход на подбор по Разрядам 
• (только 12 апреля : Разряды показаны) 

Эти тесты были добавлены позже, когда мы начали видеть больше спекуляций вокруг тестов. Иногда кто-то мог сказать, что что-то из того, что мы тестировали, было старой системой подбора матчей, так что мы решили, что, эй, почему бы и нет?   

Ожидания: Матчи будут более разнообразными в отношении уровней навыков игроков, близко к старой ранговой системе. Мы также ожидали сильного снижения разницы в Разрядах в матче.  

Результаты: Как мы и ожидали, жалобы на односторонние несправедливые матчи начали течь рекой. Мы также можем это подтвердить с нашей стороны: средний рейтинг убийств этот день у высокого рейтинга навыка поднялся как ракета до примерно 80% (>3 убийств за матч в среднем) и упал до примерно 20% (<1 убийства за матч в среднем) на нижних значениях рейтинга навыка. Среднее различие в Разрядах, однако, сильно снизилось, как и ожидалось.  

Чтобы не было неясностей, это не совсем то же самое, что старый подбор по Рангам. Для начала, Разряды сбрасываются до самой Бронзы IV, тогда как ранги сбрасывались только на один цветовой тир, и теперь более невозможно потерять Разряд. Мы хотели дать ему честную возможность, так что мы специально поместили этот тест так близко к сбросу Разрядов, как только могли, чтобы дать игрокам самый большой временной промежуток, чтобы закрепиться в своих Разрядах. (Это также было причиной, почему последний день так рано закончился, мы не хотели оставлять этот тест включенным во время сброса Разрядов, так как это бы заставило всех попадать в матчи со всеми).   

Более того, тест на 1-2 дня это не совсем то же самое, что оставить его на длительный период времени. Дай ему больше времени (и возможность терять Разряды), и мы ожидаем, что люди, попадающиеся против слишком сложных оппонентов, в конце концов попадут в комфортный для себя Разряд, когда игроки, которые постоянно проявляют себя все лучше и лучше, будут продолжать забираться наверх.  

Однако это прекрасно показывает большую проблему с использованием Разрядов (или Рангов) для подбора матчей: весьма опытные игроки, которые долго не играли, могут с легкостью быть поставленными против новичков в игре. И, как мы уже узнали в прошлом, Разряды/Ранги больше показывают количество отыгранных часов, чем уровень навыков.  

Этот тест был очень противоречивым, но, к любопытству, мы начали видеть более позитивные отзывы, когда начали снова показывать Разряды. Это означает, что определенно есть сильная связь между тем, какие Разряды игроки видят в конце матча и их мнении о матче. 

 

Выводы 

Мы узнали, что строгость подбора матчей и качество матчей однозначно связаны. Более щадящие условия заметно влияют на рейтинг убийств, разнообразие оппонентов и также на отзывы, которые мы получили. В то время как разнообразие оппонентов было позитивно принято одними, была противоположная реакция от тех, кому было трудно в тяжелых матчах. Проще говоря, на противоположной стороне любого обычного матча - там, где один игрок может победить без усилий - всегда есть игрок, которому очень нехорошо, несмотря на то, что он отчаянно пытается.    

С другой стороны, инверсия также имеет место быть. Более строгий подбор привел рейтинг убийств к середине, но многие посчитали матчи слишком конкурирующими, чтобы ими можно было наслаждаться. Пока у ребят в нижней группе навыка меньше нечестных матчей, у ребят верхней группы множество тяжелых матчей, полных мета навыков и сильнейших Убийц.  

Эти тесты вывели в общем 2 явные группы: 

• Игроки высокого навыка, которые хотят разнообразных матчей  
• Игроки низкого-среднего навыка, которые, очевидно, не хотят быть растоптанными игроками высокого навыка  

Самое важное, что мы вынесли из этого - что уходить слишком далеко в одну степь никогда не станет универсальным решением для всего. Что мы часто замечали, это как некоторым игрокам нравились конкретные тесты, потому что они видели большее разнообразие в оппонентах, но в то же время эти же самые тесты были невыносимыми для множества других людей, которые внезапно оказались в одном матче с людьми, играющими гораздо лучше них. В этом сценарии неправых нет, каждый из них просто ждет от подбора чего-то своего.

И, наконец, мы обнаружили, что скрытие Разрядов на послематчевом экране однозначно влияет на отзывы, которые мы получаем. Мы подозреваем, что это по двум причинам:  

1) Давние игроки, которые пропустили изменения в подборе игроков, все еще могут думать, что Разряды используются для матчмейкинга 

2) Некоторые игроки все еще чувствуют, что Разряды - это индикатор навыка, несмотря на то, что их не используют для подбора.   

Однако, что более важно, мы обнаружили, что скрытие Разрядов поддержали многие, так что это то, что мы считаем одним из будущих постоянных изменений.  

 

Следующие шаги 

Со всеми этими выводами, мы нашли решение, которое улучшит подбор для этих двух групп игроков. В скором времени мы внесем следующие изменения:  

• Снижение максимального разброса  
• Пропорционально снизим время расширения поиска (так что оно будет не быстрее и не дольше, чем было)  
• Снижение потолка для рейтинга навыков  
• Скрытие Разрядов с послематчевого экрана на будущее время  

Почему именно эти изменения? 

Как уже было отмечено в выводах, мы нашли две доминирующие группы: 

• Игроки высокого уровня навыков, которые хотят разнообразия  
• Игроки низкого-среднего уровня навыков, которые хотят равных матчей  

Чтобы осчастливить обе группы, нам для начала нужно изолировать их друг от друга. Чтобы сделать это, мы снизим максимальный уровень расширения поиска. Это поможет держать вместе игроков примерно одного навыка, что снизит количество односторонних нечестных матчей. Большая часть игроков находится в середине рейтинга навыков, так что у них есть множество игроков, с которыми они могут попасть в матч. В дополнение, так как, судя по всему, расширение поиска происходит с хорошим соотношением, мы пропорционально поправим время расширения поиска.   

Затем нам нужно учесть, как это повлияет на группу высокого рейтинга. Снижение разброса будет означать меньше вариативности. К счастью, у нас есть еще одна переменная, которую мы можем поменять, которая идеально решит эту проблему. Для подбора матчей у нас есть верхний ограничитель рейтинга навыка. Хоть ваш рейтинг и может продолжить подниматься выше этого ограничения, система будет считать, что вы на уровне ограничителя, чтобы найти вам матч. Это сделано чтобы предотвратить ситуации, где лучшие игроки могут взобраться до таких высот, где просто никого не будет, чтобы найти им подбор. 

Снизив это ограничение, мы сможем расширить пул игроков в матчах высокого рейтинга, что приведет к разнообразию оппонентов, которых вы встретите. Один матч может быть весьма близким по уровню навыка, но следующий может быть поспокойнее. Это также поможет нам убедиться, что время ожидания в группе высокого рейтинга не станет дольше.  

И наконец, мы уберем Разряды с послематчевого экрана. Когда мы изначально спрятали Разряды во время теста, мы увидели, что множество игроков просило, чтобы это было навсегда. В дополнение, давние игроки, которые могли упустить новости, часто думали, что Разряды все еще используются для подбора матчей, что давало им чувство, будто матч был не таким честным, каким он в действительности был.  Все это вместе с в целом более позитивными отзывами во время тестов, пока они были отключены, стало достаточным основанием для перманентного отключения.  

На будущее, мы все еще тяжело работаем над включением разнообразных улучшений в систему подбора матчей. Это включает в себя создание подбора на базе группы рейтингов Выживших (так что героическая смерть ради спасения остальных теперь будет не такой наказуемой) и улучшения автозаполнения лобби, чтобы предотвратить ситуации, в которых в лобби попадали игроки вне допустимого разброса рейтинга. Эти улучшения потребуют времени на реализацию, но не волнуйтесь, работа над ними уже ведется. Вы можете найти полный список изменений, которые мы планируем сделать, в наших январских новостях от разработчиков.   

И снова, мы хотим поблагодарить всех, кто уделил время тому, чтобы оставить отзывы во время тестов. Понимание не только того, как работает подбор, но и также как он ощущается, для нас невероятно важно, чтобы работать над улучшениями. Как и всегда, Мы будем зорко следить за системой подбора матчей в будущем и будем вносить небольшие изменения по необходимости. Пожалуйста, продолжайте оставлять свои отзывы!   

Команда Dead by Daylight