2022.04 매치메이킹 테스트 결과

EntityIsLove

지난 몇 주 동안, 저희 팀은 다양한 메치메이킹 테스트를 실행했습니다. 매칭 시스템을 더 엄격하게, 그리고 더 다양한 설정 조합으로 테스트 했으며, 심지어 새로운 실력 기반 매치메이킹을 비활성화 하고, 이전의 등급 기반 시스템으로 되돌리며 여러분의 피드백을 수집했습니다.  

우선 각 테스트에 대한 피드백을 공유해 주신 모든 분들께 감사의 말씀을 드립니다. 대기 시간 및 그 외 데이터는 저희가 쉽게 수집할 수 있지만, 이러한 변경 사항이 어떻게 느껴졌는지 파악하는 데 있어 여러분의 피드백은 매우 중요했습니다.

피드백에 영향을 주지 않기 위해 지금까지 테스트의 세부 사항을 비밀로 유지했지만, 테스트가 끝났으므로 그 결과를 알려드리는 블로그포스트를 준비했습니다.  

조건 및 설정

테스트가 올바르게 진행될 수 있도록 많은 준비를 했습니다. 또한 어떤 점들이 변경될 수 있는지 고민해봤죠. 우선 저희가 어떤 조건들을 변경했는지 간략히 설명해드리겠습니다. 

첫 번째는 최대 검색 범위입니다. 게임이 매치를 검색하기 시작하면 유저의 RATING, 혹은 매치점수를 조회하여 유저와 50점 차이 내에 있는 비슷한 매치점수를 보유한 다른 플레이어를 찾습니다. 이렇게 할 수 없는 경우 매치 점수 범위를 확장 하여 매치를 찾게 됩니다. 기본적으로 이 매치점수 값은 사용자 자신의 점수에서 최대 500포인트 범위로 설정됩니다. 범위가 이렇게 넓을 경우 비록 공평하지 않은 매치가 될 수 있지만, 매치 대기 시간이 짧아 진다는 장점이 있습니다.

두 번째는 검색 범위 확장 시간입니다. 쉽게 말해 최대 검색 범위에 도달하는 데 걸리는 시간입니다. 기본적으로 이 값은 5분으로 설정됩니다.

또한 저희는 몇 가지 기능을 켜고 끌 수 있습니다. 예를 들어: 

양방향 매치메이킹: 일반적으로 한 명의 플레이어가 오랜 시간 기다리게 되면 최대 범위 내에 있는 한 다른 플레이어가 해당 플레이어의 경기에 참여할 수 있습니다. 양방향 매치메이킹은 두 선수의 검색 범위가 겹칠 만큼 충분히 확장되어야 합니다. 기본적으로 이 기능은 해제되어 있습니다.

헷갈리더라도 걱정 마세요, 이해하기 쉽도록 작은 차트를 준비했습니다. 

각 플레이어의 실제 매치점수는 빨간색으로 표시되고 현재 매치메이킹 검색 범위는 파란색으로 표시됩니다.

• 첫 번째 예시에서 플레이어 A의 검색 범위는 플레이어 B를 포함하도록 확장되었지만 B의 검색범위는 아직 A를 포함하지 않았습니다. 매치가 불가능 합니다. 
• 두 번째 예시에서 두 플레이어의 범위는 서로를 포함할 만큼 충분히 확장되었으므로 이제 함께 매치될 수 있습니다.
• 기본(단방향) 매치메이킹을 사용하는 경우 두 예시 모두 매치가 가능합니다.

등급 가시성: 간단합니다. 등급은 매치메이킹에 사용되지 않기 때문에 경기 후 화면에서 안 보이도록 끌 수 있습니다. 이러한 변화는 실질적인 매치메이킹에 변화를 주지 않지만, 플레이어들이 이러한 변화에 대해 어떻게 느끼고 생각을 하는 지 궁금했습니다.

등급 기반 매치메이킹: 실력 기반 매치메이킹을 완전히 끄고 대신 전에 사용하던 등급 매치메이킹 시스템을 활성화 했습니다. 

 

테스트

매일 정확히 무엇을 테스트했는지 궁금하시죠?

참고: 이 섹션에서는 평균적인 상황들에 대해 다룰 예정입니다. 여러분의 경험과 일치하지 않더라도 걱정하지 마세요! 다양한 요인(시간, 지역, 역할, 등급 등)에 따라 상황이 달라질 수 있습니다.

처음 세 개의 테스트에서 저희는 많은 개선점을 기대하지 않았습니다. 이 세 개의 개별 변수들이 매치메이킹에 미치는 영향을 확인하기 위한 것이었습니다. 그 후, 저희는 이 변수들을 혼합하여 함께 테스트하기 시작했습니다. 

3월 29일

테스트:

• 검색 범위 확장 시간을 5분에서 1분으로 조정했습니다.

기대치: 경기의 질은 더 안좋아지지만, 더 빠른 매치가 가능합니다. 특히 피크타임이 아닌 한가한 시간에 플레이 할 경우 큰 도움이 됩니다. 

결과: 예상대로 매치 대기 시간이 전반적으로 상당히 감소했습니다. 특히 초보부터 상급 플레이어의 분포 범위를 확인했을때, 양쪽 극단에 있는 플레이어들(극초보 및 초고수)에게 더욱 도움이 된 것으로 확인했습니다. 일부 플레이어는 상대와 실력 차이를 많이 느겼을 수 있지만 평균적으로 경기의 품질은 크게 바뀌지 않았습니다.

킬 비율은 게임을 처음 시작한 초보 유저 및 초고수 유저들에게서 눈에 띄게 변경된 것이 확인되었으며, 높은 매치 점수를 보유한 살인마는 더 많은 킬을 획득했으며, 낮은 점수를 보유한 살인마는 더 힘든 시간을 보낸 것으로 확인했습니다. 이러한 실력 범위 끝에 있는 플레이어들이 중간에 있는 중급 플레이어들과 더 많이 짝을 이루었기 때문입니다. 

 

3월 30일

테스트:

• 최대 검색 범위가 500에서 250으로 감소했습니다.

기대치: 전보다 느리게 매치됩니다. 특히 매우 높은, 혹은 낮은 매칭 점수를 가진 플레이어들과 낮과 같은 한가한 시간에 플레이하는 유저들에게 매치 시간이 길어집니다. 하지만 일반적으로 높은 품질의 경기가 제공됩니다.

결과: 예측한 대로 초보 및 초고수 플레이어의 대기 시간이 증가했지만 중간에 있는 플레이어에게는 큰 영향을 미치지 않았습니다. 

 

3월 31일

테스트:

• 양방향 매치메이킹 활성화

기대치: 한가한 시간에 상대를 찾는 플레이어와 실력 범위 극단에 있는 플레이어들의 매치 대기 시간이 길어집니다. 하지만 빨리 매치되는 플레이어의 경우 더 공정한 경기를 치룰 수 있습니다. 

결과: 일부 플레이어는 매우 긴 대기 시간(15분 이상)으로 인해 어려움을 겪었습니다. 플레이어가 많지 않은 한가한 시간에 매치를 신청하거나, 해당 플레이어의 수준에 알맞는 타 플레이어가 없었기 때문이죠. 

저희는 이러한 문제를 개선하기 위해 테스트 시작 후 몇 시간 안에 하드 캡을 추가했으며, 5분이상 기다리게 되면 매치가 잡히도록 조정했습니다. 이러한 기능은 양방향 매치메이킹이 사용되는 모든 향후 테스트에 적용되었습니다.

모든 테스트 중에서 이 테스트가 매칭 점수 차이를 가장 크게 줄이며 매치의 공정성을 높였습니다. 그러나 긴 매칭시간이 큰 문제였죠. 

4월 1일

테스트:

• 최대 검색 범위가 500에서 250으로 감소하고 검색 확장 시간이 5분에서 1분으로 감소했습니다.

예상: 이미 빠른 매치를 하고 있는 플레이어는 경기의 품질이 약간 떨어지는 것을 느낄 수 있지만 플레이어 범위의 극단에 있는 플레이어는 매치를 더 빨리 찾을 수 있습니다. 

결과: 생존자의 대기열 시간은 전반적으로 더 빨랐지만 살인마 대기열 시간은 눈에 띄는 차이가 없었습니다. 킬 비율 측면에서 보면, 중급 플레이어 그룹에서의 킬 비율은 약간 떨어졌지만(50%에 가까움) 초급자 그룹은 대부분 동일하게 유지되었습니다. 또한 모든 테스트의 평균 매칭점수 차이에서 두 번째로 큰 감소를 보였습니다. 

 

4월 5일

테스트:

• 최대 검색 범위가 500에서 350으로 감소, 확장 시간이 5분에서 1분으로 감소, 양방향 매치메이킹 기능을 활성화 했습니다. 

예상: 일부 플레이어의 매치메이킹이 느려질 수 있지만 경기의 품질은 전반적으로 향상됩니다

결과: 생존자 대기열 시간은 전반적으로 더 빨랐지만 살인마 대기열 시간은 거의 동일하게 유지되었습니다. 또한 킬 비율은 가장 높은 상급 플레이어 그룹에서 약간 상승했고 초급 플레이어 그룹에서는 거의 변하지 않은 상태로 유지되었습니다. 이 테스트에서는 평균 매칭점수 차이가 눈에 띄게 줄어들지 않았습니다.

 

4월 8일

테스트:

• 최대 검색 범위가 350으로 감소 (기존 500), 확장 시간이 1분으로 감소 (기존 5분), 양방향 매치메이킹이 활성화 되었으며, 등급을 결과 화면에서 숨겼습니다.

기대치: 모든 변수가 이전 테스트와 동일하기 때문에 전 테스트와 비슷한 결과를 예상했습니다. 또한 등급을 결과 화면에서 숨기면 어떤 피드백을 받을지 궁금했습니다. 

결과: 놀랍게도 전체 피드백은 등급이 표기되지 않을때 약간 더 긍정적인 것으로 나타났습니다. 추가적인 피드백을 수집하기 위해 주말 동안 등급을 숨기기로 결정했습니다.

4월 12일 - 13일

테스트:

• 등급 기반 매치메이킹으로 전환 (4월 12일만: 등급 표시)

예상: 매치는 이전의 등급 기반 매치메이킹과 매우 유사하며, 다양한 레벨의 플레이어들이 어울려 매치될 것으로 예상했습니다. 또한 평균 매칭 점수 차이가 극적으로 떨어질 것으로 예상했습니다.

결과: 예상대로 불공정하고 일방적인 경기가 진행되고 있다는 플레이어 피드백이 쏟아지기 시작했습니다. 또한 이러한 문제들을 저희 쪽에서도 확인할 수 있었습니다. 이 날의 평균 킬 비율은 가장 극적인 변화를 보였습니다. 상급 플레이어들의 경우 약 80%(평균 매치당 3킬 이상)까지 치솟았고 그 반대로 하단에서는 약 20%(매 매치당 평균 1킬 미만)까지 떨어졌습니다. 평균 매칭 점수 차이는 예상대로 크게 감소했습니다.

하지만 이런 변화는 예전의 랭크 기반 매치메이킹과 동일하지 않은점 알려드립니다. 우선 등급은 바랜빛 I로 다시 초기화되지만 랭크는 하나의 색상 티어만 초기화되며 추가적인 등급을 잃을 수 없습니다. 저희는 공정한 테스트를 하고 싶었기 때문에 이 테스트를 가능한 한 등급 초기화 날짜와 가깝게 잡았습니다. 테스트를 진행하기 전에 마지막으로 여러분이 가장 익숙한 등급에 포함되어 있기를 바랬거든요. 마지막 날 테스트가 일찍 끝난 이유이기도 합니다. 등급 초기화와 함께 테스트를 진행 할 경우 모든 사람이 실력과 상관없이 매칭 될 테니까요. 더군다나 1~2일 동안 진행되는 테스트는 장기간 진행되는 것과는 다릅니다. 더 많은 시간 그리고 등급을 잃을 수 있는 기능이 주어지면 너무 어려운 상대에 직면한 사람들은 결국 등급이 떨어지고 지속적으로 잘 하는 사람들은 오를 것 입니다.

이러한 점은 궁극적으로 매치메이킹에 등급(또는 랭크)가 사용됨에 있어 큰 문제를 드러냅니다. 최근에 플레이하지 않은 매우 숙련된 플레이어가 게임을 처음 접하는 플레이어와 매우 쉽게 매칭 될 수 있기 때문입니다. 저희가 과거에 배웠듯이, 등급/랭크는 그 플레이어의 실력보다 해당 플레이어가 얼마나 게임을 오래 했는지를 보여주는 지표입니다.

이 테스트는 매우 양극화되었지만 흥미롭게도 등급을 다시 표시하기 시작했을 때 더 긍정적인 피드백을 받기 시작했습니다. 

배운점

저희는 매치메이킹의 엄격한 조건과 매치의 질은 의심할 여지 없이 연관되어 있다는 것을 배웠습니다. 조건을 느슨하게 설정할 경우 킬 비율, 매치 상대의 다양성 및 플레이어 피드백에  주목할만한 영향을 미쳤습니다. 더 다양한 상대가 잡히는 점은 어떤 사람들에게는 높이 선호되는 반면, 더 힘든 경기에서 고군분투하는 다른 사람들에게는 반대의 반응이 있었습니다. 간단히 말해서, 플레이어가 노력하지 않고도 이길 수 있는 캐주얼 경기의 반대편에는 최선을 다했지만 최악의 시간을 보내는 사람이 있었습니다.

반면에 반대의 경우도 마찬가지입니다. 더 엄격한 매치메이킹 조건이 주어질 경우 킬 비율이 50%에 가까워졌지만 많은 사람들은 경기가 너무 치열해서 게임을 즐기기 어려웠다고 느꼈습니다. 초급 플레이어들은 불공정한 경기가 더 적어졌지만, 상위 플레이어 그룹은 힘든 경기를 더 많이 치뤘죠.

이 테스트는 전반적으로 두 분류의 플레이어 그룹을 나타냈습니다. 

• 더 다양한 경기를 원하는 상급 플레이어 그룹
• 상급 플레이어를 만나기 싫어하는 중급 플레이어 그룹

여기서 가장 큰 시사점은 어느 쪽으로든 너무 멀리 가는 것은 솔루션이 아니라는 것입니다. 일부 플레이어는 다양한 상대를 만나게 되어 좋아했으며, 다른 일부는 반대로 본인보다 잘하는 상대를 만나는 것을 싫어했습니다. 위 시나리오에서는 누구도 틀리지 않습니다. 매치메이킹에 대한 각자의 기대치가 있는 것 뿐이니까요. 

마지막으로, 경기 후 결과 화면에서 등급을 숨기는 것이 저희가 받는 피드백에 확실히 영향을 미친다는 것을 발견했습니다. 두 가지 이유 때문이라고 생각합니다. 

• 매치메이킹이 변경 된지 모르는 오래된 플레이어들이 여전히 등급이 매치메이킹에 사용된다고 생각할 수 있습니다. 
• 일부 플레이어는 등급이 매치메이킹에 사용되지 않음에도 불구하고 여전히 등급이 실력의 지표라고 생각 할 수 있습니다. 

가장 중요한 점은 등급 숨기기에 대한 찬성이 많다는 점입니다. 앞으로 이러한 변경 사항을 영구적으로 적용할 예정입니다.

다음 단계

저희가 이번 테스트를 통해 배운점들을 염두에 두고 두 플레이어 그룹의 매치 메이킹을 개선할 솔루션을 찾았습니다. 다음과 같습니다. 

• 최대 검색 범위 줄이기
• 검색 범위 확장 시간을 비례적으로 줄이기 (이전보다 빠르거나 느려지지 않음)
• 스킬 등급에 대한 유효 상한선 낮추기
• 결과 화면에서 등급을 제거 

이러한 변경 이유는 무엇입니까?

앞서 언급했듯이 저희는 두 플레이어 그룹을 발견했습니다.

• 더 다양한 상대를 원하는 상급 플레이어 그룹
• 공정한 매치를 원하는 중하급 스킬 플레이어 그룹

두 그룹을 만족하게 하려면 먼저 서로를 격리해야 합니다. 이를 위해 최대 확장 범위를 줄입니다. 이렇게 하면 실력 수준이 비슷한 플레이어를 한데 모아 일방적이고 불공평한 매치를 줄이는 데 도움이 됩니다. 대부분의 플레이어는 중급 플레이어로써 함께 경기를 할 사람이 많습니다. 범위 확장이 괜찮은 속도로 진행되기 때문에 시간을 비례적으로 조정할 예정입니다.

다음으로 확장 범위를 줄일 경우 상급 플레이어 그룹에 어떤 영향을 미칠지 고려해야 합니다. 매치 검색 범위를 줄이면 여러 상대를 만날 수 있는 가능성이 줄어듭니다. 다행히도 이 문제를 완벽하게 해결하기 위해 조정할 또 다른 변수가 있습니다. 매치메이킹을 위해 스킬 점수에 "상한선"이 있습니다. 매칭 점수가 이 상한선을 초과하여 계속 오를 수 있지만 보다 수월한 매치메이킹을 위해 상한선에 멈춰 있는 것처럼 취급됩니다. 이를 통해 최고의 플레이어가 다른 사람과 매치될 수 없는 지점까지 올라가는 것을 방지합니다. 

이 상한선을 낮추면 상급 플레이어들이 다른 상급 플레이어들을 만날 가능성이 커집니다. 특정 매치는 매우 치열한 경기가 될 수 있지만, 다음 경기는 조금 더 느긋하게 진행할 수 있겠죠. 이렇게 하면 대기열 시간을 짧게 유지할 수 있습니다.

마지막으로 희생제 결과 화면에 표기되는 등급을 제거합니다. 저희가 테스트를 진행 하며 등급을 숨겼을 때 이러한 변경 사항을 영구화해 달라는 유저의 피드백을 많이 받았습니다. 또한 데드 바이 데이라이트를 오랜 시간 즐겼지만, 매치메이킹 시스템이 변경되었다는 뉴스를 못 본 플레이어들은 종종 등급이 여전히 매치메이킹에 사용된다고 착각하여 실제보다 경기가 덜 공정하다고 느낄 수 있었습니다.

저희는 매치메이킹 시스템을 개선 하기 위해 열심히 노력하고 있습니다. 또한 생존자 평점을 개인이 아닌 팀 기반으로 만드는 것과 수용 가능한 실력 범위 밖에 있는 플레이어가 팀에 잘 못 포함되는 것을 방지하기 위해 노력중입니다. 이러한 사안들을 개선하는 데 시간이 오래 걸릴 예정이지만, 안심하세요! 위 작업들은 이미 시작되었습니다. 1월 개발자 업데이트에서 검토 중인 변경 사항들에 대해 자세히 읽어 보실 수 있습니다. 

테스트를 진행하는 동안 시간을 내어 피드백을 남겨주신 모든 분들께 다시 한 번 감사드립니다. 언제나처럼, 저희는 매치메이킹 시스템을 계속해서 조율하며 개선해 나아갈 예정입니다. 계속해서 여러분의 소중한 피드백을 보내주세요!

데드 바이 데이라이트 팀