ニュース | マッチメイキングシステム - 3月～4月のテスト内容と結果について
過去数週間にわたって数回にわたりマッチメイキングシステムのテストを行い、皆さんから各回について色々なご感想をいただきました。テストはマッチングを早くするよう調整したもの、より平等なマッチングになるようにしたものの、両方をミックスしたもの、そしてスキルレーティングを無効化し、旧ランク制のようにグレード制マッチメイキングを行った回すらありました。
テストに参加して各回のテストにご感想をお寄せいただいた皆さん、ありがとうございました！例えばマッチング待ち時間のようなデータは私たち自身が測定できますが、データではなく皆さんがテスト中どう感じたか、極端なケースが発生していないかという点を見つけようとしたときは皆さんのご感想がとても価値あるものになります。
皆さんのご感想に影響を与えないよう、テストの詳細は非公開にしてきました。テストが終わった今、今回テストした内容をもう少しお話ししたいと思います。
忙しい人向けのまとめ
今回の記事は省略できる部分が少ないですが、1万字近い長文を読むのはキツいよ…という人向けにざっくりしたまとめを用意しました。
- 3月末から行ってきた8回のテストを通じ、マッチメイキングシステムの調整がどのような影響を与えるか調査しました。
- 中にはスキルレーティング制をOFFにし、グレード制マッチメイキングをテストした回もありました。
- グレード制マッチメイキングのテストでは、殺傷率の大幅な変動を通じ、腕前に差があるプレイヤーがマッチしすぎるという問題が再度浮き彫りになりました。
- テスト結果のデータと皆さんのご感想を通じ、プレイヤーの中に大きな2つのグループがあることがわかりました。
- ①マッチの内容に多様性が欲しい、上手な人
- ②上手な人にボコボコにされたくない、普通～あまり上手でない人
- これら2つのグループ両方のマッチングを改善するため、近い将来マッチメイキングの調整を行います。
- 上記に加え、グレードを非表示にすることに対し好意的な意見が多かった点やマッチングで使用されているという誤解を招く点から、当面の間グレードを非表示にします。
気になったところがある人はぜひ本文を読んでみてください！
マッチメイキングシステムの変数について
最初に、テスト内容を理解するための前提知識について説明させてください。ちょっと専門的で難しいですよ！
マッチメイキングシステムでは、システム側で調整できる値がいくつか存在します。今回のテスト中に変更したものを簡単に説明しましょう。
1つ目は最大範囲です。マッチングの検索を始めたとき、最初はあなたのレーティングと近いプレイヤー (レーティング±50) を探そうとします。その範囲内にプレイヤーが見つからなかった場合、相手が見つかるまで少しずつ範囲を広げていきます。現在は、範囲が広がっていく最大範囲は±500に設定しています。これにより、しばらく待てば確実にマッチングできる一方、対戦相手が必ずしも同じくらいの腕前にならないときもあります。
2つ目は範囲拡大時間です。上記のマッチング範囲が何分で最大範囲になるかという時間の設定です。現在は、範囲拡大時間は5分に設定してます。
次の3つは、システム側でON・OFFができる変数です。
3つ目。通常、あるプレイヤー (Aとします) が一定時間マッチングを待ったとき、Aの最大範囲内のレーティングを持つ他のプレイヤー (Bとします) は、プレイヤーAのマッチングを一刻も早く成立させるため、Aのロビーに優先的に送り込まれます。これを、AとB両方が十分に範囲が広がらない限りマッチングさせないシステムがあります。これを双方向性マッチメイキングといいます。現在は、OFFに設定しています。
双方向性マッチメイキングがONのときを分かりやすく図に表すとこのようになります。
AとBの実際のレーティングは赤線の部分で、マッチング範囲が青色です。
- 例1では、Aのマッチング範囲がBのレーティングまで広がってきていますが、BはAのレーティングまで範囲が広がっていません。双方向性マッチングがONのとき、この2人はマッチングしません。
- 例2では、AもBもレーティングがマッチング範囲に入っているため、双方向性マッチメイキングがONでもOFFでもマッチングします。
4つ目はシンプルで、マッチ後の結果画面で各プレイヤーの名前の横に表示されるグレード表示です。すでに何回かお知らせしている通り、現在はONであり、レーティング制マッチメイキングシステムではグレードを使用しないため非表示にしても実際の影響はありませんが、表示・非表示の違いが皆さんの感じ方にどのような影響を与えるか、マッチメイキングシステム自体へのご感想にどう影響を与えるかに興味があったため、今回のテストではOFFにした回もありました。
5つ目は、グレード制マッチメイキングです。スキルレーティング制というシステム自体も実はON・OFFを切り替えることができ、OFFのときはプレイヤーのグレードによってマッチングするようになります。最近始めた人向けに補足すると、私たちがスキルレーティング制を実装する前は、これに似たシステムを使っていました。
テスト内容について
さぁ、いよいよ「各回何をテストしていたの？」という疑問にお答えするときが来ました。テスト内容と一緒に、私たちがどうなると予測していたか、実際の結果はどうだったかもお知らせします。このセクションでは全世界の平均に基づいて触れることが多いですが、時間帯や地域、殺人鬼側か生存者側か、レーティング等の要素によって物事が大きく変動することがあることは認識しているため、自分の体験や感触と一致しなかったとしても心配しないでください。
最初の3回のテストはそれぞれの変数がどれほどの影響を与えるかテストするためのもので、マッチングが劇的に改善されることは期待していませんでした。続くテストで、複数の変数を組み合わせて影響を測定しました。
第1回: 3月29日
- テスト内容: 範囲拡大時間を5分→1分に変更していました。
- 結果予測: マッチング待ち時間短縮。特にピーク時間帯以外でプレイしている人に恩恵が大きいと予想していました。一方、多少のマッチ内容のクオリティ低下も予想していました。
- 実際の結果
予想通り、マッチング待ち時間を非常に短縮することができました。3月29日はテスト全期間中で最もマッチングが早かった1日でした。特に、レーティングが非常に高い人と非常に低い人の待ち時間が大幅に改善されました。マッチ内容のクオリティはそこまで大きく落ちなかったものの、一部の方からプレイヤーの腕前の差が広いという感想をいただきました。
さらに、殺人鬼の殺傷率変動がレーティングの両端で目立ちました。高レーティングの殺人鬼はより凶悪となり、低レーティングの殺人鬼はいつもより厳しい結果となっていました。これは、レーティングの両端にいるプレイヤーがより真ん中寄りのプレイヤーとマッチングしやすくなったことが原因と考えています。
第2回: 3月30日
- テスト内容: 最大範囲を±500→±250に変更していました。
- 結果予測: マッチ内容のクオリティ向上。一方、待ち時間の増加も予想していました。特にレーティングの両端にいるプレイヤーやピーク時間帯以外でプレイしているとき、待ち時間への影響が大きいと考えていました。
- 実際の結果
予想通りレーティングの両端にいるプレイヤーは待ち時間が増加しましたが、レーティングの中間近くのプレイヤーは平均してさほど大きく待ち時間が延びませんでした。全体的に見て、第2回のテストはマッチするプレイヤーのレーティング差を通常の日と比べて少し小さくすることができましたが、レーティング両端にいるプレイヤーは逆にレーティング差が大きくなる場合もありました。
第3回: 3月31日
- テスト内容: 双方向性マッチメイキングをOFF→ONにしていました。
- 結果予測: マッチング相手が見つかりやすい時間帯やレーティングでは、マッチ内容のクオリティ向上。一方、ピーク時間帯以外やレーティングの両端にいるプレイヤーのマッチング待ち時間増加も予想していました。
- 実際の結果
『マッチング待ち時間増加』という予測は過小評価でした。一部のプレイヤーにおいて、待ち時間が非常に長くなる (15分以上) 場合がありました。これは、その人がプレイしている時間帯や地域にレーティングが近いプレイヤーがいない場合、またもしその条件に該当するプレイヤーがいたとしても、そのプレイヤーも相手を見つけられない限りその人とマッチングすることはなかったために発生していました。
15分という時間は、私たちがプレイヤーの皆さんにお願いできる待ち時間の許容範囲を超えていました。そこで第3回のテストは数時間で中断し、テスト内容の変更を行いました。変更後は第3回のテスト内容に加え、5分以上待った場合は双方向性マッチメイキングがOFFに戻るという条件を追加しました。第4回以降、双方向性マッチメイキングをONにするテストでは毎回この5分制限を設けました。
ここまでのテストで、第3回はマッチしたプレイヤーの平均レーティング差を最も大きく、約3分の2まで縮めることができました。ただマッチング待ち時間は長くなってしまったため、解決策としてはあまり魅力的でないものとなりました。
第4回: 4月1日
- テスト内容: 最大範囲を±500→±250に、範囲拡大時間を5分→1分に変更していました。
- 結果予測: 通常の日でマッチングがすでに早いプレイヤーはマッチ内容のクオリティが少し低下する一方、レーティングの両端にいるプレイヤーはマッチング時間が早くなると予想しました。また、最大範囲が狭くなることにより、レーティングの両端にいるプレイヤーはマッチし得るプレイヤーが少なくなる可能性を想定していました。
- 実際の結果
生存者の待ち時間は全体的に短くなった上で、殺人鬼の待ち時間はさほど大きく変わりませんでした。殺人鬼の殺傷率を見ると、中間～高レーティングでは殺傷率が少し低下して50% (平均2人) に近くなり、低レーティングではほぼ変わりませんでした。さらにこのテストは、すべてのテストの中で2番目に平均レーティング差を縮めることができました。
第5回: 4月5日
- テスト内容: 最大範囲を±500→±350に、範囲拡大時間を5分→1分に変更し、双方向性マッチメイキングをONにしていました。
- 結果予測: 一部のプレイヤーはマッチング待ち時間が増加するものの、マッチ内容のクオリティは向上すると予想していました。
- 実際の結果
生存者のマッチングが全体的に早くなり、殺人鬼は、レーティングの最低端を除いて待ち時間はほぼ同じとなりました。殺人鬼の殺傷率は、レーティングの最高端で少し上昇した一方、それ以下のレーティングではほぼ変わりませんでした。一方、平均レーティング差はあまり縮まりませんでした。
第6回: 4月8日
- テスト内容: 最大範囲を±500→±350に、範囲拡大時間を5分→1分に変更し、双方向性マッチメイキングをONにし、グレードを非表示にしていました。
- 結果予測: マッチメイキングのシステム自体は第5回と同じだったため、結果も同じになると予想していました。
- 実際の結果
グレードはマッチメイキングで使用されない一方、腕前の目安であるという印象を受ける人もいるようです。グレードを非表示にすることで皆さんからのフィードバックにどのような変化が起きるか気になっていました。グレードを非表示にしたこと以外、第6回のテスト内容は第5回と同じにし、グレード表示が皆さんの感情にどのように影響するかフィードバックを比較できるようにしました。
驚くべきことに、グレードを非表示にしたことで全体的なフィードバックは少しポジティブになりました。特に第5回と第6回両方にご感想を残してくれた方々のコメントを見比べると、第6回の方が印象が良いか同じであることが多いことに気づきました。そこで、テストを実施していなかった週末もグレードを非表示にしたままにしておきました。
第7・8回: 4月12日・13日
- テスト内容: スキルレーティング制マッチメイキングをOFFにし、グレード制マッチメイキングを行っていました。第7回はグレードを表示し、第8回はグレードを非表示にしていました。
- 結果予測: かつてのランク制マッチメイキングシステムのように、マッチングするプレイヤーの腕前の差が広がることを予想していました。
- 実際の結果
第7・8回のテストは、「実はグレード制マッチングをテストしてたんじゃないか？」という皆さんの推測の数が多くなってきたのを見て後から実施を決めました。実際にやってみないと分かりませんからね！
予想通り、ワンサイドゲームだったという報告がなだれ込んできました。私たちの側でもこの現象は確認できています。第7・8回のテスト中、殺人鬼の殺傷率は、高レーティングでは約80% (平均3人以上) 、低レーティングでは約20% (平均1人未満) というテスト期間中最大の変動を見せました。一方、当然ながら、マッチングする相手のグレード差は大きく縮まりました。
ちなみに、グレード制マッチメイキングはかつてのランク制と全く同じではありません。グレードは毎月灰Ⅳまで戻り、かつ1回昇格すると降格がない一方、当時のランクは毎月1色のみ下がり降格も存在しました。可能な限りフェアなテストを行うため、グレードリセット直前まで待ち、皆さんがそのシーズンの最終グレードに近づいてからテストを行いました。また第8回を早く終了したのは、万が一にもグレードリセットとテストが被らないようにするためです。文字通り、全員が全員とマッチするようになってしまいますから。
もし長期間グレード制マッチメイキングを続けていたら結果は異なっていたかもしれません。もし十分な時間 (とグレードが降格する仕様) があったら、自分より強すぎる相手とマッチングする人はある程度対等なところまで降格し、常に上達している人は昇格していくような形になっていたでしょう。
しかし突き詰めていくと、第7・8回のテストでグレード制 (あるいはランク制) マッチメイキングの大きな問題が浮き彫りになりました。かなり上手な人でも、最近あまりプレイしていないだけで初心者とマッチングされてしまう可能性が非常に高くなるからです。以前私たちが学んだ通り、グレードやランクは、腕前よりプレイ時間を示す指標である、ということです。
第7・8回のテストは極端な結果となりましたが、面白いことに、グレードが表示されるようになるとポジティブなご感想が多くなりました。マッチ後にグレードが見えることと皆さんのマッチに対する感触には強いつながりがある、ということを示しています。
テストを終えて
テストを経て、マッチング範囲の広さとマッチ内容のクオリティは間違いなく繋がっていることが確認できました。範囲が広ければ殺傷率、相手の強さ、そして皆さんからのご感想に影響を及ぼします。相手の強さがバラバラであることを喜ぶ人も中にはいましたが、強い相手に苦戦した他の人からは正反対のご感想が届いていました。単純に言うと、ある人が汗もかかず楽勝で終えたマッチの反対陣営では、全力を尽くしても歯が立たず苦い思いをしている人がいる、ということです。
一方反対に、マッチング範囲を狭めると殺傷率のばらつきを抑えることができますが、あまりにも真剣勝負、競技的になりすぎて楽しめないというご感想も多くの人からいただきました。低レーティングでは不平等なマッチングが少なくなる一方、高レーティングでは強キャラ殺人鬼や強パークで溢れた厳しいものとなっていました。
一連のテストにより、以下の2つのグループが特にはっきりと浮き彫りになりました。
- マッチの内容に多様性が欲しい、上手な人
- 上手な人にボコボコにされたくない、普通～あまり上手でない人 (そりゃそうですね)
ここから学べる最も大きいことは、上記のどちらかに寄せ過ぎてもすべての問題を解決することはできないことです。一部の人が、マッチの多様性が増した特定のテストに対しとても好意的なご感想を寄せてくれたことは認識していますが、同時に、自分よりはるかに上手い人とマッチさせられてフラストレーションを感じている人もたくさんいたのも事実です。どちらが正しいという訳ではありません。それぞれが、マッチメイキングとマッチ内容に期待するものが異なる、というだけです。
また、結果画面でグレードを隠すことは皆さんのご感想に間違いなく影響を与えることも確認できました。その理由は主に2つあると認識しています。
①システムが変わったことを知らず、まだグレードがマッチングで使用されていると思っているから
②グレードはマッチングで使用されていないにもかかわらず、グレードは腕前を表す指標だと思っているから
しかしここで最も大事なことは、私たちがグレードを非表示にしたとき、皆さんから非表示を支持する声をたくさんいただいたことです。そのため、今後永続的に非表示にすることを検討します。
次のアクション
これらのテスト結果や学びを前提に、上記2つのグループ両方のマッチメイキングを改善する施策を考えました。近い将来、マッチメイキングシステムに以下の変更を加えます。
- マッチング最大範囲を縮小します。
- マッチング最大範囲に比例し、範囲拡大時間を減少します。 (最大範囲縮小に合わせた変更で、範囲の広がる速度に変更はありません)
- レーティングの“実質限界値”を引き下げます。 (後述)
- 当面の間、結果画面からグレードを非表示にします。
変更の理由
“テストを終えて”の段落でお伝えした通り、皆さんの中に主要な2つのグループがあることがわかりました。
- 多様性が欲しい上手な人
- 対等さが欲しい普通～上手くない人
この2つのグループの希望を両方とも満たすため、最初に2つのグループがマッチングしないよう分ける必要があります。これを実現するため、マッチングの最大範囲を縮小します。これにより似た腕前の人が集まり、ワンサイドゲームを減らせるでしょう。プレイヤーの大多数はレーティングの中間近くにいるため、マッチングする相手は十分にいます。さらに、マッチング範囲が拡大するスピードはいい感じであるようなので、最大範囲の変更に合わせて範囲拡大時間も調整し、同じ速度で範囲が広がるようにします。
次に、この変更が高レーティングのグループにどう影響するか考える必要があります。マッチング最大範囲を縮めることは多様性が減ることに繋がりますが、幸い、これを解消するもう1つの設定があります。マッチメイキングで使用するため、レーティングには“実質限界値”があります。この実質限界値を超えてもレーティングは上昇していきますが、マッチメイキングシステム上ではマッチする相手を見つけるために実質限界値を使用します。これにより、最も上手い一部のプレイヤーが、単純にマッチする相手がいなくなってしまうことを避けることができています。
この限界値を下げることで、高レーティングでのマッチング可能人数を増やし、マッチングの多様性を増すことができます。あるマッチは競技的な真剣勝負となるかもしれませんが、次の回はもう少しリラックスできるかもしれません。この変更は、高レーティングで待ち時間が長くならないようにする意味もあります。
最後に、結果画面からグレード表示を削除します。最初にグレードを非表示にしたとき、多くの人から隠したままにしてほしいという要望をいただきました。さらに、Dead by Daylightを前に始めた方でニュースを見逃しており、グレードがまだマッチングで使われていると思っている人は、グレードを見て実際よりもマッチが不平等だったという印象を受けている可能性があります。これらの結果と、テスト期間中全体的にポジティブなご感想が寄せられたことから、当面の間グレードを非表示にする十分な理由が得られたと考えています。
将来に向け、他のマッチメイキングシステムの改善機能の開発に取り組んでいます。例えば生存者チームのレーティング変動を個人ではなくチーム基準にする機能 (仲間を助けるために自分が犠牲となった場合、今よりレーティング減少が抑えられる) や、ロビーに欠員が出た場合、再編成のスピードを重視するあまり最大範囲外のプレイヤーが入ってくることを防ぐ機能などです。これらの機能は実装に時間がかかりますが、すでに開発中ですのでご安心ください。過去の開発チームアップデートで検討中の変更内容を確認できます。
重ねて、テストに参加してご感想を投稿してくれた皆さん、ありがとうございました！
私たちが改善を行う上で、マッチメイキングシステムがどのように機能するかだけではなく、皆さんがどう感じるかは非常に重要なことです。今後もマッチメイキングシステムから目を離さず、必要に応じて細かい調整を加えていきます。今後も皆さんのご意見をお待ちしてます！
The Dead by Daylight team