ERGEBNISSE DER MATCHMAKING-TESTS

Timeras

In den letzten Wochen haben wir, basierend auf verschiedenen Rückmeldungen, die wir erhalten haben, eine Reihe kurzer Matchmaking-Tests durchgeführt. Diese reichten davon, den Matchmaker schneller, strikter, verschiedene Kombinationen dazwischen zu machen, und ja, sogar das Skill Based Matchmaking zu deaktivieren und zum alten Grade Based Matchmaking zurückzukehren.

Wir möchten damit beginnen, uns bei allen zu bedanken, die sich die Zeit genommen haben, ihre Gedanken zu den einzelnen Tests mitzuteilen. Während wir Dinge wie Wartezeiten hinter den Kulissen verfolgen können, ist euer Feedback von unschätzbarem Wert, wenn es darum geht, außergewöhnliche Fälle zu finden und sich ein Bild davon zu machen, wie sich diese Änderungen anfühlen, anstatt wie sie funktionieren. Danke!

Wir haben die Details der Tests bis jetzt geheim gehalten, um das Feedback nicht zu beeinflussen, aber da die Tests vorbei sind, sind wir bereit, einzutauchen und einige Details darüber zu teilen, was getestet wurde. Aber zuerst müssen wir erklären, was jede der Änderungen bedeutet.

Kleine Warnung, das wird lang und sehr technisch!

Variablen

Wir haben eine Reihe von Einstellungen, die wir hinter den Kulissen optimieren können. Hier ist ein kurzer Überblick über diejenigen, die wir während der Tests geändert haben.

Die erste ist die maximale Reichweite. Wenn ihr nach einem Spiel sucht, versuchen wir, andere Spieler zu finden, die eurer Bewertung nahe kommen (innerhalb von 50 Punkten). Wenn uns dies nicht möglich ist, wird die Suche schrittweise erweitert, bis wir in der Lage sind, eine Übereinstimmung für euch zu finden. Standardmäßig ist dies auf 500 Punkte von eurer eigenen Bewertung entfernt eingestellt. Auf diese Weise erhaltet ihr garantiert nach einer Weile ein Match, auch wenn es möglicherweise nicht das fairste ist.

Die zweite ist die Expansionszeit. So lange dauert es, bis die maximale Reichweite erreicht ist. Standardmäßig ist diese auf 5 Minuten eingestellt.

Dann haben wir ein paar Schalter, die wir umschalten können. Diese sind:

Bidirektionales Matchmaking: Normalerweise können andere Spieler in ihrMatch gezogen werden, sobald ein Spieler lange genug gewartet hat (solange sie sich innerhalb der maximalen Reichweite befinden). Bidirektionales Matchmaking erfordert, dass beide Spieler sich so weit ausgedehnt haben, dass sie sich gegenseitig umfassen, damit sie in dasselbe Match gezogen werden können. Standardmäßig ist dies deaktiviert.

Wenn das verwirrend klingt, keine Sorge, es ist kompliziert. Hier ist eine kleine Tabelle, um die Dinge zu klären:

Die tatsächliche Bewertung jedes Spielers wird in Rot angezeigt, und seine aktuelle Matchmaking-Suche wird in Blau angezeigt.

• In Beispiel 1 hat sich die Suche von Spieler A auf Spieler B ausgeweitet, aber Spieler B hat sich noch nicht auf Spieler A ausgeweitet, sodass sie nicht abgeglichen werden.
• In Beispiel 2 haben sich beide Player ausreichend erweitert, um sich gegenseitig abzudecken, sodass sie jetzt zusammenpassen können.
• Wenn wir das standardmäßige (unidirektionale) Matchmaking verwenden, wären beide Beispiele für ein Match geeignet.

Sichtbarkeit der Klassen: Das ist schön und einfach. Wir können Klassen im Post-Match-Bildschirm ausschalten, da sie normalerweise nicht für das Matchmaking verwendet werden. Dies hat eigentlich keine Auswirkungen, aber wir waren neugierig zu sehen, wie die Leute darüber denken und wie es ihre Wahrnehmung von Matchmaking beeinflusst.

Klassenbasiertes Matchmaking: Wir können das Skill Based Matchmaking vollständig ausschalten und stattdessen Klassen für das Matchmaking verwenden. Für Leute, die sich uns erst kürzlich angeschlossen haben, war das ungefähr so, wie das Matchmaking vor der Einführung des Skill Based Matchmaking funktionierte.

Die Tests

Und jetzt der Teil, auf den ihr gewartet habt: Was genau wurde jeden Tag getestet? Wir teilen auch unsere Erwartungen und wie sie zu den Ergebnissen passten. Kurze Anmerkung: Wir werden in diesem Abschnitt viel über Durchschnittswerte sprechen. Wenn dies nicht mit euren Erfahrungen übereinstimmt, macht euch keine Sorgen. Wir sind uns bewusst, dass die Dinge in Abhängigkeit von einer Reihe verschiedener Faktoren (Zeit, Region, Rolle, Bewertung usw.) variieren können. 

Bei den ersten drei Tests haben wir keine große Verbesserung erwartet. Diese drei sollten einzelne Variablen testen und sehen, welche Auswirkungen sie auf das Matchmaking haben. Danach begannen wir, diese Variablen zu mischen, um zu sehen, welche Auswirkungen sie zusammen haben würden.

28. März

Test:

• Expansionszeit auf 1 Minute verringert (von 5 Minuten)

Erwartung: Schnellere Spiele, insbesondere für Spieler außerhalb der Spitzenzeiten, obwohl die Qualität der Spiele geringer wäre.

Ergebnisse: Wie erwartet, verkürzten sich die Wartezeiten auf ganzer Linie erheblich (schneller als an jedem anderen Tag), insbesondere für die Spieler an den äußersten Enden des Bewertungsspektrums. Die Qualität der Spiele hat sich im Durchschnitt nicht wesentlich verändert, obwohl einige Spieler möglicherweise eine größere Lücke in den Fähigkeiten bemerkt haben.

Die Tötungsraten änderten sich merklich an den Enden des Spektrums, wobei hoch bewertete Killer tödlicher wurden und niedrig bewertete Killer es schwerer hatten. Dies liegt wahrscheinlich daran, dass Spieler am Ende des Spektrums mit mehr Spielern aus der Mitte gepaart werden.

29. März

Test:

• Maximale Reichweite auf 250 verringert (von 500)

Erwartung: Langsamere Spiele, insbesondere für Spieler mit außergewöhnlich hohen/niedrigen Bewertungen und/oder außerhalb der Spitzenzeiten, aber im Allgemeinen qualitativ hochwertigere Spiele.

Ergebnisse: Wie wir vorhergesagt haben, verlängerten sich die Wartezeiten für Spieler an beiden Enden des Spektrums, obwohl Spieler in der Mitte (im Durchschnitt) keinen merklichen Einfluss auf die Matchmaking-Zeiten hatten. Insgesamt reduzierte dieser Test den durchschnittlichen Bewertungsunterschied im Vergleich zu einem Nicht-Testtag nur geringfügig, obwohl Spieler am anderen Ende des Spektrums merkwürdigerweise möglicherweise einen Anstieg festgestellt haben.

30. März

Test:

• Bidirektionales Matchmaking aktiviert

Erwartung: Längere Wartezeiten für Spieler außerhalb der Spitzenzeiten und Spieler am äußersten Ende des Bewertungsspektrums, aber fairere Matches für Spieler, die schnell gematcht werden.

Ergebnisse: Längere Wartezeiten waren eine Untertreibung; einige Spieler hatten außergewöhnlich lange Wartezeiten (15 Minuten+). Dies liegt daran, dass es zu der Zeit, als sie spielten, nicht genügend Spieler gab, mit denen sie in ihrer Region und ihrem Können verglichen werden konnten, und Spieler, die „nahe genug“ an ihrem Können waren, wurden nicht mit ihnen verglichen, es sei denn, sie konnten es auch nicht eine Übereinstimmung finden.

Das ist länger, als wir jemals möchten, dass jemand wartet. Um auf Nummer sicher zu gehen, haben wir diesen Test verkürzt und nach ein paar Stunden geändert. Es wurde eine feste Obergrenze hinzugefügt, um wieder auf die standardmäßige unidirektionale Spielersuche umzuschalten, nachdem jemand 5 Minuten gewartet hatte. Diese Obergrenze wurde für alle zukünftigen Tests verwendet, bei denen bidirektionales Matchmaking verwendet wurde.

Von allen Tests reduzierte dieser den durchschnittlichen Bewertungsunterschied am stärksten und verringerte ihn um etwa ein Drittel. Aufgrund der langen Wartezeiten ist dies jedoch eine ziemlich unattraktive Lösung.

 

31. März

Test:

• Maximale Reichweite auf 250 verringert (von 500), Expansionszeit verringert auf 1 Minute (von 5 Minuten)

Erwartung: Spieler, die bereits schnelle Übereinstimmungen erhalten, bemerken möglicherweise einen leichten Qualitätsabfall, aber Spieler am anderen Ende finden möglicherweise schneller Übereinstimmungen. Andererseits kann die verringerte Reichweite den Pool von Spielern einschränken, mit denen man am anderen Ende des Bewertungsspektrums spielen kann.

Ergebnisse: Die Warteschlangenzeiten für Überlebende waren durchweg schneller, aber die Warteschlangenzeiten von Killern hatten keinen merklichen Unterschied. In Bezug auf die Tötungsraten sanken die Tötungsraten am mittleren bis oberen Ende der Fähigkeitsgruppen leicht (näher an 50%), während die unteren Gruppen größtenteils gleich blieben. Dieser Test erzielte auch die zweitgrößte Verringerung der durchschnittlichen Bewertungsdifferenz aller Tests.

4. April

Test:

• Maximale Reichweite auf 350 verringert (von 500), Erweiterungszeit auf 1 Minute verringert (von 5 Minuten), bidirektionales Matchmaking aktiviert

Erwartung: Das Matchmaking kann für einige Spieler langsamer sein, aber die Qualität der Matches sollte verbessert werden.

Ergebnisse: Die Warteschlangenzeiten für Überlebende waren durchweg schneller, während die Warteschlangenzeiten für Killer größtenteils gleich blieben (mit Ausnahme des äußerst niedrigen Endes der Fähigkeitsbewertungen). Die Tötungsraten stiegen währenddessen auf den höchsten Fertigkeitsstufen leicht an und blieben am unteren Ende weitgehend unverändert. Der durchschnittliche Bewertungsunterschied hat sich bei diesem Test nicht merklich verringert.

7. April

Test:

• Maximale Reichweite auf 350 verringert (von 500), Erweiterungszeit auf 1 Minute verringert (von 5 Minuten), bidirektionales Matchmaking aktiviert, Klassen ausgeblendet

Erwartung: Mehr oder weniger die gleichen Ergebnisse wie beim vorherigen Test, da alle Variablen gleich sind.

Ergebnisse: Wir waren gespannt, welche Auswirkungen das Ausblenden von Klassen auf das erhaltene Feedback haben würde, da Klassen nicht mehr für das Matchmaking verwendet werden (obwohl sie den Eindruck erwecken können, dass sie ein Maß für Fähigkeiten sind). Für diesen Test haben wir dieselben Variablen durchlaufen lassen, nur dass wir auch Klassen versteckt haben. Auf diese Weise konnten wir das Feedback mit dem vorherigen Test vergleichen, um zu sehen, wie sich die Klassen auf die Stimmung auswirkten.

Zu unserer Überraschung war das Gesamtfeedback etwas positiver mit versteckten Klassen. Beim direkten Vergleich der Meinungen von Leuten, die Feedback zu den Tests am 4. und 7. April hinterlassen haben, stellten wir fest, dass das Feedback normalerweise gleich, wenn nicht sogar besser war, wenn die Klassen ausgeblendet waren. Wir haben uns entschieden, die Klassen über das Wochenende versteckt zu lassen.

11. - 12. April

Test:

• Wechseln zum Klassen-basierten Matchmaking
• (nur 12. April: Klassen anzeigen)

Diese Tests wurden später hinzugefügt, als wir anfingen, mehr Spekulationen über die Tests zu sehen. Gelegentlich sagte jemand voraus, dass eines der Dinge, die wir testeten, das alte Matchmaking-System war, und wir dachten uns, hey, warum versuchen wir es nicht?

Erwartung: Matches würden eine viel größere Vielfalt an Spielerfähigkeiten aufweisen, sehr ähnlich dem alten rangbasierten Matchmaking. Wir haben auch erwartet, dass der Unterschied in den Durchschnitts-Klassen dramatisch sinken wird.

Ergebnis: Wie wir vermuteten, wurden wir mit Berichten über einseitige Spiele geflutet. Das können wir auch von unserer Seite bestätigen; Die durchschnittlichen Tötungsraten für diesen Tag sahen die bisher dramatischste Veränderung, wobei die höchsten Fähigkeitsstufen auf etwa 80 % (> 3 Tötungen pro Spiel im Durchschnitt) hoch schnellten und auf etwa 20 % (< 1 Tötung pro Spiel im Durchschnitt) abstürzten das untere Ende des Spektrums. Der Klassendurchschnitts-Unterschied verringerte sich jedoch erwartungsgemäß deutlich.

Um es klarzustellen, dies ist nicht ganz dasselbe wie das alte rangbasierte Matchmaking. Für den Anfang werden Klassen bis auf Bronze I zurückgesetzt, während Ränge nur eine Farbstufe zurücksetzen und es nicht mehr möglich ist, Klassen zu verlieren. Wir wollten ihm eine faire Chance geben, also haben wir diesen Test so nah wie möglich an die Klasse-Rücksetzung gesetzt, um den Leuten das größtmögliche Zeitfenster zu geben, sich in ihre Klassen einzuleben. (Deshalb wurde auch der letzte Tag abgebrochen: Wir wollten den Test nicht über den Klassen-Reset laufen lassen, da sonst jeder gegen jeden spielen würde.)

Darüber hinaus ist ein 1-2-tägiger Test nicht dasselbe wie etwas für lange Zeit laufen zu lassen. Mit mehr Zeit (und der Möglichkeit, Klassen zu verlieren) erwarten wir, dass die Klassen von Leuten, die viel zu schwierigen Gegnern gegenüberstehen, irgendwann auf einen Punkt fallen, an dem sie sich wohler fühlen, während Leute, die ständig überdurchschnittliche Leistungen erbringen, aufsteigen würden.

Letztendlich zeigt dies jedoch ein großes Problem bei der Verwendung von Klassen (oder Rängen) für die Spielersuche: Ein sehr erfahrener Spieler, der in letzter Zeit nicht viel gespielt hat, kann sehr leicht mit Spielern gepaart werden, die neu im Spiel sind. Wie wir in der Vergangenheit gelernt haben, sind Klassen/Ränge ein stärkerer Indikator für die Spielzeit als für Fähigkeiten.

Dieser Test war sehr polarisierend, aber interessanterweise sahen wir positiveres Feedback, als wir wieder anfingen, Klassen anzuzeigen. Dies weist darauf hin, dass definitiv ein starker Zusammenhang zwischen der Anzeige von Klassen auf dem Bildschirm nach dem Spiel und der Stimmung über ein Spiel besteht.

Erkenntnisse

Wir haben gelernt, dass striktes Matchmaking und die Qualität der Matches zweifellos miteinander verbunden sind. Lockerere Bedingungen hatten einen bemerkenswerten Einfluss auf die Tötungsraten, die Vielfalt der Gegner und auch auf das Feedback, das wir erhielten. Während einige die größere Vielfalt an Gegnern zu schätzen wussten, gab es eine entgegengesetzte Reaktion von anderen, die nun in härteren Spielen zu kämpfen hatten. Einfach ausgedrückt, auf der anderen Seite eines Gelegenheitsspiels – bei dem ein Spieler gewinnen kann, ohne es zu versuchen – ist eine Person, die eine schlechte Zeit hat, obwohl sie ihr Bestes gibt.

Andererseits gilt auch die Umkehrung. Strikteres Matchmaking brachte die Tötungsraten näher an die Mitte, aber viele fanden, dass die Matches zu “schwitzig” waren, um sie zu genießen. Während Leute in den niedrigeren Gruppen der Fähigkeitsbewertung weniger unfaire Matches hatten, endeten die oberen Ende der Fähigkeitsgruppen in harten Matches voller Meta-Perks und Killer.

Diese Tests haben insgesamt zwei unterschiedliche Gruppen hervorgehoben:

• High-Skill-Spieler, die mehr Abwechslung in ihren Matches wollen
• Low-Mid-Skill-Spieler, die verständlicherweise nicht von High-Skill-Spielern zerstört werden wollen

Der größte Vorteil dabei ist, dass es niemals eine Einheitslösung ist, zu weit zu gehen. Was uns oft aufgefallen ist, ist, dass einige Spieler einen bestimmten Test liebten, weil sie mehr Abwechslung bei ihren Gegnern sahen, aber gleichzeitig waren dieselben Tests auch für viele Leute frustrierend, die plötzlich mit viel besseren Leuten zusammengebracht wurden als sie. In diesem Szenario liegen beide nicht falsch: Jeder von ihnen will nur etwas und erwartet etwas anderes vom Matchmaking.

Schließlich haben wir festgestellt, dass das Ausblenden von Klassen auf dem Bildschirm nach dem Spiel definitiv das Feedback beeinflusst, das wir erhalten. Wir vermuten, dass dies zwei Gründe hat: 1) Langjährige Spieler, die die Änderungen beim Matchmaking verpasst haben, könnten immer noch denken, dass Klassen für das Matchmaking verwendet werden. Und 2) Einige Spieler haben immer noch das Gefühl, dass Klassen ein Indikator für Fähigkeiten sind, obwohl sie nicht für das Matchmaking verwendet werden. Am wichtigsten ist jedoch, dass wir festgestellt haben, dass es eine Menge Unterstützung für das Ausblenden von Klassen gab, sodass wir dies als dauerhafte Änderung für die Zukunft in Betracht ziehen werden.

Nächste Schritte

Unter Berücksichtigung all dieser Erkenntnisse haben wir eine Lösung, die das Matchmaking für beide Spielergruppen verbessert. Wir werden in Kürze folgende Änderungen vornehmen:

• Reduzierung der maximalen Reichweite
• Reduzierung die Expansionszeit proportional (so dass es nicht schneller oder langsamer als zuvor ist)
• Senken der effektiven Obergrenze für Fertigkeitsbewertungen
• Entfernen von Klassen aus dem Bildschirm nach dem Spiel für die absehbare Zukunft

Warum diese Änderungen?

Wie in den Erkenntnissen erwähnt, fanden wir zwei dominante Gruppen:

• High-Skill-Spieler, die mehr Abwechslung wollen
• Low-Mid-Skill-Spieler, die ausgeglichene Matches wollen

Um beide Gruppen glücklich zu machen, müssen wir sie zunächst voneinander isolieren. Dazu reduzieren wir den maximalen Ausdehnungsbereich. Dies wird dazu beitragen, Spieler mit ähnlichen Fähigkeiten zusammenzuhalten und die Anzahl einseitiger Spiele zu reduzieren. Die Mehrheit der Spieler liegt in der Mitte des Spektrums, also gibt es immer noch viele Leute, mit denen man sich messen kann. Da es den Anschein hat, als ob die Expansion in einem guten Tempo erfolgt, werden wir außerdem die Expansionszeit proportional anpassen.

Als Nächstes müssen wir uns überlegen, wie sich dies auf die High-Skill-Gruppe auswirken wird. Eine Reduzierung der Vielfalt würde weniger Abwechslung bedeuten. Glücklicherweise haben wir eine weitere Variable zum Anpassen, die dieses Problem perfekt löst. Für die Zwecke des Matchmaking haben wir eine „Obergrenze“ für Skill-Bewertungen. Obwohl Ihre Bewertung weiter über diese Obergrenze hinaus steigen kann, werden Sie für die Zwecke des Matchmaking so behandelt, als ob ihr die Obergrenze erreicht hättet. Dies soll verhindern, dass die besten Spieler da draußen an einen Punkt klettern, an dem es einfach niemanden gibt, mit dem sie mithalten können.

Indem wir diese Obergrenze senken, können wir den Pool an Spielern in High-Skill-Matches erweitern, was zu mehr Vielfalt bei den Gegnern führt, denen ihr gegenübersteht. Ein Spiel kann sehr knapp und umkämpft sein, aber das nächste kann etwas entspannter sein. Dadurch wird auch sichergestellt, dass die Wartezeiten bei höheren Qualifikationsstufen nicht länger werden.

Zu guter Letzt entfernen wir die Klassen aus dem Bildschirm nach dem Spiel. Als wir ursprünglich Klassen während des Tests versteckten, sahen wir viele Leute, die darum baten, dies dauerhaft zu machen. Darüber hinaus könnten langjährige Spieler, die die Neuigkeiten verpasst haben, oft denken, dass Klassen immer noch für das Matchmaking verwendet werden, was dazu führte, dass sie das Gefühl hatten, dass das Match weniger fair war, als es tatsächlich war. Dies, kombiniert mit dem allgemein positiveren Feedback während der Tests während der Deaktivierung, waren für uns Grund genug, sie auf absehbare Zeit zu deaktivieren.

Für die Zukunft arbeiten wir immer noch hart daran, verschiedene Verbesserungen am Matchmaking-System zu implementieren. Dazu gehört, dass die Überlebenden-Bewertungen eher teambasiert als persönlich sind (es ist also nicht so strafend, heldenhaft zu sterben, um alle anderen zu retten) und Verbesserungen beim Auffüllen von Lobbys, um zu verhindern, dass Spieler von außerhalb des akzeptablen Bereichs hineingezogen werden. Diese Verbesserungen werden länger dauern, bis sie implementiert sind , aber seid versichert, es wird bereits daran gearbeitet. Eine vollständige Liste der Änderungen, mit denen wir uns befassen, findet ihr in unserem Entwickler-Update vom Januar.

Nochmals möchten wir uns bei allen bedanken, die sich die Zeit genommen haben, während der Tests Feedback zu hinterlassen. Es ist unglaublich wichtig, dass wir nicht nur verstehen, wie der Matchmaker funktioniert, sondern auch, wie er sich anfühlt, um Verbesserungen vorzunehmen. Wie immer werden wir die Weiterentwicklung des Matchmaking-Systems genau im Auge behalten und bei Bedarf kleine Anpassungen vornehmen. Bitte gebt uns weiterhin Feedback!

Das Dead by Daylight-Team