Und was testet Netflix gerade bei Ihnen so?
Auch wenn Netflix inzwischen in nahezu jedem Land der Welt verfügbar ist, so sieht der Streamingdienst bei jedem Nutzer ein Stück weit anders aus. Nun gab Netflix spannende Einblicke in die Technik dahinter: Wie Big Data zu Smart Data wird...
Sie schauen sich eine neue Serie auf Netflix an - aber brechen nach zehn Minuten ab. Für die Algorithmen des Video-on-Demand-Anbieters, die den Nutzern personalisierte Angebote machen sollen, stellt sich an dieser Stelle eine knifflige Frage: Ist es nun schlecht, dass Sie nach zehn Minuten aufgehört haben zu gucken oder gut, weil Sie das Programm ja zunächst einmal ausgewählt haben? Und zu allem Übel kommt auch noch eine weitere Möglichkeit: Sie mochten das Programm, aber konnten in jenem Augenblick nicht weiterschauen, weil z.B. der Bus oder die Bahn kam. Vielleicht also ist es zunächst einmal weder positiv noch negativ zu bewerten. Aber bis wann müsste man die Serie weitergeschaut haben, bevor Netflix das Ausbleiben als Desinteresse vermerkt?
„Und das ist nur eine Frage von sehr vielen“, sagt Todd Yellin, Vice President of Product Innovation bei Netflix. Um Antworten auf diese Fragen zu finden, setzt Netflix auf ein in der Produktforschung als A/B-Testing bekanntes Verfahren. Mit anderen Worten: Sie werden benutzt ohne es zu wissen. Es geschieht immer und immer wieder. Vielleicht sogar dutzende Mal am Tag. Aber es geschieht zu Ihrem Vorteil. Netflix befindet sich im Grunde in einer permanenten Beta-Phase. Zu allen möglichen Belangen führt man A/B-Testings durch, was bedeutet: Die Kundschaft wird in Gruppen aufgeteilt, die unterschiedliche Versionen von Netflix angezeigt bekommen.
Mal geht es um Fragen der Algorithmen, mal ganz banal um die Auswahl der passenden Grafik für die Bewerbung einer Serie. „Wir haben z.B. die Länge der Teaser-Texte getestet, die Vorschaubilder, die Größe der Programmkacheln“, führt Yellin aus. Soll nur ein Vorschaubild angezeigt werden? Oder mehrere im Wechsel? Oder vielleicht sogar ein Trailer? Im Rahmen der A/B-Testings beobachtet Netflix - je nach Art des Tests einige Tage oder Wochen lang - die resultierende Nutzung der in Gruppen aufgeteilten Kundschaft. Führt eine der Testgruppen zu deutlich gesteigerter Nutzung, wird allen Netflix-Kunden diese Version zugänglich gemacht.
„Die meisten A/B-Testings bemerkt niemand. Sie sehen als Nutzer ja zum Beispiel nicht, dass sich ihre Empfehlungen aufgrund veränderter Gewichtung der Algorithmen verändert haben. Nur bei Design-Änderungen, da fällt es natürlich auf“, sagt Yellin im Gespräch über die Technik hinter Netflix. Solche Tests laufen permanent mit allen Kunden. Die Ergebnisse seien spürbar. So habe ein Test mit mehreren Optiken für die Serie „Jessica Jones“ ergeben, dass mit dem final gewählten Bild bis zu sieben Prozent mehr Nutzung erreicht wurde.
Wer sich schon einmal über Änderungen bei der Gestaltung der Programm-Kacheln gewundert hat, kennt jetzt des Rätsels Lösung: Nimmt Netflix eine Serie online, so werden zunächst mehrere Kachel-Optiken ausprobiert. Nach etwa einer Woche ist dann klar, welche Optik die höchste Nutzung erreicht hat. „Aber uns geht es hier nicht um Clickbaiting“, sagt Todd Yellin. „Wir könnten mit nackter Haut vielleicht einen Klick erreichen, aber wenn dann beim Programm überdurchschnittlich viele Nutzer aussteigen, war die Bewerbung falsch.“
Seit Netflix im Januar seine Präsenz beinahe global ausgebaut hat, ist die Arbeit von Yellin noch komplexer geworden, wie er beim Gespräch in Paris ausführt. So variiert die Bewerbung einiger Serien inzwischen auch nach Markt, wenn die Ergebnisse der Tests regional deutlich unterschiedlich ausfallen. Das Interface von Netflix vor dem globalen Spagat zwischen Wiedererkennbarkeit und Lokalisierung. „Die größte Herausforderung bisher war Japan“, sagt Netflix-Mann Yellin.
Websites in Japan sind weitaus kleinteiliger und chaotischer als wir es gewohnt sind. Überall blinke was. Zum Start in Japan habe man dort ein A/B-Testing mit zwei verschiedenen Interfaces gestartet. Eine extra für den japanischen Markt aufbereitete Oberfläche und die international von Netflix verwendete. Yellin: „Wir waren sehr erleichtert als wir gesehen haben: Die Nutzung beim internationalen Interface war höher.“ Über andere konkrete Ergebnisse der A/B-Testings redet Todd Yellin nicht. Aber er verdeutlicht, wie immer wieder neu getestet werde.
So basierend die Empfehlungen für Netflix-Kunden ja u.a. auch auf der bisherigen Nutzung. Bleibt bloß die Frage offen: Wie weit zurück soll die Nutzung berücksichtigt werden? Geht es um die letzten vier Wochen, vier Monate oder vielleicht das gesamte vergangene Jahr? „Sie ahnen, wie wir das rausgefunden haben, oder?“, sagt Yellin und lacht. Mehr über die Algorithmen verrät Yellins Kollege Carlos Gomez Uribe. Er ist Vice President Product Innovation Personalization Algorithms bei Netflix. Insgesamt 15 verschiedene Algorithmen bestimmen, welche Inhalte ein Netflix-Nutzer angezeigt bekommt. Zwei seien jedoch ganz maßgeblich.
Zum Einen geht es natürlich ganz simpel um Programme, die dem bisher gesehenen Inhalten ähneln. Mike Hastings ist Director of Enhanced Content bei Netflix. „Und nein“, sagt er, bevor man überhaupt eine Frage stellen kann: „Ich bin nicht verwandet mit Reed.“ Die Aufgabe seines Teams ist die Beschreibung und Klassifizierung des Programms. Rund 30 Menschen vertaggen im Auftrag von Netflix alle angebotenen Inhalte - und das anhand von momentan 180 Faktoren. „Da kommen immer mal wieder welche dazu“, sagt Hastings. Neben naheliegenden Tags wie Schauspielern oder Thema geht es auch um Stimmungen und Farbgestaltung sowie Art des Humors und Grad der Gewalt. So entstehen auch immer neue, detailliertere Genres auf der Netflix-Startseite.
Soweit zum ersten der beiden von Carlos Gomez Uribe hervorgehobenen Algorithmen. Und der zweite? Er ist weniger eindeutig zu beschreiben, aber ähnelt ein bisschen der Amazon-Logik „Kunden denen XY gefiel, gefiel auch…“: Netflix gleicht ab, ob es Menschen gibt, die bisher ähnliche Programme geschaut haben und was diese sonst noch angeschaut haben. So entstehen jene Empfehlungen, die nicht hauptsächlich auf der bisherigen Nutzung basieren sondern auf der Annahme, es könnte gefallen weil eine Gruppe anderer, ähnlich interessierter Menschen sich dies ausgesucht haben.
Netflix nennt das Communitys. Sie sind nicht starr formuliert und ändern sich stetig. Ein Nutzer kann auch Teil vieler Communitys sein. Tausende davon gebe es. Ziel sei es, dass sich aus der Nutzung von einem dutzend oder mehr Inhalten Muster erkennen lassen. Die globale Datenerhebung habe da die Beurteilungsgrundlage noch einmal deutlich verbessert, sagt Carlos Gomez Uribe. Gleichzeitig wird die Technik aber komplexer. In unterschiedlichen Territorien mit unterschiedlichen Rechte-Situationen braucht es angepasste Communitys. Noch ein weiterer Grund, warum Netflix bei jedem Nutzer anders aussieht.
So kann Netflix in Deutschland ja zunächst nicht die neueste Staffel „House of Cards“ anbieten. Der Algorithmus darf da zum Beispiel nicht denken, dass deutsche Netflix-Nutzer weniger interessiert seien an der Serie oder Politdrama als Genre. Wann immer über Big Data geredet wird, wie gerade wieder auf der NAB Show, dann gehört Netflix auch diesbezüglich zu den Pionieren im TV-Geschäft. Durch den globalen Rollout im Januar generiert kaum jemand mehr Erkenntnisse über globale TV-Nutzung. Nützlich wird das aber erst, wenn die Kenntnis der Nutzung mit der Kenntnis des eigenen Programms - also intensiver Vertaggung - einher geht. Dann kann aus Big Data Smart Data werden.
Quelle: dwdl
Auch wenn Netflix inzwischen in nahezu jedem Land der Welt verfügbar ist, so sieht der Streamingdienst bei jedem Nutzer ein Stück weit anders aus. Nun gab Netflix spannende Einblicke in die Technik dahinter: Wie Big Data zu Smart Data wird...
Sie schauen sich eine neue Serie auf Netflix an - aber brechen nach zehn Minuten ab. Für die Algorithmen des Video-on-Demand-Anbieters, die den Nutzern personalisierte Angebote machen sollen, stellt sich an dieser Stelle eine knifflige Frage: Ist es nun schlecht, dass Sie nach zehn Minuten aufgehört haben zu gucken oder gut, weil Sie das Programm ja zunächst einmal ausgewählt haben? Und zu allem Übel kommt auch noch eine weitere Möglichkeit: Sie mochten das Programm, aber konnten in jenem Augenblick nicht weiterschauen, weil z.B. der Bus oder die Bahn kam. Vielleicht also ist es zunächst einmal weder positiv noch negativ zu bewerten. Aber bis wann müsste man die Serie weitergeschaut haben, bevor Netflix das Ausbleiben als Desinteresse vermerkt?
„Und das ist nur eine Frage von sehr vielen“, sagt Todd Yellin, Vice President of Product Innovation bei Netflix. Um Antworten auf diese Fragen zu finden, setzt Netflix auf ein in der Produktforschung als A/B-Testing bekanntes Verfahren. Mit anderen Worten: Sie werden benutzt ohne es zu wissen. Es geschieht immer und immer wieder. Vielleicht sogar dutzende Mal am Tag. Aber es geschieht zu Ihrem Vorteil. Netflix befindet sich im Grunde in einer permanenten Beta-Phase. Zu allen möglichen Belangen führt man A/B-Testings durch, was bedeutet: Die Kundschaft wird in Gruppen aufgeteilt, die unterschiedliche Versionen von Netflix angezeigt bekommen.
Mal geht es um Fragen der Algorithmen, mal ganz banal um die Auswahl der passenden Grafik für die Bewerbung einer Serie. „Wir haben z.B. die Länge der Teaser-Texte getestet, die Vorschaubilder, die Größe der Programmkacheln“, führt Yellin aus. Soll nur ein Vorschaubild angezeigt werden? Oder mehrere im Wechsel? Oder vielleicht sogar ein Trailer? Im Rahmen der A/B-Testings beobachtet Netflix - je nach Art des Tests einige Tage oder Wochen lang - die resultierende Nutzung der in Gruppen aufgeteilten Kundschaft. Führt eine der Testgruppen zu deutlich gesteigerter Nutzung, wird allen Netflix-Kunden diese Version zugänglich gemacht.
„Die meisten A/B-Testings bemerkt niemand. Sie sehen als Nutzer ja zum Beispiel nicht, dass sich ihre Empfehlungen aufgrund veränderter Gewichtung der Algorithmen verändert haben. Nur bei Design-Änderungen, da fällt es natürlich auf“, sagt Yellin im Gespräch über die Technik hinter Netflix. Solche Tests laufen permanent mit allen Kunden. Die Ergebnisse seien spürbar. So habe ein Test mit mehreren Optiken für die Serie „Jessica Jones“ ergeben, dass mit dem final gewählten Bild bis zu sieben Prozent mehr Nutzung erreicht wurde.
Wer sich schon einmal über Änderungen bei der Gestaltung der Programm-Kacheln gewundert hat, kennt jetzt des Rätsels Lösung: Nimmt Netflix eine Serie online, so werden zunächst mehrere Kachel-Optiken ausprobiert. Nach etwa einer Woche ist dann klar, welche Optik die höchste Nutzung erreicht hat. „Aber uns geht es hier nicht um Clickbaiting“, sagt Todd Yellin. „Wir könnten mit nackter Haut vielleicht einen Klick erreichen, aber wenn dann beim Programm überdurchschnittlich viele Nutzer aussteigen, war die Bewerbung falsch.“
Seit Netflix im Januar seine Präsenz beinahe global ausgebaut hat, ist die Arbeit von Yellin noch komplexer geworden, wie er beim Gespräch in Paris ausführt. So variiert die Bewerbung einiger Serien inzwischen auch nach Markt, wenn die Ergebnisse der Tests regional deutlich unterschiedlich ausfallen. Das Interface von Netflix vor dem globalen Spagat zwischen Wiedererkennbarkeit und Lokalisierung. „Die größte Herausforderung bisher war Japan“, sagt Netflix-Mann Yellin.
Websites in Japan sind weitaus kleinteiliger und chaotischer als wir es gewohnt sind. Überall blinke was. Zum Start in Japan habe man dort ein A/B-Testing mit zwei verschiedenen Interfaces gestartet. Eine extra für den japanischen Markt aufbereitete Oberfläche und die international von Netflix verwendete. Yellin: „Wir waren sehr erleichtert als wir gesehen haben: Die Nutzung beim internationalen Interface war höher.“ Über andere konkrete Ergebnisse der A/B-Testings redet Todd Yellin nicht. Aber er verdeutlicht, wie immer wieder neu getestet werde.
So basierend die Empfehlungen für Netflix-Kunden ja u.a. auch auf der bisherigen Nutzung. Bleibt bloß die Frage offen: Wie weit zurück soll die Nutzung berücksichtigt werden? Geht es um die letzten vier Wochen, vier Monate oder vielleicht das gesamte vergangene Jahr? „Sie ahnen, wie wir das rausgefunden haben, oder?“, sagt Yellin und lacht. Mehr über die Algorithmen verrät Yellins Kollege Carlos Gomez Uribe. Er ist Vice President Product Innovation Personalization Algorithms bei Netflix. Insgesamt 15 verschiedene Algorithmen bestimmen, welche Inhalte ein Netflix-Nutzer angezeigt bekommt. Zwei seien jedoch ganz maßgeblich.
Zum Einen geht es natürlich ganz simpel um Programme, die dem bisher gesehenen Inhalten ähneln. Mike Hastings ist Director of Enhanced Content bei Netflix. „Und nein“, sagt er, bevor man überhaupt eine Frage stellen kann: „Ich bin nicht verwandet mit Reed.“ Die Aufgabe seines Teams ist die Beschreibung und Klassifizierung des Programms. Rund 30 Menschen vertaggen im Auftrag von Netflix alle angebotenen Inhalte - und das anhand von momentan 180 Faktoren. „Da kommen immer mal wieder welche dazu“, sagt Hastings. Neben naheliegenden Tags wie Schauspielern oder Thema geht es auch um Stimmungen und Farbgestaltung sowie Art des Humors und Grad der Gewalt. So entstehen auch immer neue, detailliertere Genres auf der Netflix-Startseite.
Soweit zum ersten der beiden von Carlos Gomez Uribe hervorgehobenen Algorithmen. Und der zweite? Er ist weniger eindeutig zu beschreiben, aber ähnelt ein bisschen der Amazon-Logik „Kunden denen XY gefiel, gefiel auch…“: Netflix gleicht ab, ob es Menschen gibt, die bisher ähnliche Programme geschaut haben und was diese sonst noch angeschaut haben. So entstehen jene Empfehlungen, die nicht hauptsächlich auf der bisherigen Nutzung basieren sondern auf der Annahme, es könnte gefallen weil eine Gruppe anderer, ähnlich interessierter Menschen sich dies ausgesucht haben.
Netflix nennt das Communitys. Sie sind nicht starr formuliert und ändern sich stetig. Ein Nutzer kann auch Teil vieler Communitys sein. Tausende davon gebe es. Ziel sei es, dass sich aus der Nutzung von einem dutzend oder mehr Inhalten Muster erkennen lassen. Die globale Datenerhebung habe da die Beurteilungsgrundlage noch einmal deutlich verbessert, sagt Carlos Gomez Uribe. Gleichzeitig wird die Technik aber komplexer. In unterschiedlichen Territorien mit unterschiedlichen Rechte-Situationen braucht es angepasste Communitys. Noch ein weiterer Grund, warum Netflix bei jedem Nutzer anders aussieht.
So kann Netflix in Deutschland ja zunächst nicht die neueste Staffel „House of Cards“ anbieten. Der Algorithmus darf da zum Beispiel nicht denken, dass deutsche Netflix-Nutzer weniger interessiert seien an der Serie oder Politdrama als Genre. Wann immer über Big Data geredet wird, wie gerade wieder auf der NAB Show, dann gehört Netflix auch diesbezüglich zu den Pionieren im TV-Geschäft. Durch den globalen Rollout im Januar generiert kaum jemand mehr Erkenntnisse über globale TV-Nutzung. Nützlich wird das aber erst, wenn die Kenntnis der Nutzung mit der Kenntnis des eigenen Programms - also intensiver Vertaggung - einher geht. Dann kann aus Big Data Smart Data werden.
Quelle: dwdl
