PYTANIA: Jak możemy skutecznie zmierzyć wpływ naszych decyzji dotyczących danych
Przepraszam, jeśli to bardzo szerokie pytanie, chciałbym wiedzieć, jak skuteczne jest testowanie A / B (lub inne metody) skutecznego mierzenia skutków decyzji projektowej. Na przykład możemy analizować interakcje użytkowników lub wyniki kliknięć, decyzje dotyczące zakupu / przeglądania a następnie zmodyfikuj / dostosuj wyniki przedstawione użytkownikowi. Moglibyśmy następnie przetestować skuteczność tej zmiany projektu, poddając losowo 10% użytkowników alternatywnemu modelowi, ale w jaki sposób jest to obiektywne? Jak uniknąć wpływania na użytkownika przez zmianę modelu, na przykład moglibyśmy zdecydować, że wyszukiwane hasła „David Beckham” prawdopodobnie dotyczą futbolu, więc wyniki wyszukiwania są tendencyjne w stosunku do tego, ale równie dobrze możemy powiedzieć, że jego styl życia jest równie istotny, ale to nigdy nie trafia do 10 najlepszych wyników, które są zwracane. Jestem ciekawy, jak sobie z tym poradzić i jak to skutecznie zmierzyć.
Uważam, że grozi ci przepchnięcie modelu, który Twoim zdaniem jest poprawny, a użytkownik zobowiązuje się, co staje się samospełniającą się przepowiednią.
ODPOWIEDŹ: W testach A / B stronniczość jest obsługiwana bardzo dobrze, zapewniając, że odwiedzający są losowo przypisywani do wersji A lub wersji B witryny. Tworzy to niezależne próbki pochodzące z tej samej populacji. Ponieważ grupy są niezależne i średnio różnią się jedynie wersją oglądanej witryny, test mierzy wpływ decyzji projektowej. Nieznaczne: teraz możesz argumentować, że grupa A lub grupa B mogą się różnić w zależności od grupy demograficznej. Zazwyczaj dzieje się tak przez przypadek. Do pewnego stopnia można temu zaradzić losowo dostosowaną kowariantną. Można temu zaradzić, dodając zmienne towarzyszące do modelu, który testuje efekt decyzji projektowej. Należy zauważyć, że wciąż trwa dyskusja na temat właściwego sposobu wykonania tego w społeczności statystyk. Zasadniczo testy A / B to zastosowanie Randomized Control Trial do projektowania stron internetowych. Niektóre osoby nie zgadzają się z dodaniem zmiennych towarzyszących do testu. Inni, tacy jak Frank Harrel (patrz Strategie modelowania regresji) argumentują za zastosowaniem zmiennych towarzyszących w takich modelach. Proponuję następujące sugestie: Zaplanuj badanie z wyprzedzeniem, aby zadbać o jak najwięcej źródeł stronniczości i różnorodności. Niech dane mówią same za siebie. Gdy zdobędziesz więcej danych (np. Dotyczących poszukiwań Davida Beckhama), pozwól, aby zdominowały twoje założenia dotyczące tego, jak powinny wyglądać dane (jak to, jak a posterior dominuje w analizie Bayesa, gdy wielkość próby staje się duża). Upewnij się, że Twoje dane są zgodne z założeniami modelu