Ta procedura dotyczy zmiany już używanego zestawu pytań. Dobór wielkości monitoringu i ogólne definicje metryk mają osobne poradniki. Rezultatem jest rejestr zmian oraz porównanie, które nie myli poszerzenia próby z poprawą widoczności.
1. Zapisz stan przed zmianą
Zachowaj tekst i ID każdego pytania, wersję zestawu, kraj, język, system oraz dostępne ustawienia. Zapisz reguły rozpoznawania marek, rytm obserwacji i obsługę błędów zbierania. Nie nadpisuj starego tekstu bez historii.
| Pole rejestru | Co wpisać |
|---|---|
| ID pytania i wersja | [identyfikatory] |
| Dawny i nowy tekst | [dokładne brzmienie] |
| Powód | [np. nowa oferta albo korekta błędu] |
| Data obowiązywania | [data i strefa] |
| Grupa | [stała; nowa; zmieniona; wycofana] |
| Zmiany ustawień | [rynek; język; system; klasyfikacja] |
| Właściciel | [osoba zatwierdzająca] |
2. Wyodrębnij część wspólną
Zestaw kontrolny tworzą niezmienione pytania o porównywalnych warunkach obserwacji. Nowe pytania raportuj osobno. Przy zmianie znaczenia pytania rozpocznij dla niego nową serię, zamiast traktować je jak poprzednią wersję.
Nawet poprawka zapisu może wpłynąć na odpowiedź. Zachowaj jej ślad. Nie istnieje uniwersalny próg liczby pytań, który gwarantuje stabilny wynik.
3. Przykład fikcyjny
W wersji A było 10 pytań. W wersji B pozostawiono 8 bez zmian, 2 wycofano i dodano 4. Nowy zestaw ma 12 pytań, a wspólna część ma 8.
Porównaj okresy na tych 8 pytaniach przy zgodnych warunkach. Cztery nowe pytania opisz jako rozszerzenie zakresu. Nie nazywaj różnicy między wynikiem całej dziesiątki a całej dwunastki skutkiem aktualizacji treści. Liczby są ilustracyjne, nie przedstawiają raportu klienta.
4. Sprawdź jednostki i kompletność
Jeśli pytanie ma wiele uruchomień, liczba pytań nie jest liczbą odpowiedzi. Ustal sposób agregowania, zapisz liczbę poprawnych obserwacji i błędy osobno. Sprawdź, czy oba okresy obejmują porównywalny rytm i te same grupy z nazwą marki lub bez niej.
Zmiana reguł aliasów, systemu albo rynku również może ograniczyć porównywalność. Wtedy pokaż oddzielne serie i opis ograniczenia; nie przeliczaj historii automatycznie bez wyjaśnienia.
5. Odbierz zmianę
Druga osoba powinna móc odtworzyć: co dodano, co wycofano, jaki wynik dotyczy części wspólnej i jaka konfiguracja obowiązywała. Zachowaj rejestr, eksport dostępnych danych i notatkę w raporcie. Nie obiecuj, że każda platforma przechowuje poprzednie wersje; sprawdź to w używanym narzędziu.
Powiązane materiały i źródła
Rejestr dla kilkuset pytań w agencji
Przy większym zestawie zacznij od ewidencji, a nie od masowej zmiany treści pytań. Nadaj każdemu stabilny identyfikator i zapisz klienta, rynek, język, potrzebę kupującego, kategorię oferty, właściciela oraz daty aktywności. Identyfikator służy zespołowi; do modelu trafia naturalne pytanie.
Przykład fikcyjny: agencja ma 300 aktywnych pytań. Podczas przeglądu znajduje pytania o dostawę do domu i o wniesienie produktu. Podobne słowa nie czynią ich duplikatami, bo sprawdzają różne warunki zakupu. Dwa pytania z identycznym zakresem również wymagają sprawdzenia historii przed połączeniem.
| Przykładowy identyfikator | Potrzeba | Decyzja |
|---|---|---|
| KLIENT-A_PL_DOSTAWA_001 | Dostawa pralki do domu | Zachować |
| KLIENT-A_PL_WNIESIENIE_002 | Wniesienie pralki na piętro | Zachować osobno |
| KLIENT-A_PL_DOSTAWA_003 | Ten sam zakres co 001 | Sprawdzić historię; ewentualnie wycofać z datą |
Zachowaj stałą grupę kontrolną z pytaniami istotnymi dla oferty. Nie wybieraj do niej wyłącznie tych, w których klient już wypada dobrze. Nowe pytania i zmienione znaczeniowo wersje raportuj osobno. Jeśli wycofujesz duplikat, zachowaj powiązanie starego identyfikatora i zapis przyczyny.
Jedna osoba zatwierdza zmiany struktury, druga sprawdza zgodność z ofertą klienta. Przekazanie projektu powinno obejmować aktywną listę, archiwum wersji, reguły klasyfikacji i datę początku porównywalnej serii. Dzięki temu kolejny analityk rozumie, dlaczego liczba pytań się zmieniła.
Gotowy zestaw startowy i rytm przeglądu
Przykład fikcyjny: mały serwis rowerowy w Warszawie chce sprawdzać, czy jest polecany przy typowych potrzebach klientów. Przed wdrożeniem dopasuj miejsce, język i zakres do własnej oferty. Nie traktuj trzech pytań jako uniwersalnego minimum.
| Stała treść pytania w przykładzie | Co sprawdzasz |
|---|---|
| Który serwis rowerowy w Warszawie naprawia hamulce w rowerach elektrycznych? | Dopasowanie specjalizacji |
| Gdzie w Warszawie mogę zamówić przegląd roweru przed dłuższą trasą? | Polecenie usługi okresowej |
| Który serwis w Warszawie odbiera rower od klienta do naprawy? | Usługę odbioru, tylko jeżeli firma rzeczywiście ją oferuje |
Zapisz zestaw jako wersję 1, przypisz właściciela i zachowaj dokładne brzmienie, język oraz rynek. W przykładzie test dotyczy polskich odpowiedzi o usługach w Warszawie. Wyników różnych języków nie łącz w jedną serię.
Rozdziel harmonogram zbierania odpowiedzi dostępny w narzędziu od przeglądu zespołu. Przykładowo analityk w każdy poniedziałek sprawdza ostatni pełny tydzień, a raz w miesiącu właściciel oferty ocenia aktualność pytań. To propozycja organizacji, nie obietnica konfigurowalnego harmonogramu platformy.
Nowa lokalizacja, wycofanie odbioru roweru lub zmiana znaczenia pytania wymaga wpisu w rejestrze i nowej wersji. Nie poprawiaj pytań po każdej niekorzystnej odpowiedzi. Stałą część oceniaj nadal na tych samych warunkach; osobno pokaż nowe pytania i nieudane pomiary.