Darmowy raport widoczności w AI

Sprawdź, czy Twoja firma jest widoczna w AI

Zobacz za darmo, czy ChatGPT, Gemini i Google AI wymieniają Twoją firmę w swoich odpowiedziach.

Sprawdź widoczność za darmo →

Jak zmienić zestaw pytań w monitoringu AI i zachować porównywalność wyników

Ta procedura dotyczy zmiany już używanego zestawu pytań. Dobór wielkości monitoringu i ogólne definicje metryk mają osobne poradniki. Rezultatem jest rejestr zmian oraz porównanie, które nie myli poszerzenia próby z poprawą widoczności.

1. Zapisz stan przed zmianą

Zachowaj tekst i ID każdego pytania, wersję zestawu, kraj, język, system oraz dostępne ustawienia. Zapisz reguły rozpoznawania marek, rytm obserwacji i obsługę błędów zbierania. Nie nadpisuj starego tekstu bez historii.

Pole rejestru Co wpisać
ID pytania i wersja [identyfikatory]
Dawny i nowy tekst [dokładne brzmienie]
Powód [np. nowa oferta albo korekta błędu]
Data obowiązywania [data i strefa]
Grupa [stała; nowa; zmieniona; wycofana]
Zmiany ustawień [rynek; język; system; klasyfikacja]
Właściciel [osoba zatwierdzająca]

2. Wyodrębnij część wspólną

Zestaw kontrolny tworzą niezmienione pytania o porównywalnych warunkach obserwacji. Nowe pytania raportuj osobno. Przy zmianie znaczenia pytania rozpocznij dla niego nową serię, zamiast traktować je jak poprzednią wersję.

Nawet poprawka zapisu może wpłynąć na odpowiedź. Zachowaj jej ślad. Nie istnieje uniwersalny próg liczby pytań, który gwarantuje stabilny wynik.

3. Przykład fikcyjny

W wersji A było 10 pytań. W wersji B pozostawiono 8 bez zmian, 2 wycofano i dodano 4. Nowy zestaw ma 12 pytań, a wspólna część ma 8.

Porównaj okresy na tych 8 pytaniach przy zgodnych warunkach. Cztery nowe pytania opisz jako rozszerzenie zakresu. Nie nazywaj różnicy między wynikiem całej dziesiątki a całej dwunastki skutkiem aktualizacji treści. Liczby są ilustracyjne, nie przedstawiają raportu klienta.

4. Sprawdź jednostki i kompletność

Jeśli pytanie ma wiele uruchomień, liczba pytań nie jest liczbą odpowiedzi. Ustal sposób agregowania, zapisz liczbę poprawnych obserwacji i błędy osobno. Sprawdź, czy oba okresy obejmują porównywalny rytm i te same grupy z nazwą marki lub bez niej.

Zmiana reguł aliasów, systemu albo rynku również może ograniczyć porównywalność. Wtedy pokaż oddzielne serie i opis ograniczenia; nie przeliczaj historii automatycznie bez wyjaśnienia.

5. Odbierz zmianę

Druga osoba powinna móc odtworzyć: co dodano, co wycofano, jaki wynik dotyczy części wspólnej i jaka konfiguracja obowiązywała. Zachowaj rejestr, eksport dostępnych danych i notatkę w raporcie. Nie obiecuj, że każda platforma przechowuje poprzednie wersje; sprawdź to w używanym narzędziu.

Powiązane materiały i źródła

Rejestr dla kilkuset pytań w agencji

Przy większym zestawie zacznij od ewidencji, a nie od masowej zmiany treści pytań. Nadaj każdemu stabilny identyfikator i zapisz klienta, rynek, język, potrzebę kupującego, kategorię oferty, właściciela oraz daty aktywności. Identyfikator służy zespołowi; do modelu trafia naturalne pytanie.

Przykład fikcyjny: agencja ma 300 aktywnych pytań. Podczas przeglądu znajduje pytania o dostawę do domu i o wniesienie produktu. Podobne słowa nie czynią ich duplikatami, bo sprawdzają różne warunki zakupu. Dwa pytania z identycznym zakresem również wymagają sprawdzenia historii przed połączeniem.

Przykładowy identyfikatorPotrzebaDecyzja
KLIENT-A_PL_DOSTAWA_001Dostawa pralki do domuZachować
KLIENT-A_PL_WNIESIENIE_002Wniesienie pralki na piętroZachować osobno
KLIENT-A_PL_DOSTAWA_003Ten sam zakres co 001Sprawdzić historię; ewentualnie wycofać z datą

Zachowaj stałą grupę kontrolną z pytaniami istotnymi dla oferty. Nie wybieraj do niej wyłącznie tych, w których klient już wypada dobrze. Nowe pytania i zmienione znaczeniowo wersje raportuj osobno. Jeśli wycofujesz duplikat, zachowaj powiązanie starego identyfikatora i zapis przyczyny.

Jedna osoba zatwierdza zmiany struktury, druga sprawdza zgodność z ofertą klienta. Przekazanie projektu powinno obejmować aktywną listę, archiwum wersji, reguły klasyfikacji i datę początku porównywalnej serii. Dzięki temu kolejny analityk rozumie, dlaczego liczba pytań się zmieniła.

Gotowy zestaw startowy i rytm przeglądu

Przykład fikcyjny: mały serwis rowerowy w Warszawie chce sprawdzać, czy jest polecany przy typowych potrzebach klientów. Przed wdrożeniem dopasuj miejsce, język i zakres do własnej oferty. Nie traktuj trzech pytań jako uniwersalnego minimum.

Stała treść pytania w przykładzieCo sprawdzasz
Który serwis rowerowy w Warszawie naprawia hamulce w rowerach elektrycznych?Dopasowanie specjalizacji
Gdzie w Warszawie mogę zamówić przegląd roweru przed dłuższą trasą?Polecenie usługi okresowej
Który serwis w Warszawie odbiera rower od klienta do naprawy?Usługę odbioru, tylko jeżeli firma rzeczywiście ją oferuje

Zapisz zestaw jako wersję 1, przypisz właściciela i zachowaj dokładne brzmienie, język oraz rynek. W przykładzie test dotyczy polskich odpowiedzi o usługach w Warszawie. Wyników różnych języków nie łącz w jedną serię.

Rozdziel harmonogram zbierania odpowiedzi dostępny w narzędziu od przeglądu zespołu. Przykładowo analityk w każdy poniedziałek sprawdza ostatni pełny tydzień, a raz w miesiącu właściciel oferty ocenia aktualność pytań. To propozycja organizacji, nie obietnica konfigurowalnego harmonogramu platformy.

Nowa lokalizacja, wycofanie odbioru roweru lub zmiana znaczenia pytania wymaga wpisu w rejestrze i nowej wersji. Nie poprawiaj pytań po każdej niekorzystnej odpowiedzi. Stałą część oceniaj nadal na tych samych warunkach; osobno pokaż nowe pytania i nieudane pomiary.

Źródła

Sprawdź, czy Cię widzi

Wpisz adres Twojej strony, żeby otrzymać bezpłatny raport widoczności w AI