Darmowy raport widoczności w AI

Sprawdź, czy Twoja firma jest widoczna w AI

Zobacz za darmo, czy ChatGPT, Gemini i Google AI wymieniają Twoją firmę w swoich odpowiedziach.

Sprawdź widoczność za darmo →

Jak zweryfikować raport widoczności w AI i odróżnić realną zmianę od szumu pomiarowego

Dostałeś raport widoczności w AI i widzisz wzrost o 2 punkty procentowe. Albo spadek. Pytanie brzmi: czy to się naprawdę stało, czy tylko tak wyszło z losowania odpowiedzi modelu? Modele językowe nie odpowiadają dwa razy tak samo, więc pojedynczy odczyt to bardziej rzut monetą niż pomiar. Poniżej znajdziesz protokół, który przejdziesz w jednym posiedzeniu przy kawie i który pozwoli Ci powiedzieć zarządowi: "to sygnał" albo "to szum, zbieramy dalej".

TL;DR Pojedynczy odczyt to losowanie, nie pomiar. Jeden dzień i jedna odpowiedź nic nie znaczą. Typowy szum w udziale cytowań to 3-7 p.p. szerokości przedziału ufności, więc zmiany rzędu 1-3 p.p. zwykle nie są zmianą. Zmiana może być systemowa (nowy rollout modelu), próby (mniej odpowiedzi, więcej odmów) albo realna (Twoja treść i pozycja). Każdą sprawdzasz inaczej. Metryka nagłówkowa to częstość występowania z przedziałem, a nie "pozycja #3" - kolejność marek w odpowiedzi jest praktycznie niepowtarzalna. Zmianę raportuj dopiero po przejściu protokołu z sekcji krokowej. Bez mianownika i przedziału nie ma raportu.

Jak zweryfikować raport widoczności w AI: 6 kroków

Kolejność ma znaczenie. Najpierw odsiewasz raporty, których nie da się porównać, potem ustalasz, jaka zmiana jest w ogóle wykrywalna, a na końcu decydujesz. Przeskoczenie kroku 1 albo 3 to najczęstsza przyczyna fałszywych wniosków.

Protokół działa, gdy masz co najmniej 4 tygodnie historii i po 20-30 poprawnych odpowiedzi na prompt. Nie zadziała na jednorazowym raporcie bez historii ani wtedy, gdy nikt nie pilnuje wersji promptów.

Krok 1. Sprawdź mianownik i kompletność danych

Zanim spojrzysz na jakikolwiek procent, zapytaj: ile odpowiedzi za nim stoi? "Widoczność 34%" przy 12 odpowiedziach i przy 1 200 odpowiedziach to dwie różne informacje. Bez mianownika liczba jest ozdobą, nie danymi.

Sprawdź też, czy porównujesz to samo: te same modele, ten sam kraj i język, ten sam zakres dat, ten sam zestaw promptów. Dodanie jednego modelu albo zmiana pytań potrafi przesunąć agregat bez żadnej zmiany w Twojej ofercie - zwłaszcza że Gemini, AI Mode i AI Overviews różnią się widocznością marki.

Dwie zasady, których nie łamiesz:

  • Brak uzyskanej odpowiedzi zapisuj jako błąd pomiaru, nie jako brak marki. Inaczej awaria API wygląda jak utrata widoczności.
  • Nie usuwaj niekorzystnych odpowiedzi z porównania. Wycięcie "niewygodnych" rekordów to nie czyszczenie danych, to tworzenie trendu.

Checklista audytu raportu (10 punktów):

  1. Podana liczba odpowiedzi (mianownik) przy każdej metryce.
  2. Podana liczba promptów i ich wersja.
  3. Lista modeli i ich wersji.
  4. Kraj, język i locale.
  5. Zakres dat i liczba dni pomiaru.
  6. Liczba błędów i odmów, oddzielona od braku marki.
  7. Metryki rozdzielone: wzmianka, cytowanie, rekomendacja.
  8. Przedział ufności lub informacja o jego braku.
  9. Informacja o zmianach metodologii w okresie porównania.
  10. Zapisana decyzja: raportować, wstrzymać, powtórzyć.

Krok 2. Zamroź i wersjonuj prompt set

Zmiana próby to najprostszy sposób na wygenerowanie fałszywego trendu. Ktoś dopisał trzy prompty, ktoś inny usunął dwa "nierokujące" - i wykres się przesunął.

Zrób z promptów artefakt, nie notatkę w arkuszu. Checklista pięciu pól, którą trzymasz przy każdej wersji:

  • ID lub hash wersji prompt setu.
  • Changelog: data i dokładnie to, co zmieniono.
  • Wersja modelu (modele zmieniają się bez zapowiedzi).
  • Locale i język promptów.
  • Powierzchnia pomiaru: interfejs czy API. To nie to samo i daje inne odpowiedzi.

Jeśli nie umiesz odpowiedzieć na pytanie "czy prompty są identyczne jak w poprzednim okresie", nie porównuj okresów. Najpierw odtwórz wersję.

Krok 3. Policz szum własnej historii (pasmo szumu)

To krok, który większość raportów pomija, a bez niego nie wiesz, jaka zmiana jest w ogóle wykrywalna. Weź 4-8 tygodni stabilnego okresu, w którym nic nie zmieniałeś, i policz typowe wahania tydzień do tydzień. To Twoje pasmo szumu.

Kontekst z badań: przedziały ufności 95% na udziale cytowań mają zwykle 3-7 p.p. szerokości, a różnice między domenami poniżej 5-7 p.p. są nieodróżnialne od szumu. Innymi słowy: wzrost o 2 p.p. w tygodniowym raporcie to najczęściej nic.

Liczba uruchomień też ma znaczenie. Dla przedziału ufności o szerokości 5 p.p. potrzeba około 40-50 odpowiedzi w Gemini, około 100 w Perplexity i co najmniej 150 w SearchGPT. A błąd pojedynczego uruchomienia spada poniżej 0,10 dopiero przy 7-8 uruchomieniach tego samego promptu.

Mini-tabela: zmiana w p.p. → wykrywalna?

Zmiana tydzień do tygodnia Wykrywalna? Co zrobić
1-3 p.p. Nie Nie raportuj, zbieraj dalej
4-6 p.p. Za mało danych Sprawdź n i pasmo szumu z własnej historii
7+ p.p. Tak, jeśli n jest wystarczające Przejdź do kroku 4 i sprawdź kontrolę
Każda zmiana przy n < 20 Za mało danych Wynik niejednoznaczny, powtórz pomiar

Pytania kontrolne: jaka zmiana jest u mnie w ogóle mierzalna? Ile uruchomień na prompt potrzebuję, żeby zejść poniżej mojego pasma szumu?

Krok 4. Oddziel zmianę systemową od realnej

To najważniejszy krok decyzyjny. Wzrost widoczności nie musi oznaczać, że zrobiłeś coś dobrze. Wyróżnij trzy typy zmiany:

  • Systemowa - model zmienił zachowanie: nowy rollout, inna liczba marek w odpowiedzi, inna długość odpowiedzi.
  • Próby - mniej poprawnych odpowiedzi, więcej odmów, zmieniona powierzchnia pomiaru.
  • Realna - zmiana w Twojej treści, strukturze oferty albo pozycji względem konkurencji.

Polski dowód, że typ pierwszy jest realny: w badaniu rynku e-commerce ChatGPT zaczął wymieniać 6,2 marki w odpowiedzi zamiast 4,9, a Gemini obniżył udział linków z 64,7% do 58,8% w ciągu 9 dni, bez żadnej zmiany promptów. Widoczność wielu firm wzrosła wtedy "za darmo".

Metoda grupy kontrolnej jest prosta: wybierz prompty i marki, których nie dotykała Twoja interwencja, i traktuj je jako miernik dryfu. Jeśli kontrola też rośnie, to system, nie Ty.

Tabela: źródło szumu → korekta

Źródło szumu Czy kontrolujesz? Jak mierzysz Jak korygujesz
Rollout lub aktualizacja modelu Nie Grupa kontrolna promptów i marek Porównuj do kontroli, nie do zeszłego tygodnia
Zmiana liczby marek w odpowiedzi Nie Średnia liczba marek na odpowiedź Przeliczaj na udział, nie na liczbę wystąpień
Mniej poprawnych odpowiedzi Częściowo Liczba błędów i odmów Odrzuć okres o zbyt niskim n
Zmiana promptów lub modeli Tak Hash wersji i changelog Nie porównuj różnych wersji
Zmiana definicji metryki Tak Data wdrożenia metryki Przełam serie na dacie zmiany
Zmiana interfejsu na API Tak Pole "powierzchnia" w karcie pomiaru Trzymaj jedną powierzchnię w serii

Pytania kontrolne: czy zmiana dotyczy też marek, których nie ruszałem? Czy zmieniła się długość lub struktura odpowiedzi?

Krok 5. Sprawdź, co właściwie zmierzyłeś (wzmianka vs cytowanie vs rekomendacja)

Trzy metryki, które wyglądają podobnie, a znaczą co innego. Wzmianka to pojawienie się nazwy. Cytowanie to link do Twojej strony w źródłach. Rekomendacja to wskazanie Cię jako miejsca zakupu. Raportuj je osobno, bo inaczej zawyżasz widoczność.

Polski przykład: Perplexity cytowało poradnik sklepu w 81% odpowiedzi, ale nazwa sklepu nie pojawiła się w żadnej z nich. Sklep miał świetne cytowania i zerową rozpoznawalność marki w odpowiedzi. Jeśli raport pokazuje jedno jako drugie, decyzja będzie błędna.

Drugie ostrzeżenie: metryki zmieniają się w czasie. Udział odpowiedzi z klikalnym linkiem wzrósł z 4-5% do około 22% po 7 maja 2026. Jeśli porównujesz okres przed i po tej dacie, wykres pokaże trend, którego nie było.

Pytania kontrolne: czy wzrost to wzmianka, cytowanie czy rekomendacja? Czy metryka nie zmieniła definicji w trakcie serii?

Krok 6. Podejmij decyzję i zapisz ją

Analiza bez decyzji to strata czasu. Użyj drzewka:

  • Zmiana mniejsza niż pasmo szumu → nie raportuj, zbieraj dane dalej.
  • Zmiana większa niż pasmo szumu, kontrola stabilna → sygnał. Zaplanuj test przed/po.
  • Za mało poprawnych odczytów → wynik niejednoznaczny. Powtórz pomiar, nie ogłaszaj wniosku.

Do każdej decyzji dopisz kartę zdarzenia: data, wersja promptów, modele, liczba odpowiedzi, wynik z przedziałem, decyzja. Karta zajmuje pięć minut, a ratuje rozmowę z zarządem pół roku później.

Pytania kontrolne: co powiedzieć zarządowi? Kiedy powtórzyć pomiar?

Najczęstsze błędy i jak je naprawić

  • Ocena po jednym dniu. Objaw: "wczoraj spadliśmy". Przyczyna: pojedynczy odczyt to losowanie. Poprawka: minimum tydzień, a decyzja dopiero po porównaniu z pasmem szumu.
  • Liczba bez mianownika. Objaw: "widoczność 40%". Przyczyna: brak informacji, ile odpowiedzi stoi za liczbą. Poprawka: zawsze podawaj n i przedział.
  • Mieszanie modeli w jeden wskaźnik. Objaw: jeden słupek "widoczność w AI". Przyczyna: modele różnią się zachowaniem i zmieniają się w różnym tempie. Poprawka: raportuj osobno, agreguj tylko z jawną wagą.
  • Wczesne zatrzymanie próby w "szczęśliwym" punkcie. Objaw: piękny wynik po trzech dniach. Przyczyna: przerwanie pomiaru, gdy liczba wygląda dobrze. Poprawka: ustal liczbę uruchomień z góry i jej nie zmieniaj.
  • Porównanie przez datę zmiany metryki. Objaw: skok, którego nikt nie wyjaśnia. Przyczyna: zmiana definicji lub interfejsu. Poprawka: przełam serię na dacie zmiany.
  • Raportowanie pozycji jako KPI. Objaw: "jesteśmy #3". Przyczyna: kolejność marek w odpowiedzi jest praktycznie niepowtarzalna - w badaniu 2 961 uruchomień mniej niż 0,1% powtórzeń dało tę samą kolejność. Poprawka: metryka nagłówkowa to częstość występowania z przedziałem.
  • Wniosek przyczynowy z samego wzrostu. Objaw: "poprawka zadziałała". Przyczyna: brak grupy kontrolnej. Poprawka: test przed/po z kontrolą.
  • Ignorowanie błędów jako danych. Objaw: nagły spadek widoczności. Przyczyna: odmowy i błędy policzone jako brak marki. Poprawka: osobna metryka błędów.

Co dalej

  1. Powtarzaj protokół co 2-4 tygodnie. Rytm ważniejszy niż pojedynczy wynik. Krótszy interwał daje za mało danych, dłuższy gubi sygnał.
  2. Zaplanuj test przed/po z grupą kontrolną. Dwa tygodnie bazy, tydzień przejściowy, dwa tygodnie obserwacji. Porównuj zmianę w grupie testowej ze zmianą w kontrolnej, nie sam wzrost.
  3. Gdy raport pokazuje spadek, a sprzedaż rośnie - raportuj osobno. Widoczność to metryka obecności, sprzedaż to zliczanie wyników. Nie "naprawiaj" widoczności, jeśli lejek działa.
  4. Gdy brakuje zasobów na własny pomiar, użyj Semly. Platforma mierzy codziennie w ChatGPT, Gemini, Claude, Google AI Overview i Google AI Mode, pokazuje pełne odpowiedzi i źródła oraz jawne mianowniki. Dzięki temu audyt pojedynczego odczytu i domknięcie pętli "pomiar → działanie → ponowny pomiar" zajmuje minuty, a nie tygodnie.
  5. Po zewnętrzny audyt metodologii sięgnij wtedy, gdy raport pochodzi z narzędzia bez opisanej metodologii, gdy zmienił się dostawca pomiaru albo gdy decyzja ma wysoką stawkę (budżet, zmiana strategii).

FAQ

Czy jedna odpowiedź ChatGPT to pomiar? Nie. To jedna próbka z rozkładu możliwych odpowiedzi. Do wniosku potrzebujesz serii uruchomień i przedziału ufności.

Ile uruchomień potrzebuję? Praktycznie 7-8 uruchomień na prompt obniża błąd pojedynczego uruchomienia poniżej 0,10. Dla przedziału 5 p.p. na udziale cytowań licz około 40-50 odpowiedzi w Gemini, około 100 w Perplexity i co najmniej 150 w SearchGPT.

Czy cytowanie to to samo co rekomendacja? Nie. Możesz być cytowany w 81% odpowiedzi i nie pojawić się w żadnej nazwą. Cytowanie to link, rekomendacja to wskazanie Cię jako miejsca zakupu.

Jak odróżnić zmianę modelu od zmiany treści? Przez grupę kontrolną. Jeśli prompty i marki nietknięte Twoją interwencją też rosną, zmiana jest systemowa.

Słownik pojęć

  • Mianownik - liczba odpowiedzi, na których policzono procent. Bez niego metryka nie istnieje.
  • Pasmo szumu - typowe wahania tydzień do tydzień w stabilnym okresie. Wszystko poniżej to szum.
  • Udział cytowań (citation share) - odsetek odpowiedzi, w których cytowana jest Twoja domena. Więcej o metrykach widoczności w AI znajdziesz w bazie wiedzy Semly.
  • Grupa kontrolna - prompty i marki nietknięte interwencją, służące do pomiaru dryfu systemowego.
  • Karta zdarzenia - zapis jednej decyzji: data, wersja promptów, modele, n, wynik z przedziałem, decyzja.

Źródła

Sprawdź, czy Cię widzi

Wpisz adres Twojej strony, żeby otrzymać bezpłatny raport widoczności w AI