Pytasz ChatGPT o „dobrą firmę remontową w Poznaniu” i widzisz swoją markę. Powtarzasz to samo za tydzień i nie ma Cię w odpowiedzi. Albo jesteś, ale model poleca oddział z innego miasta. Jedna odpowiedź nic tu nie rozstrzyga. To pojedyncza obserwacja, a nie wynik.
Problem polega na tym, że odpowiedzi AI są niestabilne. Badanie SparkToro i Gumshoe na prawie trzech tysiącach przebiegów pokazało, że ten sam prompt rzadko daje ten sam zestaw marek, a identyczna kolejność pojawia się niemal nigdy. Wnioski wyciągnięte z jednego kliknięcia są więc loterią.
Ten poradnik daje Ci powtarzalną procedurę. Sześć kroków, które możesz wykonać samodzielnie, nawet jeśli zarządzasz kilkunastoma oddziałami. Dowiesz się, jak zbudować zestaw pytań, ile razy je powtórzyć, jak zapisywać odpowiedzi i jak zamienić je w decyzję. Na końcu sprawdzisz, czy warto robić to ręcznie, czy już czas na narzędzie.
TL;DR
- Odpowiedzi AI są niestabilne, więc mierzysz częstość występowania, a nie „pozycję” w odpowiedzi.
- Miasto wpisane w prompt to nie to samo co geolokalizacja. ChatGPT i Gemini nie mają wyboru miasta, lokalność wymuszasz treścią pytania.
- Minimum to 7–8 przebiegów na każdą parę prompt i model, w oknie 2–4 tygodni.
- Oceniaj osobno trzy rzeczy: czy marka się pojawiła, czy została polecona i czy wskazany oddział pasuje do miasta.
- Zawsze podawaj licznik i mianownik, czyli „6/60”, a nie samo „10%”.
- Semly prowadzi takie serie pomiarowe za Ciebie: grupuje prompty po lokalizacji i eksportuje wyniki z oznaczeniem miasta.
Jak sprawdzić, czy ChatGPT i Gemini polecają Twoją firmę w danym mieście — metoda w skrócie
Cała metoda opiera się na jednym założeniu: mierzysz częstość, nie ranking. Skoro model za każdym razem odpowiada trochę inaczej, interesuje Cię to, jak często Twoja firma pojawia się w serii odpowiedzi. To jest stabilne. Kolejność na liście już nie.
Drugie założenie: rozdzielasz trzy metryki. Wzmianka to sama obecność nazwy. Rekomendacja to sytuacja, w której model wskazuje Cię jako rozwiązanie. Cytowanie to link do Twojej strony jako źródła. Trzy różne rzeczy, trzy różne decyzje.
Trzecie: miasto w prompcie to nie geolokalizacja. Modele nie mają natywnego wyboru miasta, więc lokalność wymuszasz słowami: „w Krakowie”, „dla klienta z Wrocławia”. To inny warunek pomiaru niż „blisko mnie”, które zależy od sesji i kontekstu.
Sześć kroków wygląda tak:
- Warunki wejściowe — ustal miasta, modele i powierzchnię pomiaru.
- Zestaw promptów — zbuduj 8–12 porównywalnych pytań na miasto.
- Liczba przebiegów — zaplanuj serię i okno czasowe.
- Pomiar — uruchom i zapisuj surowe odpowiedzi.
- Wyniki — policz markę, placówkę i dane osobno.
- Interpretacja — zamień liczby na konkretne działania.
Na co uważać: pojedyncza odpowiedź to obserwacja, nie trend. Nie podejmuj decyzji na jej podstawie.
Krok 1: Ustal warunki wejściowe i zakres audytu
Zacznij od rejestru. Wypisz miasta i oddziały w jednej tabeli: miasto, adres, usługa, obszar obsługi. To Twoja baza odniesienia. Bez niej nie odróżnisz polecenia właściwego oddziału od przypadkowej wzmianki sieci.
Potem wybierz modele. Minimum to ChatGPT i Gemini. To nie kaprys, tylko rozkład rynku: według Similarweb ChatGPT odpowiada za około połowę ruchu generatywnej AI, a Gemini za mniej więcej jedną czwartą. Pomiar tylko na jednym modelu daje Ci wycinek obrazu.
Trzecia decyzja to powierzchnia. Interfejs i API potrafią zwracać różne zestawy marek, a nakładanie wyników bywa częściowe. Wybierz jedną opcję i trzymaj się jej przez całą serię. Zmiana w połowie unieważnia porównanie.
Co przygotować:
- lista miast i oddziałów z adresami,
- 8–12 pytań, które realnie zadają klienci,
- konto w modelach albo dostęp do narzędzia,
- arkusz na wyniki,
- budżet czasu na kilka tygodni.
Kiedy ta metoda nie jest dla Ciebie: prowadzisz jednoosobową firmę w jednym mieście (wystarczy prostszy test), nie masz żadnej obecności online albo oczekujesz gwarancji polecenia. Nikt rozsądny takiej gwarancji nie da, bo modele odpowiadają probabilistycznie.
Ile miast da się realnie zmierzyć? Wszystko zależy od czasu, nie od liczby lokalizacji. Przy dziesięciu miastach i dwunastu promptach mówimy o setkach zapytań. Semly pomaga tu w prosty sposób: prompty można grupować po lokalizacji, więc każdy oddział dostaje własną serię zamiast wspólnego worka.
Krok 2: Zbuduj zestaw promptów per miasto
Cel jest jeden: pytania muszą być porównywalne między miastami. Zmieniasz tylko nazwę miasta, reszta zostaje identyczna. Ten sam ton, ta sama długość, ten sam język.
| Typ promptu | Przykład | Po co |
|---|---|---|
| Kto polecasz | „Kogo polecasz do naprawy dachu w Lublinie?” | Sprawdza naturalną rekomendację |
| Najlepsza firma | „Jaka jest najlepsza firma remontowa w Lublinie?” | Wychwytuje listy i rankingi |
| Blisko lokalizacji | „Szukam firmy remontowej blisko Wrotkowa w Lublinie” | Testuje rozpoznanie dzielnic |
Trzy zasady, których warto się trzymać:
- Nie dopisuj nazwy własnej firmy. „Czy firma X jest dobra w Lublinie?” to inne pytanie i inny wynik.
- Nie mieszaj „blisko mnie” z nazwą miasta w jednej serii. To dwa różne warunki pomiaru.
- Trzymaj jeden język i jeden ton. Modele reagują na styl pytania, a wielojęzyczność dodatkowo zwiększa rozrzut odpowiedzi.
Ile promptów wystarczy? Osiem do dwunastu na miasto to rozsądny kompromis. Mniej daje zbyt wąski obraz, więcej wydłuża serię bez wyraźnego zysku. Dzielnice dodawaj tylko wtedy, gdy naprawdę obsługujesz konkretne obszary i chcesz to sprawdzić.
Krok 3: Ustaw liczbę przebiegów i okno pomiaru
To najważniejszy krok, a najczęściej pomijany. Minimum to 7–8 przebiegów na każdą parę prompt i model. Dlaczego akurat tyle? Badanie zespołu z Uniwersytetu St. Gallen pokazało, że błąd standardowy pomiaru spada z około 0,37 przy jednym przebiegu do poniżej 0,10 przy siedmiu. Prościej: siedem powtórzeń daje wynik, któremu można zaufać.
Okno pomiaru rozłóż na 2–4 tygodnie. Nie rób wszystkiego jednego dnia, bo złapiesz chwilowy stan modelu, a nie trend.
Policz budżet, zanim zaczniesz. Przykład: 10 miast × 12 promptów × 2 modele × 8 przebiegów = 1920 zapytań. Brzmi dużo, ale to realna skala, a nie „audyt na dziś”.
| Liczba przebiegów | Pewność wniosku |
|---|---|
| 1 | Praktycznie żadna, to anegdota |
| 3 | Zarys kierunku, nadal zbyt kruchy |
| 7–8 | Solidna podstawa do decyzji |
| 15+ | Wyższa precyzja, przydatna przy małych różnicach |
Gdy budżet jest mniejszy, zmniejsz liczbę miast albo promptów. Nigdy nie zmniejszaj liczby przebiegów. Lepiej zbadać dokładnie pięć miast niż po łebkach piętnaście.
Punkt kontrolny: sprawdź, czy każdy prompt ma tyle samo przebiegów. Nierówna liczba powtórzeń psuje porównanie.
Krok 4: Uruchom pomiar i zapisuj surowe odpowiedzi
Ustal rytm i się go trzymaj. Ta sama pora dnia, ta sama kolejność promptów, to samo konto, ten sam język. Każde odstępstwo to dodatkowa zmienna, której potem nie odróżnisz od realnej zmiany.
Zapisuj wszystko: datę, model, powierzchnię, treść promptu i pełną odpowiedź. Nie skracaj i nie streszczaj w trakcie. Ocena przyjdzie później, na spokojnie.
Szablon arkusza:
| Kolumna | Co wpisać |
|---|---|
| Data | Dzień i godzina przebiegu |
| Miasto | Nazwa z rejestru |
| Prompt | Dokładna treść pytania |
| Model | ChatGPT lub Gemini |
| Marka wymieniona | tak / nie |
| Marka polecona | tak / nie |
| Oddział zgodny z miastem | tak / nie |
| Źródło | link lub cytat z odpowiedzi |
| Uwagi | nietypowe sformułowania, kontekst |
Punkt kontrolny: po pierwszym dniu wybierz trzy losowe wiersze i sprawdź, czy są kompletne. Jeśli brakuje danych, popraw szablon teraz, a nie po trzech tygodniach.
Semly robi dokładnie to samo, tylko automatycznie: prowadzi serię w stałej konfiguracji i eksportuje wyniki z oznaczeniem miasta, więc nie musisz ręcznie przepisywać odpowiedzi do arkusza.
Krok 5: Policz wyniki osobno dla marki, placówki i danych
Teraz zamieniasz odpowiedzi w metryki. Trzy kolumny, trzy osobne pytania:
- Marka wymieniona — czy nazwa w ogóle się pojawiła.
- Marka polecona — czy model wskazał ją jako rozwiązanie.
- Oddział zgodny z miastem — czy placówka należy do właściwego miasta.
Zawsze podawaj licznik i mianownik. „6/60” mówi wszystko, „10%” nic. Cztery wzmianki na dwadzieścia przebiegów i sześć na sześćdziesiąt to nie ten sam wynik, choć procentowo wyglądają podobnie.
| Miasto | Wzmianki | Polecenia | Zgodny oddział | Mianownik |
|---|---|---|---|---|
| Kraków | 14 | 9 | 8 | 24 |
| Gdańsk | 6 | 3 | 2 | 24 |
| Katowice | 0 | 0 | 0 | 24 |
Punkt kontrolny: suma mianowników musi równać się liczbie wszystkich przebiegów w serii. Jeśli się nie zgadza, gdzieś zginął wiersz.
Sentyment traktuj jako obserwację, nie metrykę decyzyjną. Klasyfikatory sentymentu są mocno czułe na język pytania, a nie na nastawienie do marki. Wnioski o „nastrojach AI” wobec Twojej firmy lepiej zostawić na boku.
Krok 6: Zinterpretuj wynik i zaplanuj działanie
Zero wzmianek nie znaczy „nie istniejesz w AI”. Znaczy tyle, że w tej próbie nic nie było. Przy dwudziestu przebiegach przedział niepewności sięga kilkunastu procent, więc prawdziwa częstość może być wyższa od zera. Traktuj to jako sygnał do sprawdzenia, nie wyrok.
Różnice między miastami też są wskazówką, nie diagnozą. Jeden oddział wypada lepiej, drugi gorzej. Pytanie brzmi: co je różni?
Drzewko decyzji:
- Wzmianki są i oddział się zgadza — utrzymuj konfigurację, powtarzaj serię co miesiąc.
- Wzmianki są, ale oddział z innego miasta — popraw dane placówki: adres, obszar obsługi, oznaczenie oddziału w strukturach danych.
- Zero wzmianek — zacznij od spójności NAP i danych oddziału, potem dodaj treści opisujące usługę w tym mieście.
Kolejność działań ma znaczenie. Najpierw porządek w danych: spójny NAP, LocalBusiness z areaServed i branchCode. Potem treści per miasto. Dopiero na końcu nowe strony. I uwaga: nie generuj seryjnie stron miejskich tylko dlatego, że model pominął oddział. To leczy objaw, nie przyczynę.
Semly wspiera ten etap w praktyce: osobne serie dla oddziałów i eksport z oznaczeniem miasta pozwalają szybko zobaczyć, który oddział wymaga pracy.
Najczęstsze błędy i jak je naprawić
| Błąd | Objaw | Naprawa |
|---|---|---|
| Jeden przebieg jako wynik | „Sprawdziłem i nas nie ma” | Powtórz 7–8 razy i policz częstość |
| Mieszanie „blisko mnie” z nazwą miasta | Niespójne wyniki między miastami | Rozdziel na dwie osobne serie |
| Zmiana modelu w trakcie serii | Nagły skok lub spadek wyników | Ustal konfigurację na starcie i nie ruszaj |
| Procenty bez mianownika | „Mamy 40% widoczności” | Zawsze podawaj licznik i mianownik |
| Wzmianka sieci jako polecenie oddziału | Marka jest, ale klient trafia gdzie indziej | Oceniaj zgodność oddziału osobno |
| Wnioski z sentymentu klasyfikatora | „AI nas nie lubi” | Sentyment to obserwacja, nie metryka |
Co dalej
Pierwsza seria to punkt odniesienia. Kolejna, w tej samej konfiguracji, pokaże realną zmianę. Powtarzaj pomiar co miesiąc i nie zmieniaj jednocześnie promptów, modeli i powierzchni, bo stracisz możliwość porównania.
Z czasem warto rozszerzyć zakres. Semly monitoruje też Claude oraz Google AI Overview i AI Mode, ale pełny zestaw pięciu modeli jest dostępny w planach Ultra i Scale. Na start wystarczy ChatGPT i Gemini.
Wybierz ręczny arkusz, gdy: masz dwa, trzy miasta i kilkanaście promptów. Ogarniesz to w godzinę miesięcznie.
Wybierz automatyzację, gdy: liczba miast razy promptów razy przebiegów przekracza to, co jesteś w stanie wpisać ręcznie bez błędów. Wtedy liczy się nie tylko czas, ale i powtarzalność.
Wybierz pomoc przy treściach per miasto, gdy: dane są już uporządkowane, a mimo to oddziały wypadają słabo. To znak, że brakuje materiałów opisujących ofertę lokalnie.
FAQ
Ile razy powtórzyć prompt? Minimum siedem do ośmiu razy na każdą parę prompt i model. Przy jednym przebiegu mierzysz przypadek, nie widoczność.
Czy ChatGPT zna moją lokalizację? Nie ma natywnego wyboru miasta. Lokalność wymuszasz treścią pytania, wpisując nazwę miasta lub dzielnicy. To inny warunek niż geolokalizacja urządzenia.
Czy schema.org wpływa na polecenia w AI? LocalBusiness z areaServed i branchCode porządkuje dane oddziału i ułatwia ich odczyt. Wpływ na cytowalność w modelach pozostaje hipotezą, bo brakuje badań przyczynowych. Mimo to warto mieć dane spójne.
Czy wystarczy jeden model? Nie, jeśli chcesz pełnego obrazu. ChatGPT i Gemini mają różne udziały w rynku i różne odpowiedzi. Dwa modele to rozsądne minimum.
Co zrobić, gdy w jednym mieście jest zero wzmianek? Sprawdź dane oddziału, opisz usługę lokalnie i powtórz serię. Zero w próbie to jeszcze nie dowód braku obecności.