Odpowiedź AI może polecać platformę SaaS, agencję i wtyczkę WordPress w jednym zestawieniu. Żeby zinterpretować taki wynik, trzeba oznaczyć typy rozwiązań oraz zadanie klienta. Ten poradnik dotyczy kodowania rekomendacji do benchmarku, a nie wyboru dostawcy.
1. Ustal jednostkę i zadanie porównania
Najpierw zdecyduj, czy analizujesz firmy, produkty czy konkretne oferty. Firma może sprzedawać platformę i usługę konsultingową; produkt tej firmy nie jest tym samym obiektem co cała organizacja. Zachowaj osobne pola nazwy, domeny, produktu i operatora. Nie łącz podobnych nazw bez sprawdzenia tożsamości.
Przykładowe zadania klienta to monitorowanie odpowiedzi AI, zlecenie audytu lub porządkowanie treści na stronie. Odpowiedź na pytanie o monitoring może wymienić rozwiązania realizujące tylko część potrzeb. Sam fakt rekomendacji nie potwierdza ich zakresu.
2. Zastosuj słownik typów
| Typ | Co klasyfikujemy | Źródło do sprawdzenia |
|---|---|---|
| Platforma SaaS | Oprogramowanie dostępne jako usługa | Opis produktu i dokumentacja |
| Usługa agencji | Praca zespołu wykonywana na zlecenie | Zakres konkretnej oferty |
| Wtyczka | Rozszerzenie instalowane w środowisku strony | Dokumentacja i wydawca rozszerzenia |
| Katalog lub źródło informacji | Zbiór ofert albo materiałów referencyjnych | Opis roli i operatora źródła |
Typ określa formę rozwiązania, nie jego skuteczność. Wtyczka może zawierać monitoring, a platforma może mieć dodatek WordPress. Dlatego zadanie, funkcje i typ zapisuj w różnych kolumnach. Dopuszczaj więcej niż jedną etykietę, gdy wynika to z potwierdzonej oferty.
3. Zakoduj przykład mieszanej odpowiedzi
Nazwy i informacje w przykładzie są fikcyjne. AI wymieniło Vista Monitor, Studio Aurora oraz Schema Note. Załóżmy, że zweryfikowane opisy tych przykładowych ofert potwierdzają poniższy zakres.
| Pozycja | Typ | Potwierdzone zadanie | Grupa porównawcza |
|---|---|---|---|
| Vista Monitor | Platforma SaaS | Monitorowanie odpowiedzi AI | Monitoring |
| Studio Aurora | Usługa agencji | Wykonanie audytu | Usługi audytowe |
| Schema Note | Wtyczka | Porządkowanie znaczników strony | Rozszerzenia strony |
Trzy pozycje tworzą jedną surową listę rekomendacji, lecz nie są trzema zamiennikami w każdym zadaniu. Gdy Studio Aurora oferuje również własną platformę, dodaj drugi produkt lub drugą etykietę zgodnie z przyjętą jednostką. Nie naliczaj ponownie tej samej pozycji tylko dlatego, że ma dwie etykiety.
4. Zapisz dowody i niepewność
Rejestr powinien zawierać: datę odpowiedzi, model, prompt, nazwę pozycji, produkt, domenę, typ, zadanie, URL źródła i uzasadnienie. Jeżeli oficjalny opis nie rozstrzyga kategorii, oznacz ją jako niepotwierdzoną. AI jest przedmiotem pomiaru, więc jego własny opis nie wystarcza jako niezależny dowód.
Dla spornych przypadków poproś drugą osobę o ocenę według tego samego słownika. Zapisz rozstrzygnięcie i wersję reguł. Nie zmieniaj klasyfikacji po zobaczeniu wyniku tylko po to, aby poprawić pozycję własnej marki.
5. Pokaż surowy wynik i podział obok siebie
Zachowaj pierwotną listę oraz wynik widoczności dla całego badanego zakresu. Obok przedstaw grupy według zadania i typu. Jeśli obliczasz dodatkowy udział w grupie, nazwij go osobno i podaj dokładny mianownik; nie przedstawiaj go jako pierwotnego wyniku Semly.
Semly umożliwia przegląd odpowiedzi AI i źródeł. Etykiety typów i podział benchmarku opisane tutaj są pracą analityka. Przed kolejnym pomiarem zachowaj ten sam zakres albo jawnie udokumentuj zmianę.
Kontrola jakości
- Jednostka porównania jest określona.
- Typ, zadanie i funkcje są rozdzielone.
- Przypadki hybrydowe mają dowód i nie powodują podwójnego liczenia.
- Kategorie niepotwierdzone są widoczne.
- Surowy wynik oraz mianowniki pozostają dostępne.
