Audyt dotyczy konkretnych twierdzeń o funkcjach i integracjach Twojego SaaS. Zacznij od aktualnej dokumentacji, planu, wersji i daty. Ręcznie porównuj z nią odpowiedzi AI; sama wzmianka o marce lub cytowanie dokumentacji nie dowodzą poprawności twierdzenia.
Rozdziel odpowiedź na pojedyncze twierdzenia. „Integracja odczytuje dane i automatycznie publikuje zmiany” to dwa różne twierdzenia. Odróżniaj odczyt od zapisu, operację ręczną od automatycznej oraz utworzenie draftu od publikacji.
Brak wzmianki w dokumentacji oznacza status niepotwierdzony, a nie dowód nieistnienia funkcji. Błędne twierdzenie wymaga źródła, które mu przeczy, lub potwierdzenia od właściciela produktu. Pominięcia oceniaj tylko względem listy informacji, które dany test miał sprawdzać.
Rejestr ręcznej weryfikacji
| Twierdzenie AI | Źródło / wersja / plan | Ocena |
|---|---|---|
| Potwierdza je aktualny dokument | Dokument dotyczy tej samej funkcji i planu | Poprawne |
| Przeczy mu aktualny stan produktu | Dowód lub potwierdzenie właściciela funkcji | Błędne |
| Brak rozstrzygającej informacji | Do sprawdzenia z zespołem produktu | Niepotwierdzone |
| Brak oczekiwanej informacji w odpowiedzi | Zdefiniowany wcześniej zakres testu | Pominięte |
Zachowaj liczbę twierdzeń w każdej klasie. Jeśli liczysz trafność, podaj mianownik i osobno liczbę nierozstrzygniętych przypadków; nie traktuj ich automatycznie jako poprawnych. Jest to ocena ręczna, odrębna od wskaźników widoczności Semly.
Procedura audytu funkcji i integracji
- Wybierz konkretną funkcję lub integrację. Zapisz jej aktualny status, ograniczenia, dostępne plany i wersję dokumentacji. Wyznacz osobę, która rozstrzygnie przypadki niejednoznaczne.
- Przygotuj pytania o zachowanie produktu: „Czy [produkt] obsługuje [integrację]?”, „Czy integracja zapisuje dane czy tylko je odczytuje?”, „Na którym planie dostępna jest [funkcja]?”. Nie zastępuj ich ogólnym rankingiem narzędzi.
- Zachowaj dokładną odpowiedź oraz źródła, datę i model. Powtórzenia analizuj jako oddzielne obserwacje; nie wybieraj wyłącznie korzystnych wyników.
- Rozdziel odpowiedź na pojedyncze twierdzenia. W obrębie jednej odpowiedzi nie licz tej samej powtórzonej obietnicy kilka razy.
- Sprawdź każde twierdzenie w dokumentacji. Cytowana strona może być aktualna, ale nie potwierdzać konkretnego zdania; otwórz właściwy fragment i oceń go samodzielnie.
- Przydziel kategorię z rejestru i zapisz uzasadnienie. Dla błędów ustal źródło do poprawienia, właściciela zmiany i datę ponownego testu.
Przykład: odczyt danych to nie publikacja
Przykład jest fikcyjny i nie opisuje funkcji Semly. Załóżmy, że dokumentacja aplikacji A stwierdza, iż integracja pobiera dane z katalogu, a użytkownik ręcznie zatwierdza utworzone drafty. AI odpowiada: „A pobiera dane i automatycznie publikuje gotowe wpisy”.
| Twierdzenie | Dowód w przykładzie | Ocena |
|---|---|---|
| A pobiera dane | Dokumentacja opisuje odczyt katalogu | Poprawne |
| A automatycznie publikuje wpisy | Dokumentacja wymaga ręcznego zatwierdzenia draftu | Błędne |
| Funkcja działa na wszystkich planach | Dokument nie opisuje dostępności planów | Niepotwierdzone |
Jedna odpowiedź może więc zawierać kilka różnych ocen. Nie nadawaj całemu akapitowi jednej etykiety „poprawny”, tylko dlatego, że jego pierwsze zdanie jest prawdziwe. Przypadek niepotwierdzony trafia do właściciela produktu, a nie automatycznie na listę nieistniejących funkcji.
Co poprawić i jak zamknąć sprawę
Jeżeli własna dokumentacja jest sprzeczna, najpierw usuń sprzeczność. Gdy zewnętrzna strona błędnie opisuje funkcję, poproś jej właściciela o korektę popartą aktualnym źródłem. Gdy nie udało się wskazać źródła błędu, odnotuj to jako brak rozstrzygnięcia przyczyny; nie przypisuj jej automatycznie mechanizmowi działania modelu.
Zapisz URL zmienionego dokumentu i datę aktualizacji. Osobno oznacz wdrożenie korekty oraz wynik ponownego testu AI. Poprawienie źródła nie oznacza, że wszystkie zewnętrzne odpowiedzi już się zmieniły. Powtórz te same pytania, porównując te same funkcje, plany i wersje produktu.
Najczęstsze błędy audytu to utożsamianie cytowania z prawdziwością, traktowanie braku dokumentacji jako dowodu nieistnienia oraz mieszanie poprawności funkcji ze wzrostem widoczności. Rejestr rozdzielający te obserwacje pozwala ustalić konkretne zadanie dla zespołu produktu i treści.
Semly umożliwia przegląd odpowiedzi AI i źródeł. Zgodność funkcji i integracji z dokumentacją ocenia osoba znająca produkt.
