SymbiohubTak, AI popełnia błędy. Ich częstotliwość zależy od zadania, modelu, danych i sposobu oceny. W Symbiohub zaczynamy od rozdzielenia czynności: reguły obsługują jednoznaczne operacje, AI interpretuje nieuporządkowany tekst, a ważne decyzje pozostają pod kontrolą. Sprawdzenie wyniku, ograniczenia wysyłki i przekazanie do człowieka są częścią projektu.
Co właściwie znaczy, że AI popełniła błąd?
Wyobraź sobie bota, który zbiera zapytania ofertowe. Klient pyta o termin, a bot zapewnia, że usługa jest dostępna, chociaż nie ma dostępu do aktualnego kalendarza. Taka odpowiedź brzmi naturalnie, ale tworzy zobowiązanie bez podstawy. To przykład ryzyka, które trzeba uwzględnić przed uruchomieniem automatyzacji.
Model językowy generuje odpowiedź na podstawie wyuczonych zależności i dostępnego kontekstu. Płynna wypowiedź nie dowodzi, że model sprawdził fakty. Może też poprawnie odczytać pojedyncze zdania, a błędnie zrozumieć ich znaczenie w całej rozmowie. Dla firmy liczy się skutek takiej pomyłki: dodatkowa praca, stracona szansa albo obietnica, którą trzeba odkręcić.
| Rodzaj błędu | Przykład | Co pomaga go ograniczyć |
|---|---|---|
| Halucynacja | Wymyślona cena lub dostępność | Wiarygodne źródło danych i ograniczony zakres odpowiedzi |
| Błędna interpretacja | Dwie osoby na pokój odczytane jako dwie osoby łącznie | Kontekst rozmowy, dowód w wiadomości i doprecyzowanie |
| Błąd procesu | Ponowienie wysyła tę samą wiadomość drugi raz | Kontrola duplikatów i zapamiętanie wykonanej operacji |
Ile błędów popełnia AI? Najpierw ustalmy, co mierzymy
Nie ma jednego procentu, który opisuje wszystkie zastosowania AI. Model może dobrze przypisywać wiadomości do kilku kategorii, a słabiej odpowiadać na trudne pytania bez źródeł. Wynik testu streszczania dokumentów nie jest prognozą skuteczności tego samego modelu w obsłudze sprzedaży.
SimpleQA Verified bada krótkie odpowiedzi na 1000 trudnych pytań faktograficznych bez narzędzi takich jak wyszukiwarka. Rozróżnia odpowiedź poprawną, błędną i brak próby odpowiedzi. Sam brak poprawnej odpowiedzi nie oznacza więc jeszcze wymyślenia faktu: model mógł odmówić zgadywania. Z kolei Vectara sprawdza, czy streszczenie pozostaje zgodne z dostarczonym tekstem.
Czytając dowolną liczbę dotyczącą jakości AI, sprawdź zadanie, liczebność próby, wersję modelu, instrukcję i sposób oceniania. Zapytaj też, czy błędy liczy się wśród wszystkich przypadków, czy tylko tych, w których model podjął próbę odpowiedzi. Bez tego porównanie procentów może prowadzić do błędnego wyboru.
Czy lepszy model zawsze popełnia mniej błędów?
Dobór modelu powinien wynikać z zadania. W teście streszczania opublikowanym przez Vectarę 19 listopada 2025 r. Gemini 2.5 Flash Lite uzyskał 3,3% streszczeń ocenionych jako zawierające halucynację, a Gemini 3 Pro 13,6%. To historyczny przykład różnicy między modelami, a nie ranking aktualnych modeli na październik 2026 r.
W badaniu użyto ponad 7700 tekstów i automatycznego oceniającego HHEM. Wskaźnik dotyczył streszczeń uznanych za niezgodne ze źródłem wśród wykonanych streszczeń. Nie mówi, jaki procent wszystkich zdań był błędny ani jak modele poradzą sobie z polskimi zapytaniami klientów. Automatyczna ocena także ma ograniczenia.
Wniosek praktyczny: przed zakupem droższego modelu porównaj kandydatów na tych samych przykładach z własnego procesu. Uwzględnij jakość, opóźnienie, koszt i czas kontroli przez pracownika. Wynik na podium ogólnego benchmarku nie zastępuje takiego sprawdzenia.
Nasza zasada: AI tam, gdzie potrzebna jest interpretacja
Jeżeli system ma sprawdzić, czy podano adres e-mail, policzyć dni albo przenieść status między aplikacjami, zwykle wystarczy kod lub gotowa funkcja systemu. Dodawanie modelu do takiego kroku zwiększa liczbę zależności i utrudnia wyjaśnienie wyniku. Dlatego w Symbiohub najpierw sprawdzamy, co można wykonać prostą automatyzacją.
AI ma sens tam, gdzie dane nie mają stałej postaci: klient pisze skrótami, poprawia poprzednią wiadomość albo przekazuje kilka informacji jednocześnie. Model może rozpoznać znaczenie wypowiedzi i wskazać potrzebne dane. Reguły powinny następnie określić, co z tym wynikiem wolno zrobić.
To rozdzielenie odpowiedzialności pozwala zadać konkretne pytania podczas kontroli: z którego fragmentu rozmowy pochodzi dana informacja, czy spełnia wymagany format i dlaczego system wybrał następny krok. Sama instrukcja „nie popełniaj błędów” nie daje takich mechanizmów.
Przykład z naszej pracy: kwalifikacja zapytań z WhatsAppa
W rozwijanym przez nas rozwiązaniu dla firmy obsługującej zakwaterowanie bot zbiera informacje potrzebne sprzedaży do przygotowania oferty: miasto, termin przyjazdu, liczbę osób i adres e-mail. Dopytuje też o wyjazd, ale jego brak nie musi zatrzymywać przekazania sprawy. Opisujemy rzeczywistą architekturę i ograniczony pilotaż; nie deklarujemy potwierdzonej oszczędności czasu ani bezbłędnej obsługi.
Wiadomości trafiają do wspólnej skrzynki zespołu w Chatwoot. Oddzielna usługa kwalifikacji interpretuje rozmowę. W rozwijanej ścieżce model wskazuje informacje wraz z fragmentami wypowiedzi, które mają je potwierdzać. Kod sprawdza te propozycje, stan rozmowy i brakujące pola. Dopiero na tej podstawie ustala pytanie i składa odpowiedź z przygotowanych szablonów.
Przepływ wygląda tak: wiadomość → interpretacja przez AI → kontrola danych i reguł → odpowiedź z szablonu → kolejna wiadomość lub przekazanie do sprzedaży.
To bardziej precyzyjny podział niż „AI wybiera szablon”. Model pomaga zrozumieć klienta, ale o pytaniach, przejściu do kolejnego etapu i dopuszczeniu wysyłki decyduje kod. Bot nie potwierdza cen, dostępności ani rezerwacji, ponieważ nie ma wiarygodnego źródła pozwalającego składać takie deklaracje. Przy pytaniu o cenę może nadal zebrać brakujące dane, a sprawę przekazać handlowcowi.
Przykład modelowy, bez prawdziwej rozmowy klienta: „Potrzebujemy pokoi po dwie osoby, razem przyjedzie nas osiem”. Model powinien rozpoznać osiem osób łącznie. System powinien też zachować możliwość sprostowania tej liczby w kolejnej wiadomości. Szablon nie rozwiązuje błędu interpretacji, dlatego potrzebna jest kontrola danych przed jego użyciem.
Co ogranicza skutki pomyłki?
W tej architekturze publiczne odpowiedzi pochodzą z szablonów. Daty są normalizowane i sprawdzane przez kod na podstawie wskazanego wyrażenia źródłowego, a flagi wynikają z reguł. To ogranicza zakres swobodnej generacji, ale nie gwarantuje poprawnego odczytu całej rozmowy.
Ścieżka wysyłki ma własne zabezpieczenia: zapis operacji przed wywołaniem sieciowym, limity odpowiedzi, wyłącznik oraz sprawdzenie, czy pracownik już przejął sprawę. Kontrola przed wysłaniem zmniejsza ryzyko kolizji, lecz nie daje gwarancji, że człowiek i bot nigdy nie odpowiedzą w tym samym momencie. Taki szczegół trzeba uwzględnić w ocenie całego procesu.
Osobnym zagrożeniem jest wiadomość próbująca zmienić zasady działania bota, np. nakłonić go do ujawnienia danych. To tzw. prompt injection. Zalecenia OWASP obejmują walidację wyników i egzekwowanie uprawnień poza modelem. Sam szablon ani polecenie w instrukcji nie są pełnym zabezpieczeniem.
Jak sprawdzić, czy rozwiązanie jest wystarczająco dobre?
Testy kodu i testy z prawdziwym modelem odpowiadają na różne pytania. Pierwsze sprawdzają, czy reguła blokuje niedozwolone działanie. Drugie pokazują, czy model właściwie interpretuje wiadomości. Potrzebna jest jeszcze obserwacja pełnego cyklu: od zapytania po notatkę, którą faktycznie wykorzystuje sprzedaż.
W opisanym projekcie ocena jakości pełnej obsługi pozostaje otwarta. To istotne rozróżnienie: przejście testów technicznych nie jest dowodem, że handlowcy dostają kompletny, użyteczny materiał. Dlatego pilot ma ograniczony zakres, limit odpowiedzi i warunki zatrzymania.
- Porównuj modele na tych samych rozmowach, oddzielając próbę do strojenia od materiału do oceny.
- Uwzględnij literówki, poprawki, braki, sprzeczności, różne języki i prośbę o człowieka.
- Mierz poprawność pól, zbędne pytania, fałszywe uznanie sprawy za kompletną i błędy istotne dla klienta.
- Pokazuj udział spraw obsłużonych automatycznie obok przekazań do człowieka. Przekazanie każdej sprawy nie dowodzi użyteczności automatyzacji.
- Sprawdź koszt i czas całej obsługi, włącznie z poprawkami, a po zmianie modelu lub instrukcji ponów adekwatną ocenę.
Od czego zacząć w swojej firmie?
Wybierz jeden proces i określ konsekwencje błędu. Zapisz, które czynności mają jednoznaczne reguły, gdzie potrzebna jest interpretacja i kiedy sprawę ma przejąć pracownik. Dopiero wtedy dobieraj model i zakres pilota.
W rozmowie z Symbiohub warto zacząć od kilku zanonimizowanych przykładów wejścia i oczekiwanego wyniku. Na tej podstawie można ustalić rolę AI, wymagane kontrole i sposób pomiaru. Czasem najlepsze rozwiązanie potrzebuje modelu w jednym kroku, a resztę wykonuje prosta automatyzacja.