ChatGPT i inne boty AI popełniły ogromne błędy przed wyborami w Szkocji, wynika z badania.

ChatGPT i inne boty AI popełniły ogromne błędy przed wyborami w Szkocji, wynika z badań

Najnowszy raport thinktanku Demos ujawnił niepokojącą skalę dezinformacji generowanej przez popularne chatboty podczas niedawnych wyborów w Szkocji. Badanie wykazało, że systemy sztucznej inteligencji udzielały błędnych odpowiedzi na aż 34% zadanych pytań, co wywołało falę krytyki ze strony brytyjskiej Komisji Wyborczej. Eksperci alarmują, że brak odpowiednich regulacji prawnych dla platform AI w Wielkiej Brytanii stwarza realne zagrożenie dla rzetelności procesów demokratycznych.

W ramach eksperymentu zatytułowanego „Electoral Hallucinations”, przetestowano pięć darmowych narzędzi, w tym ChatGPT, Google Gemini oraz Replika, zadając im 75 pytań dotyczących konkretnych okręgów wyborczych. Wyniki były zatrważające: chatboty zmyślały fikcyjne skandale finansowe, podawały błędne daty głosowania oraz wprowadzały w błąd w kwestii wymogów dotyczących posiadania dokumentu tożsamości w lokalach wyborczych. Co istotne, badanie opinii publicznej wykazało, że z narzędzi AI w celu uzyskania informacji o wyborach korzystało nawet 10 milionów Brytyjczyków.

Najgorzej w zestawieniu wypadł model Replika, który popełnił błędy w 56% przypadków, zmyślając m.in. oskarżenia o nepotyzm. ChatGPT, będący najpopularniejszym narzędziem na rynku, podawał nieprawdziwe informacje w 46% odpowiedzi, myląc datę wyborów o dwa miesiące. Choć Grok wykazał się najniższym wskaźnikiem błędów (9%), jego źródła zewnętrzne były często niskiej jakości. Sytuacja ta skłoniła przedstawicieli Komisji Wyborczej do wywarcia presji na ministrów w celu wprowadzenia przepisów zwiększających odpowiedzialność firm technologicznych za działanie ich algorytmów.

Skala dezinformacji i błędy w odpowiedziach

Badanie przeprowadzone przez Demos przed majowymi wyborami do Holyrood polegało na symulacji pytań o trzy realne okręgi wyborcze. Wyniki pokazały, że sztuczna inteligencja nie radzi sobie z podawaniem faktów w kontekście politycznym. Boty nie tylko przypisywały kandydatów do niewłaściwych wyścigów wyborczych, ale również zawodziły w kwestii podawania źródeł. W niemal połowie przypadków systemy nie dostarczyły linków do oficjalnych stron, a gdy już to robiły, odnośniki były często niedziałające lub nieaktualne – w przypadku ChatGPT aż 44% cytowań było przestarzałych o co najmniej rok.

Wyniki poszczególnych modeli: ChatGPT oraz Replika pod lupą

Analiza szczegółowa wykazała ogromne różnice między modelami, choć żaden nie okazał się w pełni godny zaufania. Replika, reklamowana jako „bot-towarzysz”, wypadła najgorzej, tworząc całkowicie fikcyjne scenariusze skandali. ChatGPT również zawiódł, podając nieprecyzyjne zasady dotyczące kwalifikowalności wyborców. Z kolei Google Gemini mylił się w 22% przypadków, m.in. błędnie informując o stanowisku kandydata w sprawie wspomaganego umierania oraz podając nieprawdziwe informacje o statusie śledztwa dotyczącego partii SNP. Nawet Grok, mimo relatywnie wysokiej celności, oferował linki o znikomej wartości merytorycznej.

Potrzeba wprowadzenia ścisłych regulacji prawnych

Vijay Rangarajan, dyrektor generalny Komisji Wyborczej, podkreślił, że wyborcy potrzebują rzetelnych informacji, a obecne ramy prawne są niewystarczające. Demos postuluje, aby firmy odpowiedzialne za AI stały się podmiotami podlegającymi brytyjskiemu prawu o zniesławieniu oraz prawu wyborczemu. Zaproponowano również wprowadzenie obowiązkowych zabezpieczeń dotyczących dokładności oraz wymóg umożliwienia niezależnym badaczom testowania wewnętrznych zbiorów danych treningowych. Przedstawiciele rządu zapewniają, że walka z zagrożeniami dla demokracji jest priorytetem, jednak na razie skupiają się na uszczelnianiu istniejącej ustawy Online Safety Act.

Reakcje twórców technologii

Firmy technologiczne w różny sposób odnoszą się do postawionych zarzutów. Rzecznik Replika stwierdził, że ich chatbot nie jest narzędziem do sprawdzania faktów, lecz towarzyszem do autorefleksji, o czym użytkownicy są informowani. OpenAI zasugerowało, że metodologia Demos mogła opierać się na nieaktualnej wersji ChatGPT, która nie w pełni wykorzystywała funkcję przeszukiwania sieci w czasie rzeczywistym. Mimo tych wyjaśnień, eksperci tacy jak Azzurra Moores z Demos ostrzegają, że bez odpowiednich ustaw, brytyjska demokracja pozostanie bezbronna wobec negatywnych skutków cyrkulacji fałszywych informacji generowanych przez modele z USA.