Prawdziwe ryzyko AI w testowaniu: fałszywa pewność, a nie błędy

Panel sterowania świecił na zielono. Wszystkie testy smoke przeszły pomyślnie. Asystent AI wygenerował nowe przypadki testowe, usunął stare i nawet w ciągu kilku minut zgłosił, jak poprawiło się pokrycie testowe. Zespół z pewnością siebie zmierzał w piątek ku uruchomieniu.

Teraz jest poniedziałkowy poranek.

W dziale wsparcia pojawiły się zgłoszenia. Klienci, których zapisane adresy nie mogły przejść do realizacji zamówienia. Jak ich zapisane adresy się zepsuły? Interfejs użytkownika wygląda na całkowicie zepsuty na typowym urządzeniu mobilnym. Krytyczne API nie miało solidnej obsługi przypadków brzegowych. Wszystkie te problemy razem wskazują na większe zagrożenie: gotowość zespołu do ślepego polegania na zewnętrznych danych wejściowych, zakładając, że wszystko jest w porządku.

To jest prawdziwe zagrożenie, jakie AI wnosi do QA.

Nie chodzi o to, że AI wprowadzi błędy do naszych testów. Każde oprogramowanie ma błędy. Wszystkie zespoły QA są dobre w ich identyfikowaniu i rozwiązywaniu. Jednak większym zagrożeniem ze strony AI jest to, że może sprawić, że zespół uwierzy, że jego testowanie jest dokładne, nawet gdy tak nie jest. Dzięki AI w testowaniu, zespół QA może zyskać fałszywe poczucie komfortu, że wszystko jest dokładne.

Ta fałszywa pewność może być bardzo kosztowna. Ta nadmierna pewność siebie może prowadzić do ogromnych zobowiązań finansowych. Nawet w pełni przetestowane systemy AI mogą czasami zawieść w obliczu rzeczywistych złożoności. McDonald's niedawno zamknął system AI IBM, który testował przy swoich punktach drive-thru, po tym jak wielokrotnie popełniał błędy w zamówieniach. To przypomina, że nawet niezawodne technologie mogą mieć poważne wady.

Co naprawdę oznacza fałszywa pewność w QA

Prawdziwy problem pojawia się, gdy zespół jest przekonany, że testy wystarczająco przetestowały dany system. To fałszywe poczucie bezpieczeństwa wynika z faktu, że odpowiednie zagrożenia bezpieczeństwa albo nie są wykrywane, albo nie są rygorystycznie testowane.

To od dawna jest problemem w tradycyjnych metodach automatyzacji. W tych metodach może być uruchomionych wiele testów, ale nie ma w nich dużej głębi testowania. Fakt, że raport z pipeline mówi, że wszystkie kontrole przeszły pomyślnie (wszystko na zielono) nie oznacza, że sam system będzie koniecznie działał idealnie.

Automatyzacja staje się jeszcze bardziej złożona przy wdrażaniu AI. Jedną rzeczą, którą należy wiedzieć o modelach językowych AI, jest to, że mogą przedstawiać informacje w sposób, który wydaje się przekonujący, ale w rzeczywistości jest mylący. 

Możemy zobaczyć uruchamiane testy, a nawet lepsze pokrycie testowe, ponieważ AI pomaga w konstrukcji testów i analizie wyników każdego uruchomienia testu. Wszystko to jest korzystne.

Ale nie wszystkie korzyści są całkowicie niezawodne.

Test skonstruowany przez AI może pominąć jakiś krytyczny element logiki biznesowej. Alternatywnie, może być zaprojektowany tylko do testowania typowych scenariuszy. Taki test będzie wydawał się całkowicie odpowiedni. Jeśli wyniki są czyste i wyrażone jasno, zespół prawdopodobnie uzna test za odpowiedni, pozostawiając poważne wady nieodkryte.

Dlatego testy mogą często stworzyć okazje dla zespołów do przyjęcia fałszywych założeń.

Bardziej kluczowym pytaniem dzisiaj, dla każdego zaangażowanego w zautomatyzowane testy oprogramowania przy użyciu sztucznej inteligencji, nie powinno być "Czy AI konstruuje testy bardziej efektywnie?" Ale powinno być "Czy testy skonstruowane przez AI są naprawdę niezawodne?"

Dlaczego AI sprawia, że problem jest trudniejszy do zauważenia

Zły test manualny można szybko zidentyfikować. Testy skryptowe, które nie są prawidłowo napisane, często popełniają błędy.

​Ale gdy testy zbudowane przez sztuczną inteligencję (AI) zawodzą, trudno jest to zauważyć na pierwszy rzut oka. Mogą tworzyć asercje, które wydają się bardzo dokładne, oraz nazwy i scenariusze, które wydają się realistyczne. Ale mogą cicho pomijać najważniejsze czynniki. Mogą błędnie interpretować prawdziwy cel funkcji. Mogą przedstawiać te same pomysły w różny sposób. AI może również tworzyć zbyt pewne siebie raporty o wydaniu oprogramowania bez wystarczających dowodów.

​To tworzy niebezpieczną lukę między gładkością, która pojawia się na zewnątrz, a jakością, która jest w środku.

​W zapewnieniu jakości (QA), nasza pewność powinna pochodzić ze śledzenia testów, głębokości pokrycia, ocen ryzyka i obserwowalnych wyników. Nie z tego, jak ładnie wyglądają dane produkowane przez AI.

Programista używający komputera w domu do sztucznej inteligencji. Freepikcomputing symulujący ludzki mózg poprzez algorytmy samodzielnego uczenia się. Pracownik pracujący z głębokimi sieciami neuronowymi AI na komputerze stacjonarnym, kamera A

Pięć sposobów, w jakie AI tworzy fałszywą pewność w nowoczesnym QA

Nadmierne testowanie typowych scenariuszy

AI doskonale radzi sobie tam, gdzie występują regularne wzorce. Dlatego łatwo przyciągają go normalne przepływy, oczekiwane dane wejściowe i powszechne zachowania użytkowników.

Ale poważne defekty oprogramowania często ukrywają się w innych miejscach:

• Przejścia stanów: Podczas zmian z jednego stanu do drugiego.
• Problemy z synchronizacją: Błędy w synchronizacji procesów.
• Ponowne próby i przerwania: Problemy, gdy nieudane transakcje są ponawiane lub przerywane.
• Granice uprawnień: Luki bezpieczeństwa w granicach uprawnień.
• Częściowe awarie: Gdy tylko części systemu zawodzą bez całkowitej awarii.
• Niespójne dane wejściowe z rzeczywistego świata: Losowe informacje dostarczane przez klientów w rzeczywistym świecie. 

Jeśli testy generowane przez AI podążają tylko za typowymi scenariuszami wymyślonymi przez projektanta produktu, pozostawią ryzykowne ścieżki nietknięte. To tylko tworzy iluzję, że testy są kompletne.

Tworzy słabe asercje 

Prawdziwa wartość testu to to, co udowadnia o oprogramowaniu. Zbyt wiele kiepskich testów obejmuje ogromny zakres działań w aplikacji, ale nie sprawdza prawidłowo, czy te działania odnoszą sukces dla biznesu. Test to po prostu ruch, w którym wszystko, co robi, to klikanie przycisków, wypełnianie pól, klikanie kolejnych przycisków, przeglądanie ekranów i oglądanie czegoś wyskakującego.

AI może wykonywać takie lekkie automatyczne testy znacznie szybciej niż człowiek. Jednak jeśli warunki testowe (asercje) są zbyt ogólne, słabo zdefiniowane lub nieistotne dla przypadku użycia biznesowego, to samo wykonanie testu nie zapewnia dużego bezpieczeństwa dla wydania oprogramowania. Przejście testu w procesie realizacji zamówienia może po prostu pokazać baner sukcesu i nie zapewnić, że zamówienie jest przetwarzane prawidłowo (podatki, sumy itp.), że e-mail jest wysyłany lub że stan magazynowy jest zmniejszany.

Więcej przypadków testowych i więcej wad

Zespół może sprawdzić 40 przypadków testowych napisanych ręcznie. Ale mogą nie przyjąć tego samego podejścia do 400, które zostały szybko utworzone przy użyciu AI. To jest jedna z największych pułapek zapewnienia jakości (QA) opartego na AI: staranne testowanie naturalnie maleje wraz ze wzrostem liczby.

Posiadanie większej liczby przypadków testowych może dać nam rodzaj psychologicznej pewności. Gdy liczba rośnie, czujemy, że zestaw testów jest bardzo obszerny, a raporty są bezbłędne. Ale zwiększenie liczby przypadków testowych nigdy nie jest zamiennikiem ich jakości.

Bez odpowiedniego mapowania ryzyka i śledzenia wymagań, AI będzie tylko pomagać rejestrować przypuszczenia zamiast sprawdzać prawdziwą jakość systemu.

Tworzy ślepe zaufanie do zielonych świateł

Gdy raporty z pipeline zawsze pokazują zielony, daje to zespołom silne poczucie pewności i zachęca do szybkich decyzji. Usuwa to przeszkody w wykonywaniu pracy, więc to poczucie bezpieczeństwa łatwo się rozprzestrzenia, gdy zespoły zaczynają budować, naprawiać i ustalać priorytety swoich własnych testów przy użyciu AI. Ich instynkt przesuwa się od sprawdzania i weryfikowania wyników do ślepego ufania systemowi. Na powierzchni wydaje się to drobne, ale może na zawsze zmienić kulturę QA. Pytanie przestaje brzmieć "jakie ryzyko obejmuje ten test?" i staje się "czy AI uruchomiło test dla tego?" W tym momencie ludzie mają tendencję do zakładania, że wszystko jest w porządku i przestają kwestionować jakość.

Sprawia, że nawet oczywiste błędy wydają się inteligentne

Jedną z najbardziej niebezpiecznych cech nowoczesnych systemów AI jest to, że mogą przedstawiać nawet najbardziej oczywiste błędy z wielką autentycznością. Ma to ogromne znaczenie w zapewnieniu jakości (QA).

Nawet jeśli test AI jest napisany z niezrozumieniem wymagania lub niekompletnymi informacjami, jego wynik będzie bardzo dokładny i dopracowany, aby wyglądać, jakby był napisany poprawnie. Typowy test nie będzie w stanie szybko znaleźć błędu. Niebezpieczeństwo tutaj nie polega tylko na samym błędzie, ale także na tym, jak łatwo można sprawić, by błąd był wiarygodny.

Oczywisty błąd może być szybko naprawiony. Ale fałszywy wniosek, który wydaje się wiarygodny, prawdopodobnie zostanie wydany bez testowania.

Co inteligentne zespoły QA robią inaczej

To nie oznacza, że AI należy całkowicie unikać.

Rozwiązaniem jest używanie go bez oddawania swojego osądu AI. Najlepsze zespoły zapewnienia jakości (QA) postrzegają AI jako asystenta, a nie coś, czemu należy ślepo ufać. Podczas gdy używają go do zwiększenia szybkości, nie dają mu końcowego zaufania. Oznacza to, że przestrzegają stylu pracy, w którym ufają wynikom dostarczonym przez AI dopiero po ich zweryfikowaniu.

Zobaczmy, jak to działa w praktyce.

Zrozum ryzyko przed budowaniem testów

Przed utworzeniem przypadków testowych należy jasno zdefiniować główne problemy, które mogą wpłynąć na biznes lub użytkownika.

Obszary związane z transakcjami finansowymi, sprawami prawnymi (zgodność), tożsamością, uprawnieniami i zaufaniem klienta powinny być pierwszymi, na które należy zwrócić uwagę. Jakie są błędy, które występują bardzo rzadko, ale powodują dużą stratę? Gdzie błędy łatwo pozostają niezauważone?

AI może dostarczać nowych pomysłów w takich obszarach. Ale to do ludzi należy decyzja, gdzie jest więcej ryzyka.

Sprawdź, co test asertuje, nie tylko kroki

Każdy krok w przypadku testowym wygenerowanym przez AI może wydawać się poprawny na pierwszy rzut oka. Ale prawdziwym pytaniem jest, czy test rzeczywiście testuje prawidłowy wynik.

Dobrym pomysłem jest rozwinięcie prostego nawyku podczas testowania: skupianie się bardziej na tym, co test udowadnia, niż na tym, jak działa.

Utrzymuj wielowarstwowe pokrycie testowe

Jedna warstwa testowania sama w sobie nie może zagwarantować, że system jest kompletny. Testy jednostkowe, API, integracyjne, end-to-end (E2E), testy eksploracyjne i informacje zwrotne z produkcji ujawniają różne rodzaje ryzyka.

Jeśli AI testuje tylko jedną warstwę, zespoły nie powinny uważać, że ich system jest całkowicie bezpieczny. Każda warstwa powinna być testowana z własnym znaczeniem.

Przyszłość QA nie jest mniej ludzka

Wielu obawia się, że AI w testowaniu stanie się przedsięwzięciem bez człowieka. Ale w rzeczywistości dzieje się odwrotnie.

Gdy AI przejmuje powtarzalne zadania, interwencja ludzka staje się bardziej wartościowa. Identyfikowanie ryzyka, usuwanie niejasności, kwestionowanie założeń, testowanie złożonych przypadków brzegowych i zadawanie pytania "Czy system jest bezpieczny, ponieważ test przeszedł?" Wszystko to wymaga ludzkiej inteligencji.

Nie chodzi tu o mniej pracy, ale o lepszą jakość. Najlepsze zespoły przyszłości to nie te, które budują niezliczone testy. To te, które mogą pracować szybko i starannie, ale kwestionują tam, gdzie to konieczne.

Ponieważ błędy w systemach są zawsze widoczne. Ale nadmierna pewność siebie często prowadzi nas do ich ignorowania.

Lekcje na twój następny krok

AI z pewnością może przyspieszyć procesy QA. Może pomóc zespołom budować testy, redukować powtarzające się zadania i szybciej reagować na zmiany.

Ale ta nienadzorowana szybkość może prowadzić do nowego rodzaju problemu z jakością. Gdy testy generowane przez AI sprawiają, że czujemy się kompletni, gdy błyszczące panele sterowania sprawiają, że w nie wierzymy, gdy wymyślne raporty mają pierwszeństwo przed rygorystycznymi ocenami, QA nie jest naprawdę solidne. Zamiast tego staje się łatwo oszukiwane.

Najbezpieczniejsze zespoły to te, które pamiętają prosty fakt, że tylko dlatego, że test przechodzi, nie jest to absolutny dowód, że system jest bezpieczny. To tylko wskazanie, a ludzka inteligencja nadal musi być używana do oceny tego wskazania.

Tak więc, prawdziwym zagrożeniem, jakie AI stanowi dla QA, nie są błędy. Jest to raczej fałszywa pewność, którą daje.