Używanie ChatGPT jako asystenta raportowania: Co poszło nie tak?

Witajcie, czytelnicy!

\ Jeśli chodzi o rozwój sztucznej inteligencji, sprawy toczą się szybko. Minęły niecałe dwa lata od publicznego udostępnienia narzędzi AI, takich jak ChatGPT, Midjourney, Stable Diffusion i LLaMA od Meta. Regulatorzy, prawodawcy i przedsiębiorstwa zaczynają rozumieć implikacje wykorzystania generatywnych narzędzi AI.

\ Dotyczy to także organizacji informacyjnych i dziennikarzy, którzy już rozpoczęli eksperymenty. Nieman Journalism Lab poinformowało, że 5 z 45 nieogłoszonych finalistów tegorocznych nagród Pulitzera wykorzystało AI do "badania, relacjonowania lub opowiadania swoich zgłoszeń". Na dorocznej konferencji NICAR dotyczącej dziennikarstwa danych organizowanej przez Investigative Reporters & Editors w Baltimore w zeszłym tygodniu, 14 z ponad 200 sesji dotyczyło AI, omawiając, jak technologia może pomóc dziennikarzom w pracy, podsumowywać gęste dokumenty i debugować ich kod.

\ Miałem własną sesję zatytułowaną "Wykorzystanie narzędzi AI w dziennikarstwie danych", w której na początku przejrzałem wiele dostępnych narzędzi i podkreśliłem wiele związanych z nimi kwestii etycznych.

\ Następnie pokazałem wyniki mojego czasochłonnego eksperymentu polegającego na wykorzystaniu ChatGPT 4 jako asystenta do relacjonowania historii. Uwaga na spoiler: Nie poszło tak dobrze!

\ Przykładową historią, której użyłem do tego ćwiczenia, było wykolejenie pociągu w East Palestine w stanie Ohio w lutym 2023 roku, ważna historia obejmująca różnego rodzaju dane, które mogłem poprosić ChatGPT o pomoc w analizie. Aby było jasne, nie była to historia, o której wcześniej pisałem, ale chciałem spróbować użyć ChatGPT w sposób, w jaki mógłby to zrobić dziennikarz danych podczas jej relacjonowania. Spędziłem DUŻO czasu rozmawiając z ChatGPT w ramach tego ćwiczenia i, szczerze mówiąc, czasami było to wyczerpujące. Możesz przeczytać jedną z moich sesji czatu tutaj. Pewność siebie, jaką ChatGPT emanuje, dostarczając słabo źródłowych informacji (takich jak Wikipedia) lub niedokładnych lokalizacji, może być myląca. Czasami udawało mi się skłonić agenta czatu do tego, czego chciałem, ale musiałem być bardzo konkretny i często musiałem go upominać.

\ Na przykład, gdy ChatGPT spełnił moją prośbę o "wygenerowanie prostej mapy wycentrowanej na lokalizacji katastrofy", natychmiast zauważyłem, że pinezka na mapie była daleko od jakichkolwiek torów kolejowych. Kiedy zapytałem, skąd wziął współrzędne lokalizacji katastrofy, odpowiedział, że zostały "wywnioskowane na podstawie ogólnej wiedzy o lokalizacji wydarzenia". Kiedy nalegałem na bardziej konkretne źródło, nie mógł go podać i ciągle powtarzał, że opiera się na "ogólnej wiedzy". Musiałem przypomnieć narzędziu, że na początku czatu powiedziałem mu, że "kluczowe jest cytowanie źródeł i zawsze używanie najbardziej autorytatywnych źródeł". Zanim w końcu udało mu się oznaczyć prawidłową lokalizację, musiałem przypomnieć mu, że może uzyskać współrzędne lokalizacji z autorytatywnego dokumentu, który przesłałem wcześniej na czacie, pliku PDF z raportem o incydencie Federal Railroad Administration.

\ Wydobywanie informacji i podsumowywanie długich dokumentów jest często wymieniane jako jedna z największych zalet narzędzi takich jak ChatGPT. Moje wyniki były mieszane. Po kilku wymianach zdań nakłoniłem agenta do wydobycia szczegółów i ilości niebezpiecznych chemikaliów, które zostały uwolnione w wypadku, i sformatowania informacji w tabeli zawierającej nazwę chemikaliów, uwolnioną ilość, do czego są zazwyczaj używane i ich wpływ na zdrowie człowieka. Ale zajęło to kilka prób. Tam, gdzie zaoszczędził czas, było wyjaśnianie specjalistycznych informacji, których ustalenie w innym przypadku wymagałoby czasochłonnego wyszukiwania w Google - takich jak dekodowanie numerów wagonów kolejowych.

\ Czasami narzędzie było zbyt chętne do pomocy, więc poprosiłem, aby trochę się wyciszyło: "Możesz pominąć pogawędki i uprzejmości". Użytkownicy mogą polecić botowi zmianę tonu lub stylu odpowiedzi, ale powiedzenie mu, że jest prawnikiem, nie czyni go bardziej dokładnym.

\ Ogólnie rzecz biorąc, sesje wymagały dużo pracy, próbując ustalić, skąd agent uzyskał swoje informacje i przekierowując go precyzyjnymi instrukcjami. To zajęło dużo czasu.

\ Firma produkująca ChatGPT, OpenAI, nie odpowiedziała na prośbę o komentarz.

\ Na podstawie moich interakcji, zdecydowanie najbardziej przydatną funkcją ChatGPT jest jego zdolność do generowania i debugowania kodu programistycznego. (W pewnym momencie podczas ćwiczenia dotyczącego East Palestine wygenerował prosty kod w Pythonie do tworzenia mapy wykolejenia). Odpowiadając na prośbę o napisanie kodu, zazwyczaj wyjaśnia swoje podejście (nawet jeśli może nie być najlepsze) i pokazuje swoją pracę, a możesz przekierować go, aby zastosował inne podejście, jeśli uważasz, że jego plan nie jest tym, czego potrzebujesz. Możliwość ciągłego dodawania funkcji do kodu, podczas gdy agent AI zachowuje kontekst i historię tego, o czym dyskutowaliście, może naprawdę zaoszczędzić Ci mnóstwo czasu, unikając żmudnego przeszukiwania postów o podobnym problemie na StackOverflow (jednej z największych społeczności programistycznych online).

\ Ćwiczenie NICAR pozostawiło mnie z obawami dotyczącymi wykorzystania generatywnych narzędzi AI do precyzyjnej pracy dziennikarstwa danych. Fakt, że narzędzie tak potężne jak ChatGPT nie może wygenerować "dowodu" na to, skąd dokładnie coś wie, jest sprzeczne z tym wszystkim, do czego jesteśmy szkoleni jako dziennikarze. Martwię się także o małe, niedofinansowane redakcje zbytnio polegające na tych narzędziach, gdy branża informacyjna zmaga się ze zwolnieniami i zamknięciami. A gdy brakuje wytycznych od kierownictwa redakcji dotyczących korzystania z tych narzędzi, może to prowadzić do błędów i nieścisłości.

\ Na szczęście wiele redakcji zaczęło rozwiązywać niektóre z tych obaw, opracowując polityki AI, aby pomóc dziennikarzom i czytelnikom zrozumieć, jak planują wykorzystywać AI w swojej pracy.

\ The Markup poszedł śladem innych organizacji informacyjnych i w zeszłym tygodniu zaktualizowaliśmy naszą politykę etyczną o sekcję szczegółowo opisującą nasze zasady dotyczące wykorzystania AI w naszej pracy. Podsumowując, mówi:

• Nie będziemy publikować historii ani dzieł sztuki stworzonych przez AI (chyba że jest to część historii o AI)
• Zawsze będziemy oznaczać lub ujawniać jego użycie
• Zawsze będziemy rygorystycznie sprawdzać naszą pracę, a to z pewnością dotyczy wszystkiego, co zostało wygenerowane przez AI
• W przyszłości będziemy oceniać bezpieczeństwo, prywatność i względy etyczne wszelkich nowych narzędzi AI

\ Dziękuję za przeczytanie i zawsze dokładnie sprawdzaj wszystko, co mówi Ci chatbot!

\ Jon Keegan

Dziennikarz śledczy ds. danych

The Markup

---

Autorzy

• Jon Keegan, Dziennikarz śledczy ds. danych

Projekt i grafika

• Gabriel Hongsdusit

Zaangażowanie

• Maria Puertas

Redakcja

• Ryan Tate
• Michael Reilly

\ Również opublikowano tutaj

\ Zdjęcie: Valery Tenevoy na Unsplash

\