Phân tích Dòng chảy của Lời nhắc Nhà phát triển trong Các cuộc hội thoại ChatGPT

Bảng Liên Kết

Tóm tắt

1 Giới thiệu

2 Thu thập dữ liệu

3 RQ1: Các nhà phát triển đưa ra những loại câu hỏi kỹ thuật phần mềm nào cho ChatGPT trong lời nhắc ban đầu?

4 RQ2: Làm thế nào các nhà phát triển trình bày câu hỏi của họ cho ChatGPT trong các cuộc hội thoại nhiều lượt?

5 RQ3: Đặc điểm của hành vi chia sẻ là gì?

6 Thảo luận

7 Mối đe dọa đến tính hợp lệ

8 Công trình liên quan

9 Kết luận và công việc tương lai

Tài liệu tham khảo

\

RQ2: Làm thế nào các nhà phát triển trình bày câu hỏi của họ cho ChatGPT trong các cuộc hội thoại nhiều lượt?

==Động lực:== Kết quả được trình bày trong Hình 3 và Hình 4 cho thấy một phần đáng kể trong DevGPT-PRs (33,2%) và DevGPT-Issues (26,9%) bao gồm các cuộc hội thoại nhiều lượt. Trong các cuộc hội thoại một lượt, các nhà phát triển đặt câu hỏi liên quan đến SE trong lời nhắc ban đầu và nhận một phản hồi từ ChatGPT, cung cấp một cuộc trao đổi rõ ràng và trực tiếp. Tuy nhiên, động lực của các cuộc hội thoại nhiều lượt mang lại sự phức tạp. Những tương tác này vượt ra ngoài một truy vấn và phản hồi đơn giản, liên quan đến một loạt các cuộc trao đổi có khả năng tinh chỉnh, mở rộng hoặc làm rõ câu hỏi ban đầu.

\ Giao tiếp nhiều lớp này đặt ra câu hỏi về chiến lược của các nhà phát triển để trình bày câu hỏi của họ qua nhiều lượt. Do đó, chúng tôi giới thiệu RQ2, nghiên cứu bản chất của lời nhắc của các nhà phát triển trong các cuộc hội thoại nhiều lượt. Để tạo điều kiện cho một phân tích toàn diện, chúng tôi tiếp tục giới thiệu hai câu hỏi phụ:

– RQ2.1: Vai trò của lời nhắc của nhà phát triển trong các cuộc hội thoại nhiều lượt là gì? Câu hỏi này nhằm phân loại vai trò cấu trúc của mỗi lời nhắc trong cuộc hội thoại nhiều lượt tương ứng.

– RQ2.2: Các mẫu luồng trong các cuộc hội thoại nhiều lượt là gì? Dựa trên phân loại được đề xuất như câu trả lời cho RQ2.1, câu hỏi này khám phá mẫu chuyển tiếp thường xuyên của những vai trò đã xác định của lời nhắc trong các cuộc hội thoại nhiều lượt. Câu trả lời cho các câu hỏi phụ trên sẽ cung cấp cái nhìn sâu sắc cho các nhà nghiên cứu về động lực và thực tiễn của các nhà phát triển trong việc sử dụng ChatGPT thông qua nhiều vòng tương tác.

\ 4.1 Phương pháp tiếp cận

Trong RQ2.1, chúng tôi xem xét lời nhắc trong tất cả 189 cuộc hội thoại nhiều lượt, tức là 64 cuộc hội thoại từ DevGPT-PRs và 125 từ DevGPT-Issues. Theo phương pháp tương tự như RQ1, chúng tôi đã sử dụng mã hóa mở để gắn nhãn thủ công 645 lời nhắc (236 lời nhắc từ DevGPT-PRs và 409 lời nhắc từ DevGPT-Issues) trong các cuộc hội thoại nhiều lượt qua ba vòng:

– Trong vòng đầu tiên, năm đồng tác giả độc lập gắn nhãn 20 cuộc hội thoại được chọn ngẫu nhiên từ cả bộ dữ liệu DevGPT-PRs và DevGPT-Issues nhiều lượt, bao gồm 40 cuộc hội thoại và 123 lời nhắc. Sau khi thảo luận, chúng tôi đã phát triển một cuốn sách mã hóa bao gồm bảy nhãn riêng biệt.

– Trong vòng thứ hai, dựa trên cuốn sách mã hóa hiện có, hai người chú thích độc lập gắn nhãn một bộ 20 cuộc hội thoại khác từ mỗi bộ dữ liệu DevGPT-PRs và DevGPT-Issues nhiều lượt, tổng cộng 144 lời nhắc. Hai người chú thích đạt được điểm thỏa thuận giữa các đánh giá là 0,89, được đo bằng hệ số kappa của Cohen, đại diện cho sự đồng ý gần như hoàn hảo (Landis và Koch, 1977). Sau đó, các người chú thích đã thảo luận và tinh chỉnh cuốn sách mã hóa.

\ – Cuối cùng, mỗi người trong hai người chú thích từ vòng hai độc lập gắn nhãn dữ liệu còn lại. Trong RQ2.2, chúng tôi sử dụng mô hình Markov (Gagniuc, 2017) để phân tích các mẫu luồng hội thoại bằng cách vẽ Đồ thị Chuyển tiếp Markov. Đồ thị Chuyển tiếp Markov là một đồ thị có hướng thể hiện các chuyển tiếp xác suất

giữa các trạng thái hoặc nút khác nhau. Trong trường hợp của chúng tôi, mỗi nút trong đồ thị đại diện cho một danh mục cụ thể được phát triển trong RQ2.1, và các cạnh có hướng giữa các nút biểu thị khả năng chuyển từ một phân loại này sang phân loại khác dựa trên các cuộc hội thoại nhiều lượt mà chúng tôi thu thập. Để trích xuất những hiểu biết có ý nghĩa từ Đồ thị Chuyển tiếp Markov, chúng tôi đề xuất các bước xử lý sau:

1. Chúng tôi cắt tỉa đồ thị bằng cách loại bỏ các chuyển tiếp có xác suất thấp hơn 0,05, đảm bảo tập trung vào các mối quan hệ có ý nghĩa thống kê.

2. Chúng tôi tinh chỉnh cấu trúc đồ thị bằng cách loại bỏ các nút không có cạnh đi vào và đi ra, ngoại trừ các nút bắt đầu và kết thúc. Bước này đảm bảo đơn giản hóa vì chúng tôi chỉ giữ lại các thành phần thiết yếu.

3. Chúng tôi tổ chức lại một cách có hệ thống Đồ thị Chuyển tiếp Markov thành một biểu đồ luồng để nâng cao khả năng diễn giải của nó, cung cấp một biểu diễn dễ hiểu hơn về các mẫu luồng.

   \ 4.2 Kết quả

   4.2.1 RQ 2.1 Vai trò của lời nhắc của nhà phát triển trong các cuộc hội thoại nhiều lượt là gì? Bảng 4 trình bày phân loại đề xuất của chúng tôi để phân loại lời nhắc trong các cuộc hội thoại nhiều lượt. Phân tích của chúng tôi cho thấy rằng, trong cả yêu cầu kéo và vấn đề, các cuộc hội thoại nhiều lượt chứa ba loại lời nhắc chính: những lời nhắc đặt câu hỏi tiếp theo (M1), những lời nhắc giới thiệu nhiệm vụ ban đầu (M2), và những lời nhắc được tinh chỉnh từ lời nhắc trước đó (M3). Một lời nhắc từ DevGPT-PRs và sáu lời nhắc từ DevGPT-Issues được phân loại dưới mục "Khác" do bản chất của chúng là cuộc trò chuyện thông thường hoặc thiếu chi tiết đủ để xác định vai trò của chúng.

   \ Dưới đây, chúng tôi mô tả chi tiết hơn về từng danh mục.

   ==(M1) Theo dõi lặp lại:== Trong 33% và 40% lời nhắc trong DevGPT-PRs và DevGPT-Issues nhiều lượt, các nhà phát triển đăng các truy vấn được xây dựng trực tiếp dựa trên phản hồi trước đó của ChatGPT hoặc ngữ cảnh đang diễn ra, chẳng hạn như gỡ lỗi và sửa chữa giải pháp sau khi ChatGPT tạo mã. Những theo dõi lặp lại như vậy thường xuất hiện khi nhiệm vụ ban đầu đặt ra một thách thức phức tạp mà ChatGPT có thể không giải quyết đầy đủ trong một lần tương tác. Do đó, các nhà phát triển tham gia vào một lời nhắc chỉ định yêu cầu theo dõi, cho phép ChatGPT kết hợp phản hồi của con người và lặp lại nâng cao giải pháp đề xuất.

   \ ==(M2) Tiết lộ nhiệm vụ ban đầu:== Chúng tôi thấy rằng một phần tương tự, tức là 26% trong DevGPT-PRs nhiều lượt và 29% trong DevGPT-Issues nhiều lượt, của lời nhắc phục vụ để giới thiệu nhiệm vụ ban đầu cho ChatGPT. Phân phối này nhấn mạnh rằng trong các cuộc hội thoại nhiều lượt, không giống như trong các cuộc hội thoại một lượt, nơi lời nhắc duy nhất được dành để phác thảo nhiệm vụ chính, có một lượng đáng kể lời nhắc phục vụ các mục đích khác.

   \ ==(M3) Tinh chỉnh lời nhắc:== Bên cạnh theo dõi lặp lại (M1), các nhà phát triển cũng có xu hướng cải thiện giải pháp được đề xuất bởi ChatGPT bằng cách cung cấp một lời nhắc yêu cầu được tinh chỉnh với ngữ cảnh hoặc ràng buộc bổ sung. Mục tiêu là nâng cao chất lượng phản hồi cho cùng một truy vấn được đăng trong lời nhắc trước đó. Lời nhắc được Tinh chỉnh chiếm 17% lời nhắc trong DevGPT-PRs nhiều lượt và 14% trong DevGPT-Issues.

   \ ==(M4) Cung cấp thông tin:== Trong 8% và 6% lời nhắc trong DevGPT-PRs và DevGPT-Issues nhiều lượt, các nhà phát triển không đăng bất kỳ yêu cầu nào cho ChatGPT, mà thay vào đó, chia sẻ kiến thức hoặc ngữ cảnh với ChatGPT.

   \ ==(M5) Tiết lộ một nhiệm vụ mới== Chúng tôi quan sát thấy rằng 7% và 4% lời nhắc trong DevGPT-PRs và DevGPT-Issues nhiều lượt đang đăng một nhiệm vụ mới cho ChatGPT, khác biệt với (