Jadwal Sholat

Memuat jadwal sholat…

Editorial Ilmu Komputer & AI

Open AccessOA2023

Metode Penelitian Kualitatif untuk Large Language Model: Melakukan Wawancara Semi-Terstruktur dengan ChatGPT dan BARD tentang Pendidikan Ilmu Komputer

Penelitian ini mengevaluasi apakah metode analisis konten kualitatif dapat diterapkan pada wawancara dengan large language model (ChatGPT dan BARD) tentang pendidikan ilmu komputer. Para penulis menemukan bahwa meskipun metode tersebut dapat diterapkan, variabilitas respons model yang tinggi menuntut pertimbangan cermat terhadap faktor kontekstual, dan mereka menyediakan panduan untuk melakukan wawancara semacam itu.
Andreas Dengel; Rupert Gehrlein; David Fernes; Sebastian Görlich; Jonas Maurer; H. H. Pham; Gabriel Großmann; Niklas Dietrich genannt Eisermann· Informatics· 2023· DOI 10.3390/informatics10040078

Masalah inti

Large language model (LLM) seperti ChatGPT dan BARD semakin banyak digunakan untuk penerjemahan bahasa, pembuatan teks, dan percakapan mirip manusia. Model-model ini dilatih pada data dalam jumlah besar yang mencakup beragam opini dan perspektif, sehingga memunculkan kemungkinan pendekatan penelitian kualitatif baru: mewawancarai LLM untuk memperoleh wawasan tentang opini publik, yang berpotensi meniru wawancara dengan kelompok subjek besar. Namun, belum jelas apakah metode analisis konten kualitatif dapat diterapkan secara efektif pada wawancara dengan model-model ini. Makalah ini menyelidiki penerapan analisis konten kualitatif pada wawancara dengan ChatGPT dalam bahasa Inggris, ChatGPT dalam bahasa Jerman, dan BARD dalam bahasa Inggris, dengan menggunakan relevansi ilmu komputer dalam pendidikan K-12 sebagai topik contoh. Para penulis bertujuan mendorong pemahaman tentang kemampuan dan batasan LLM serta menyediakan panduan untuk melakukan dan menganalisis wawancara dengan LLM.

Inovasi

Para penulis melakukan wawancara semi-terstruktur dengan tiga konfigurasi LLM: ChatGPT dalam bahasa Inggris, ChatGPT dalam bahasa Jerman, dan BARD dalam bahasa Inggris. Wawancara berfokus pada relevansi ilmu komputer dalam pendidikan K-12. Respons dianalisis menggunakan metode analisis konten kualitatif. Penelitian ini menguji bagaimana faktor kontekstual memengaruhi respons dan apakah metode penelitian kualitatif yang mapan dapat diterapkan pada wawancara LLM. Para penulis juga mendokumentasikan proses untuk memperoleh panduan dalam melakukan dan menganalisis wawancara dengan LLM.
Pendahuluan
Large language model (LLM) seperti ChatGPT dan BARD semakin banyak digunakan untuk penerjemahan bahasa, pembuatan teks, dan percakapan mirip manusia. Model-model ini dilatih pada data dalam jumlah besar yang mencakup beragam opini dan perspektif, sehingga memunculkan kemungkinan pendekatan penelitian kualitatif baru: mewawancarai LLM untuk memperoleh wawasan tentang opini publik, yang berpotensi meniru wawancara dengan kelompok subjek besar. Namun, belum jelas apakah metode analisis konten kualitatif dapat diterapkan secara efektif pada wawancara dengan model-model ini. Makalah ini menyelidiki penerapan analisis konten kualitatif pada wawancara dengan ChatGPT dalam bahasa Inggris, ChatGPT dalam bahasa Jerman, dan BARD dalam bahasa Inggris, dengan menggunakan relevansi ilmu komputer dalam pendidikan K-12 sebagai topik contoh. Para penulis bertujuan mendorong pemahaman tentang kemampuan dan batasan LLM serta menyediakan panduan untuk melakukan dan menganalisis wawancara dengan LLM.

Mengapa penting

Berdasarkan hasil tersebut, para penulis merumuskan panduan untuk melakukan dan menganalisis wawancara dengan LLM. Mereka menyarankan bahwa metode analisis konten kualitatif dapat diterapkan, tetapi dengan pertimbangan cermat terhadap faktor kontekstual yang dapat memengaruhi respons. Panduan tersebut bertujuan membantu peneliti melakukan wawancara yang lebih bernuansa dan berwawasan. Namun, dari pandangan keseluruhan, para penulis umumnya tidak merekomendasikan penggunaan wawancara dengan LLM untuk tujuan penelitian karena hasilnya sangat tidak dapat diprediksi. Sebagai gantinya, mereka menyarankan penggunaan LLM sebagai alat eksplorasi untuk memperoleh berbagai perspektif tentang topik penelitian dan untuk menguji panduan wawancara sebelum melakukan wawancara di dunia nyata. Pendekatan ini dapat membantu peneliti menyempurnakan metode mereka dan mengeksplorasi beragam sudut pandang tanpa sepenuhnya bergantung pada keluaran LLM untuk kesimpulan definitif.

Siapa yang sebaiknya membaca

Pembaca Research Digest dan praktisi rumpun ini.

Membuka konten member…