Editorial Ilmu Sosial
Open AccessOA2024
Mengukur transparansi dalam ilmu sosial: ilmu politik dan hubungan internasional
Dengan menggunakan pengklasifikasi machine learning pada 93.931 artikel dari 160 jurnal ilmu politik dan hubungan internasional terkemuka (2010โ2021), para peneliti menemukan bahwa hanya ~21% makalah inferensi statistik yang memiliki data terbuka dan ~5% eksperimen yang dipraregistrasi. Jurnal-jurnal terkemuka menunjukkan bahwa perbaikan cepat dapat dilakukan.
B. Scoggins; Matthew P. Robertsonยท Royal Society Open Scienceยท 2024ยท DOI 10.1098/rsos.240313
Masalah inti
Metode ilmiah bergantung pada transparansi, namun adopsi praktik penelitian yang transparan masih lambat. Krisis replikasi dalam psikologi menyoroti bahwa temuan terbit yang menggunakan inferensi statistik rentan terhadap kesalahan yang tidak terdeteksi, manipulasi data, dan pemalsuan data. Untuk mengatasi masalah ini dan meningkatkan kredibilitas penelitian, data terbuka dan praregistrasi semakin diterima di ilmu alam dan ilmu sosial. Namun, sejauh mana adopsinya di berbagai disiplin ilmu belum diketahui. Penelitian ini memperkenalkan prosedur komputasional untuk mengidentifikasi transparansi suatu bidang penelitian menggunakan analisis teks berskala besar dan pengklasifikasi machine learning. Dengan menggunakan ilmu politik dan hubungan internasional sebagai kasus ilustratif, para penulis meneliti 93.931 artikel di 160 jurnal ilmu politik dan hubungan internasional terkemuka antara 2010 dan 2021. Pertanyaan penelitiannya adalah: (1) Bagaimana prevalensi data terbuka dan praregistrasi di ilmu politik dan hubungan internasional? (2) Bagaimana prevalensi ini berubah seiring waktu? (3) Jurnal mana yang memimpin dalam praktik transparansi?
Inovasi
Para penulis mengembangkan prosedur komputasional untuk mendeteksi praktik transparansi dari teks artikel. Mereka menggunakan pengklasifikasi machine learning yang dilatih untuk mengidentifikasi penyebutan data terbuka dan praregistrasi. Dataset terdiri atas 93.931 artikel yang diterbitkan antara 2010 dan 2021 di 160 jurnal ilmu politik dan hubungan internasional terkemuka. Pengklasifikasi digunakan untuk mengklasifikasikan artikel sebagai menggunakan inferensi statistik dan untuk mendeteksi apakah artikel menyediakan data terbuka atau praregistrasi. Pendekatan ini memungkinkan penilaian otomatis berskala besar atas praktik transparansi di suatu bidang. Penelitian ini berfokus pada dua indikator utama: data terbuka (untuk makalah yang menggunakan inferensi statistik) dan praregistrasi (untuk eksperimen). Metodologi ini memanfaatkan analisis teks untuk mengatasi keterbatasan tinjauan manual, sehingga memungkinkan pemindaian literatur secara menyeluruh. Kinerja pengklasifikasi telah divalidasi, meskipun metrik spesifiknya tidak dirinci dalam abstrak. Pendekatan komputasional ini dapat digeneralisasi ke disiplin ilmu lain.
Pendahuluan
Metode ilmiah bergantung pada transparansi, namun adopsi praktik penelitian yang transparan masih lambat. Krisis replikasi dalam psikologi menyoroti bahwa temuan terbit yang menggunakan inferensi statistik rentan terhadap kesalahan yang tidak terdeteksi, manipulasi data, dan pemalsuan data. Untuk mengatasi masalah ini dan meningkatkan kredibilitas penelitian, data terbuka dan praregistrasi semakin diterima di ilmu alam dan ilmu sosial. Namun, sejauh mana adopsinya di berbagai disiplin ilmu belum diketahui. Penelitian ini memperkenalkan prosedur komputasional untuk mengidentifikasi transparansi suatu bidang penelitian menggunakan analisis teks berskala besar dan pengklasifikasi machine learning. Dengan menggunakan ilmu politik dan hubungan internasional sebagai kasus ilustratif, para penulis meneliti 93.931 artikel di 160 jurnal ilmu politik dan hubungan internasional terkemuka antara 2010 dan 2021. Pertanyaan penelitiannya adalah: (1) Bagaimana prevalensi data terbuka dan praregistrasi di ilmu politik dan hubungan internasional? (2) Bagaimana prevalensi ini berubah seiring waktu? (3) Jurnal mana yang memimpin dalam praktik transparansi?
Mengapa penting
Tingkat adopsi data terbuka (21%) dan praregistrasi (5%) yang rendah di ilmu politik dan hubungan internasional mencerminkan tantangan yang terlihat di ilmu sosial lainnya. Krisis replikasi dalam psikologi menjadi peringatan: tanpa transparansi, kesalahan yang tidak terdeteksi dan praktik penelitian yang dipertanyakan dapat merusak kredibilitas. Pendekatan komputasional penelitian ini menawarkan cara yang dapat diskalakan untuk memantau transparansi di berbagai disiplin ilmu. Contoh jurnal-jurnal terkemuka menunjukkan bahwa perubahan mungkin terjadi dan dapat berlangsung cepat, kemungkinan karena kebijakan editorial dan insentif. Para penulis berargumen bahwa adopsi yang lebih luas memerlukan perubahan sistemik, seperti persyaratan jurnal dan mandat lembaga pendanaan. Temuan ini berimplikasi pada kredibilitas penelitian dan reproduksibilitas ilmu sosial. Batasan penelitian ini mencakup ketergantungan pada pengklasifikasi teks dan fokus pada dua indikator. Penelitian selanjutnya dapat diperluas ke praktik transparansi dan disiplin ilmu lain. Secara keseluruhan, penelitian ini menyediakan tolok ukur dan alat untuk melacak kemajuan transparansi.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten memberโฆ