Editorial Ilmu Komputer & AI
Open AccessOA2024
REFORMS: Rekomendasi Berbasis Konsensus untuk Sains Berbasis Machine Learning
REFORMS adalah daftar periksa berbasis konsensus berisi 32 pertanyaan dan panduan yang dikembangkan oleh 19 peneliti lintas disiplin untuk mengatasi kegagalan dalam sains berbasis machine learning. Tujuannya membantu peneliti merancang dan melaporkan studi, pengulas meninjau makalah, serta jurnal menegakkan standar transparansi dan reproduksibilitas.
Sayash Kapoor; Emily M. Cantrell; Kenny Peng; Thanh Hien Pham; Christopher A. Bail; Odd Erik Gundersen; J. Hofman; J. Hullman; M. Lones; Momin M. Malik; Priyanka Nanayakkara; R. Poldrack; Inioluwa Deborah Raji; Michael Roberts; Matthew J. Salganik; Marta Serra-Garcia; Brandon M. Stewart; Gilles Vandewiele; Arvind Narayananยท Science Advancesยท 2024ยท DOI 10.1126/sciadv.adk3452
Masalah inti
Metode machine learning (ML) semakin banyak digunakan di berbagai disiplin ilmu, tetapi adopsinya disertai kegagalan validitas, reproduksibilitas, dan generalisasi. Kegagalan semacam itu dapat menghambat kemajuan ilmu pengetahuan, menimbulkan konsensus palsu atas klaim yang tidak valid, dan melemahkan kredibilitas sains berbasis ML. Para penulis mengamati bahwa metode ML sering gagal dengan cara yang serupa di berbagai disiplin, sehingga mendorong kebutuhan akan rekomendasi yang jelas untuk menjalankan dan melaporkan sains berbasis ML. Berdasarkan tinjauan literatur yang ekstensif, mereka menyajikan daftar periksa REFORMS (recommendations for machine-learning-based science), yang terdiri atas 32 pertanyaan dan seperangkat panduan yang berpasangan. REFORMS dikembangkan berdasarkan konsensus 19 peneliti dari ilmu komputer, ilmu data, matematika, ilmu sosial, dan ilmu biomedis. Daftar ini dapat menjadi rujukan bagi peneliti yang merancang dan melaksanakan studi, bagi pengulas yang meninjau makalah, dan bagi jurnal yang menegakkan standar transparansi dan reproduksibilitas.
Inovasi
Pengembangan REFORMS mengikuti proses berbasis konsensus. Para penulis melakukan tinjauan ekstensif terhadap literatur sebelumnya untuk mengidentifikasi jebakan umum dan praktik terbaik dalam sains berbasis ML. Panel berisi 19 peneliti dengan keahlian di bidang ilmu komputer, ilmu data, matematika, ilmu sosial, dan ilmu biomedis berpartisipasi dalam proses konsensus. Melalui diskusi dan sintesis berulang, mereka menyaring temuan menjadi daftar periksa berisi 32 pertanyaan, masing-masing berpasangan dengan panduan. Daftar periksa ini dirancang agar dapat diterapkan lintas disiplin, menjawab persoalan yang muncul dalam perancangan, pelaksanaan, dan pelaporan studi ML. Pendekatan konsensus memastikan bahwa rekomendasi bersifat representatif secara luas dan berpijak pada keahlian kolektif.
Pendahuluan
Metode machine learning (ML) semakin banyak digunakan di berbagai disiplin ilmu, tetapi adopsinya disertai kegagalan validitas, reproduksibilitas, dan generalisasi. Kegagalan semacam itu dapat menghambat kemajuan ilmu pengetahuan, menimbulkan konsensus palsu atas klaim yang tidak valid, dan melemahkan kredibilitas sains berbasis ML. Para penulis mengamati bahwa metode ML sering gagal dengan cara yang serupa di berbagai disiplin, sehingga mendorong kebutuhan akan rekomendasi yang jelas untuk menjalankan dan melaporkan sains berbasis ML. Berdasarkan tinjauan literatur yang ekstensif, mereka menyajikan daftar periksa REFORMS (recommendations for machine-learning-based science), yang terdiri atas 32 pertanyaan dan seperangkat panduan yang berpasangan. REFORMS dikembangkan berdasarkan konsensus 19 peneliti dari ilmu komputer, ilmu data, matematika, ilmu sosial, dan ilmu biomedis. Daftar ini dapat menjadi rujukan bagi peneliti yang merancang dan melaksanakan studi, bagi pengulas yang meninjau makalah, dan bagi jurnal yang menegakkan standar transparansi dan reproduksibilitas.
Mengapa penting
Para penulis berargumen bahwa adopsi ML yang luas dalam ilmu pengetahuan menuntut praktik pelaporan dan evaluasi yang terstandardisasi untuk memastikan kredibilitas temuan. REFORMS menjawab kebutuhan ini dengan menyediakan kerangka berbasis konsensus yang menyoroti mode kegagalan umum dan menawarkan rekomendasi yang dapat diterapkan. Dengan menggunakan REFORMS, peneliti dapat meningkatkan validitas dan reproduksibilitas karya mereka, pengulas dapat menilai klaim berbasis ML secara lebih efektif, dan jurnal dapat menegakkan standar transparansi yang lebih tinggi. Daftar periksa ini juga memfasilitasi komunikasi lintas disiplin dengan menetapkan kosakata bersama dan seperangkat ekspektasi. Para penulis mengakui bahwa penerapan REFORMS mungkin memerlukan upaya dan sumber daya, tetapi mereka meyakini manfaatnya bagi kemajuan ilmu pengetahuan lebih besar daripada biayanya. Mereka menyerukan adopsi yang lebih luas dan penyempurnaan daftar periksa ini seiring metode ML terus berkembang.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten memberโฆ