Jadwal Sholat

Memuat jadwal sholatโ€ฆ

Editorial Kedokteran & Kesehatan

Open AccessOA2022

Studi komparatif model bahasa terlatih awal untuk pengenalan entitas bernama pada kriteria kelayakan uji klinis dari berbagai korpus

Studi ini melakukan fine-tuning terhadap enam model bahasa terlatih awal untuk pengenalan entitas bernama (NER) pada kriteria kelayakan uji klinis di tiga korpus. Model khusus domain, terutama PubMedBERT, mengungguli model umum, dan augmentasi data dari korpus tambahan meningkatkan kinerja NER.
Jianfu Li; Qiang Wei; O. Ghiasvand; Miao Chen; V. Lobanov; Chun-Hua Weng; Hua Xuยท BMC Medical Informatics and Decision Makingยท 2022ยท DOI 10.1186/s12911-022-01967-7

Masalah inti

Protokol uji klinis penting untuk memajukan ilmu medis, tetapi mengekstraksi informasi yang akurat dari teksnya yang kompleks dan tidak terstruktur merupakan tantangan. Pengenalan entitas bernama (NER) adalah langkah fundamental untuk memproses dan menstandarkan teks tersebut menggunakan pemrosesan bahasa alami (NLP). Studi ini menyelidiki efektivitas model bahasa terlatih awal untuk NER pada kriteria kelayakan uji klinis. Penulis secara sistematis membandingkan empat model khusus domain biomedis (BioBERT, BlueBERT, PubMedBERT, SciBERT) dan dua model domain umum (BERT, SpanBERT) pada tiga korpus yang ada. Selain itu, mereka mengeksplorasi pendekatan augmentasi data untuk meningkatkan kinerja. Pertanyaan penelitian berpusat pada apakah contextual embedding khusus domain menghasilkan hasil NER yang lebih baik daripada embedding umum, dan apakah pemanfaatan berbagai korpus dapat mengurangi kelangkaan data.

Inovasi

Studi ini melakukan fine-tuning terhadap enam model transformer terlatih awal untuk klasifikasi token pada tiga korpus kriteria kelayakan uji klinis. Korpus tersebut tidak disebutkan namanya dalam abstrak tetapi merupakan dataset yang sudah ada. Model yang digunakan meliputi:

- **Khusus domain**: BioBERT, BlueBERT, PubMedBERT, SciBERT
- **Umum**: BERT, SpanBERT

Fine-tuning dilakukan dengan pengaturan NER standar, dan evaluasi menggunakan tenfold cross-validation. Kinerja diukur dengan -score. Augmentasi data diselidiki dengan menggabungkan data pelatihan dari berbagai korpus untuk menilai kelayakan pemanfaatan sumber tambahan. Teknik augmentasi yang tepat (misalnya, oversampling, penggantian sinonim) tidak dirinci dalam abstrak, tetapi hasilnya menunjukkan bahwa penggunaan korpus tambahan meningkatkan kinerja NER.

Pendahuluan
Protokol uji klinis penting untuk memajukan ilmu medis, tetapi mengekstraksi informasi yang akurat dari teksnya yang kompleks dan tidak terstruktur merupakan tantangan. Pengenalan entitas bernama (NER) adalah langkah fundamental untuk memproses dan menstandarkan teks tersebut menggunakan pemrosesan bahasa alami (NLP). Studi ini menyelidiki efektivitas model bahasa terlatih awal untuk NER pada kriteria kelayakan uji klinis. Penulis secara sistematis membandingkan empat model khusus domain biomedis (BioBERT, BlueBERT, PubMedBERT, SciBERT) dan dua model domain umum (BERT, SpanBERT) pada tiga korpus yang ada. Selain itu, mereka mengeksplorasi pendekatan augmentasi data untuk meningkatkan kinerja. Pertanyaan penelitian berpusat pada apakah contextual embedding khusus domain menghasilkan hasil NER yang lebih baik daripada embedding umum, dan apakah pemanfaatan berbagai korpus dapat mengurangi kelangkaan data.

Mengapa penting

Temuan ini menegaskan pentingnya contextual embedding yang dilatih dari korpus khusus domain untuk tugas NER biomedis. Kinerja unggul PubMedBERT kemungkinan berasal dari pra-pelatihannya pada abstrak dan artikel teks lengkap PubMed, yang sangat mirip dengan bahasa kriteria kelayakan uji klinis. Hasil ini juga menyoroti manfaat pemanfaatan berbagai sumber data untuk mengatasi tugas NER yang menantang dalam teks uji klinis. Studi ini memberikan wawasan bagi praktisi: ketika data berlabel langka, model khusus domain dan augmentasi data dapat meningkatkan kinerja secara signifikan. Batasan mencakup kurangnya detail dalam abstrak mengenai spesifikasi korpus dan metode augmentasi, tetapi tren yang konsisten pada tiga korpus memperkuat kesimpulan.

Siapa yang sebaiknya membaca

Pembaca Research Digest dan praktisi rumpun ini.

Membuka konten memberโ€ฆ