Editorial Ekonomi & Bisnis
Open AccessOA2024
FinSoSent: Memajukan Analisis Sentimen Pasar Keuangan melalui Model Bahasa Besar Terpralatih
FinSoSent adalah model bahasa besar khusus domain keuangan yang terpralatih pada berita keuangan dan disetel halus pada korpus media sosial, mencapai kinerja unggul dalam analisis sentimen keuangan pada lebih dari 860 eksperimen. Studi ini menegaskan tantangan yang masih ada dalam analisis sentimen di domain khusus meskipun telah ada kemajuan LLM.
Josiel Delgadillo; J. Kinyua; Charles Mutigweยท Big Data and Cognitive Computingยท 2024ยท DOI 10.3390/bdcc8080087
Masalah inti
Prediksi pasar keuangan secara tradisional bergantung pada data kuantitatif, tetapi lonjakan data tak terstruktur dari mikroblog media sosial menawarkan perspektif baru. Analisis sentimen, tugas inti NLP, sangat bergantung pada domain dan memerlukan pengetahuan kosakata serta ontologi khusus domain. Domain keuangan sangat menantang karena jargon dan ekspresinya yang unik. Kemajuan terkini dalam model bahasa besar (LLM) menunjukkan harapan pada berbagai tugas analisis sentimen, tetapi penerapannya pada media sosial keuangan masih kurang diteliti. Studi ini memperkenalkan FinSoSent, LLM khusus domain yang dirancang untuk menganalisis sentimen media sosial keuangan dengan memanfaatkan pralatihan pada berita keuangan dan penyetelan halus pada beberapa korpus media sosial keuangan. Tujuannya adalah meningkatkan akurasi analisis sentimen di domain keuangan dan menilai apakah LLM dapat secara efektif menangani nuansa khusus domain.
Inovasi
FinSoSent dibangun di atas LLM terpralatih yang kemudian dipralatih lebih lanjut pada korpus besar artikel berita keuangan untuk menanamkan pengetahuan domain keuangan. Model itu lalu disetel halus dan diuji pada beberapa korpus media sosial keuangan, termasuk data dari StockTwits dan X (sebelumnya Twitter). Para penulis melakukan eksperimen ekstensif dengan memvariasikan learning rate, epoch, dan ukuran batch untuk mengoptimalkan kinerja. Lebih dari 860 eksperimen dilakukan untuk membandingkan FinSoSent dengan model analisis sentimen keuangan (FSA) mutakhir saat ini. Selain itu, model ansambel yang menggabungkan FinSoSent dengan model FSA lain dievaluasi menggunakan pemungutan suara mayoritas. Metodologi ini menekankan penyetelan hyperparameter yang ketat dan evaluasi menyeluruh untuk memastikan kinerja yang tangguh.
Pendahuluan
Prediksi pasar keuangan secara tradisional bergantung pada data kuantitatif, tetapi lonjakan data tak terstruktur dari mikroblog media sosial menawarkan perspektif baru. Analisis sentimen, tugas inti NLP, sangat bergantung pada domain dan memerlukan pengetahuan kosakata serta ontologi khusus domain. Domain keuangan sangat menantang karena jargon dan ekspresinya yang unik. Kemajuan terkini dalam model bahasa besar (LLM) menunjukkan harapan pada berbagai tugas analisis sentimen, tetapi penerapannya pada media sosial keuangan masih kurang diteliti. Studi ini memperkenalkan FinSoSent, LLM khusus domain yang dirancang untuk menganalisis sentimen media sosial keuangan dengan memanfaatkan pralatihan pada berita keuangan dan penyetelan halus pada beberapa korpus media sosial keuangan. Tujuannya adalah meningkatkan akurasi analisis sentimen di domain keuangan dan menilai apakah LLM dapat secara efektif menangani nuansa khusus domain.
Mengapa penting
Temuan ini menegaskan pentingnya adaptasi domain dalam analisis sentimen. Keberhasilan FinSoSent disebabkan oleh pralatihannya pada berita keuangan, yang membekalinya dengan kosakata dan konteks yang diperlukan untuk menafsirkan unggahan media sosial keuangan secara akurat. Namun, studi ini juga mengungkap bahwa bahkan dengan LLM, analisis sentimen di bidang keuangan tidaklah sepele; kompleksitas domain dan sifat informal teks media sosial menimbulkan tantangan yang berkelanjutan. Pendekatan ansambel hanya menghasilkan keuntungan marginal, yang menunjukkan bahwa FinSoSent sudah menangkap sebagian besar sinyal yang relevan. Para penulis menyimpulkan bahwa meskipun LLM seperti FinSoSent memajukan mutakhir, penelitian lebih lanjut diperlukan untuk mengatasi kesulitan bawaan analisis sentimen keuangan. Studi ini menyumbangkan model yang berharga dan tolok ukur untuk pekerjaan mendatang dalam NLP keuangan.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten memberโฆ