Jadwal Sholat

Memuat jadwal sholatโ€ฆ

Editorial Teknik & Rekayasa

Open AccessOA2024

EEE-Bench: Tolok Ukur Multimodal Komprehensif untuk Teknik Elektro dan Elektronika

EEE-Bench adalah tolok ukur multimodal baru berisi 2.860 soal terkurasi di 10 subdomain teknik elektro dan elektronika, yang mengungkap bahwa model fondasi saat ini hanya mencapai kinerja rata-rata 19,48% hingga 46,78% dan sering mengabaikan konteks visual yang penting.
Ming Li; Ji-Ke Zhong; Tian-Le Chen; Yu-Xiang Lai; Konstantinos Psounisยท Computer Vision and Pattern Recognitionยท 2024ยท DOI 10.1109/CVPR52734.2025.01245

Masalah inti

Model bahasa besar (LLM) dan model multimodal besar (LMM) telah menunjukkan kemampuan menjanjikan dalam sains dan matematika, tetapi kemampuannya pada skenario dunia nyata yang lebih menantang seperti teknik belum diteliti secara sistematis. Untuk menjembatani celah ini, penulis mengusulkan EEE-Bench, sebuah tolok ukur multimodal yang bertujuan menilai kemampuan LMM dalam menyelesaikan tugas teknik praktis, dengan teknik elektro dan elektronika (EEE) sebagai testbed. Tolok ukur ini terdiri atas 2.860 soal yang dipilih secara manual dan dikurasi dengan cermat, mencakup 10 subdomain penting seperti rangkaian analog dan sistem kendali. Dibandingkan domain lain, soal teknik secara intrinsik lebih kompleks secara visual dan lebih beragam, serta solusinya kurang deterministik. Solusi yang berhasil sering menuntut integrasi ketat antara informasi visual dan tekstual, karena model perlu memahami gambar rumit seperti rangkaian abstrak dan diagram sistem sambil mengikuti instruksi profesional.

Inovasi

Penulis membangun EEE-Bench dengan memilih dan mengurasi secara manual 2.860 soal dari domain EEE, mencakup 10 subdomain penting (misalnya rangkaian analog, sistem kendali). Setiap soal bersifat multimodal, menuntut penalaran bersama atas elemen visual (diagram rangkaian, diagram sistem) dan instruksi tekstual. Untuk mengevaluasi kinerja model, mereka melakukan evaluasi kuantitatif ekstensif menggunakan 17 LLM dan LMM open-source dan closed-source yang banyak digunakan, serta 7 teknik prompting populer. Kerangka evaluasi mencakup analisis terperinci dan metode peningkatan. Tolok ukur ini dirilis secara publik untuk mendukung penelitian lanjutan.
Pendahuluan
Model bahasa besar (LLM) dan model multimodal besar (LMM) telah menunjukkan kemampuan menjanjikan dalam sains dan matematika, tetapi kemampuannya pada skenario dunia nyata yang lebih menantang seperti teknik belum diteliti secara sistematis. Untuk menjembatani celah ini, penulis mengusulkan EEE-Bench, sebuah tolok ukur multimodal yang bertujuan menilai kemampuan LMM dalam menyelesaikan tugas teknik praktis, dengan teknik elektro dan elektronika (EEE) sebagai testbed. Tolok ukur ini terdiri atas 2.860 soal yang dipilih secara manual dan dikurasi dengan cermat, mencakup 10 subdomain penting seperti rangkaian analog dan sistem kendali. Dibandingkan domain lain, soal teknik secara intrinsik lebih kompleks secara visual dan lebih beragam, serta solusinya kurang deterministik. Solusi yang berhasil sering menuntut integrasi ketat antara informasi visual dan tekstual, karena model perlu memahami gambar rumit seperti rangkaian abstrak dan diagram sistem sambil mengikuti instruksi profesional.

Mengapa penting

Penulis mengaitkan kekurangan yang teramati dengan tantangan intrinsik soal teknik: kompleksitas dan keragaman visualnya, serta solusinya yang kurang deterministik. Kecenderungan mengabaikan konteks visual menunjukkan bahwa LMM saat ini mungkin tidak cukup mendasarkan penalarannya pada diagram yang diberikan, sehingga menghasilkan solusi yang tidak lengkap atau salah. EEE-Bench tidak hanya mengungkap batasan ini tetapi juga menyediakan sumber daya berharga untuk memajukan penelitian tentang aplikasi LMM pada tugas teknik praktis, mendorong peningkatan di masa depan dalam menangani skenario dunia nyata yang kompleks. Rilis tolok ukur ini bertujuan memacu pekerjaan lanjutan tentang penalaran multimodal di domain teknik.

Siapa yang sebaiknya membaca

Pembaca Research Digest dan praktisi rumpun ini.

Membuka konten memberโ€ฆ