EEE-Bench: Tolok Ukur Multimodal Komprehensif untuk Teknik Elektro dan Elektronika
Ming Li; Ji-Ke Zhong; Tian-Le Chen; Yu-Xiang Lai; Konstantinos Psounis
- Ringkasan
- EEE-Bench adalah tolok ukur multimodal baru berisi 2.860 soal terkurasi di 10 subdomain teknik elektro dan elektronika, yang mengungkap bahwa model fondasi saat ini hanya mencapai kinerja rata-rata 19,48% hingga 46,78% dan sering mengabaik…
- Metode
- Penulis membangun EEE-Bench dengan memilih dan mengurasi secara manual 2.860 soal dari domain EEE, mencakup 10 subdomain penting (misalnya rangkaian analog, sistem kendali). Setia…
- Hasil
- Evaluasi mengungkap kekurangan mencolok pada model fondasi saat ini untuk EEE. Kinerja rata-rata berkisar dari 19,48% hingga 46,78% di antara model yang diuji. Selain itu, model menunjukkan kecenderu…