EEE-Bench: A Comprehensive Multimodal Electrical And Electronics Engineering Benchmark
Ming Li; Ji-Ke Zhong; Tian-Le Chen; Yu-Xiang Lai; Konstantinos Psounis
- Summary
- EEE-Bench is a new multimodal benchmark of 2,860 curated problems across 10 electrical and electronics engineering subdomains, revealing that current foundation models achieve only 19.48% to 46.78% average performance and often overlook es…
- Method
- Penulis membangun EEE-Bench dengan memilih dan mengurasi secara manual 2.860 soal dari domain EEE, mencakup 10 subdomain penting (misalnya rangkaian analog, sistem kendali). Setia…
- Results
- Evaluasi mengungkap kekurangan mencolok pada model fondasi saat ini untuk EEE. Kinerja rata-rata berkisar dari 19,48% hingga 46,78% di antara model yang diuji. Selain itu, model menunjukkan kecenderu…