Jadwal Sholat

Memuat jadwal sholatโ€ฆ

Editorial Ilmu Komputer & AI

Open AccessOA2023

Menuju algoritma kuantum yang terbukti efisien untuk model pembelajaran mesin berskala besar

Karya ini menunjukkan bahwa algoritma kuantum toleran galat dapat memberikan solusi yang terbukti efisien untuk (stochastic) gradient descent generik pada model pembelajaran mesin berskala besar, dengan skala O(T^2 ร— polylog(n)), pada kondisi disipativitas yang memadai, sparsitas, dan laju pembelajaran yang kecil. Benchmark pada model dengan 7 juta hingga 103 juta parameter mengindikasikan bahwa peningkatan kuantum mungkin terjadi pada sparse training setelah pruning.
Jun-Yu Liu; Min-Zhao Liu; Jin-Peng Liu; Ziyu Ye; Yun-Fei Wang; Y. Alexeev; J. Eisert; Liang Jiangยท Nature Communicationsยท 2023ยท DOI 10.1038/s41467-023-43957-x

Masalah inti

Model pembelajaran mesin berskala besar telah merevolusi kecerdasan artifisial tetapi terkendala oleh biaya komputasi, konsumsi daya, dan kebutuhan waktu yang sangat besar selama pre-training maupun fine-tuning. Penulis membahas pertanyaan apakah komputasi kuantum dapat memberikan penyelesaian yang terbukti efisien untuk hambatan tersebut. Mereka berfokus pada (stochastic) gradient descent, algoritma utama untuk melatih model pembelajaran mesin, dan menunjukkan bahwa komputasi kuantum toleran galat dapat menawarkan penyelesaian yang terbukti efisien, dengan skala

, dengan adalah ukuran model dan adalah jumlah iterasi pelatihan. Skala ini berlaku selama model cukup disipatif dan sparse, dengan laju pembelajaran yang kecil. Karya ini dibangun di atas algoritma kuantum efisien sebelumnya untuk persamaan diferensial disipatif dan memperluasnya ke gradient descent.

Inovasi

Penulis memanfaatkan dan mengadaptasi algoritma kuantum yang dirancang untuk menyelesaikan persamaan diferensial disipatif ke konteks (stochastic) gradient descent. Mereka menyediakan kerangka teoretis yang membuktikan bahwa algoritma kuantum tersebut dapat secara efisien menyimulasikan dinamika gradient descent pada kondisi tertentu: model harus cukup disipatif (yakni, dinamika mengontraksi volume ruang fase), sparse (banyak parameter bernilai nol atau dapat diabaikan), dan dilatih dengan laju pembelajaran yang kecil. Algoritma kuantum mencapai skala

, yang terbukti efisien dibandingkan metode klasik yang berskala polinomial terhadap dan . Penulis juga melakukan benchmark numerik pada model pembelajaran mesin berskala besar mulai dari 7 juta hingga 103 juta parameter untuk memvalidasi temuan teoretis mereka.

Pendahuluan

Model pembelajaran mesin berskala besar telah merevolusi kecerdasan artifisial tetapi terkendala oleh biaya komputasi, konsumsi daya, dan kebutuhan waktu yang sangat besar selama pre-training maupun fine-tuning. Penulis membahas pertanyaan apakah komputasi kuantum dapat memberikan penyelesaian yang terbukti efisien untuk hambatan tersebut. Mereka berfokus pada (stochastic) gradient descent, algoritma utama untuk melatih model pembelajaran mesin, dan menunjukkan bahwa komputasi kuantum toleran galat dapat menawarkan penyelesaian yang terbukti efisien, dengan skala

, dengan adalah ukuran model dan adalah jumlah iterasi pelatihan. Skala ini berlaku selama model cukup disipatif dan sparse, dengan laju pembelajaran yang kecil. Karya ini dibangun di atas algoritma kuantum efisien sebelumnya untuk persamaan diferensial disipatif dan memperluasnya ke gradient descent.

Mengapa penting

Penulis membahas implikasi temuan mereka, dengan menekankan bahwa algoritma kuantum toleran galat berpotensi berkontribusi dalam menyelesaikan sebagian besar masalah pembelajaran mesin berskala besar yang mutakhir. Namun, mereka juga mencatat bahwa masih belum jelas apakah dan bagaimana komputasi kuantum dapat terbukti berguna untuk semua masalah pembelajaran mesin klasik berskala besar yang diketahui. Kondisi disipativitas, sparsitas, dan laju pembelajaran yang kecil sangat penting bagi efisiensi yang terbukti, dan implementasi praktisnya memerlukan komputer kuantum toleran galat. Hasil benchmark mengindikasikan bahwa keunggulan kuantum mungkin paling mudah diakses pada rezim sparse training, seperti yang mengikuti pruning, di mana sparsitas model dapat dimanfaatkan. Karya ini secara solid menunjukkan potensi algoritma kuantum untuk pembelajaran mesin tetapi juga menyoroti perlunya penelitian lebih lanjut untuk menggeneralisasi di luar kondisi spesifik dan untuk mengatasi tantangan praktis dalam implementasi.

Siapa yang sebaiknya membaca

Pembaca Research Digest dan praktisi rumpun ini.

Membuka konten memberโ€ฆ