Editorial Ilmu Komputer & AI
Open AccessOA2023
TPU v4: Superkomputer yang Dapat Dikonfigurasi Ulang Secara Optik untuk Machine Learning dengan Dukungan Perangkat Keras untuk Embedding
TPU v4 adalah superkomputer Google yang dapat dikonfigurasi ulang secara optik untuk machine learning, mencapai kinerja 2,1x lebih tinggi daripada TPU v3 dan kinerja/Watt 2,7x lebih baik. Sistem ini memperkenalkan SparseCore untuk model yang berat embedding dan memakai optical circuit switch untuk interkoneksi yang fleksibel dan berdaya rendah.
Norman P. Jouppi; George Kurian; Sheng Li; Peter C. Ma; R. Nagarajan; Lifeng Nai; Nishant Patil; Suvinay Subramanian; Andy Swing; Brian Towles; Cliff Young; Xiaoping Zhou; Zong-Wei Zhou; David A. Pattersonยท International Symposium on Computer Architectureยท 2023ยท DOI 10.1145/3579371.3589350
Masalah inti
Evolusi pesat model machine learning (ML) telah menyebabkan perubahan radikal dan cepat pada beban kerja produksi. Untuk memenuhi tuntutan tersebut, Google mengembangkan TPU v4, arsitektur domain-spesifik (DSA) kelima dan superkomputer ketiga untuk model ML. Inovasi utamanya adalah penggunaan optical circuit switch (OCS) untuk mengonfigurasi ulang topologi interkoneksi secara dinamis, sehingga meningkatkan skala, ketersediaan, utilisasi, modularitas, penerapan, keamanan, daya, dan kinerja. Pengguna juga dapat memilih topologi twisted 3D torus. Selain itu, setiap TPU v4 menyertakan SparseCore, prosesor dataflow yang mempercepat model yang bergantung pada embedding sebesar 5xโ7x dengan hanya memakai 5% area die dan daya. Dioperasikan sejak 2020, TPU v4 mengungguli TPU v3 sebesar 2,1x dan meningkatkan kinerja/Watt sebesar 2,7x. Superkomputer TPU v4 berukuran 4x lebih besar (4096 chip) dan hampir 10x lebih cepat secara keseluruhan, sehingga model bahasa besar dapat dilatih pada ~60% FLOPS/detik puncak. Dibandingkan sistem sezaman, TPU v4 ~4,3xโ4,5x lebih cepat daripada Graphcore IPU Bow dan 1,2xโ1,7x lebih cepat dengan daya 1,3xโ1,9x lebih rendah daripada Nvidia A100. Lebih lanjut, TPU v4 di warehouse scale computer Google Cloud yang dioptimalkan energinya memakai ~2โ6x lebih sedikit energi dan menghasilkan ~20x lebih sedikit CO2e daripada DSA on-premise.
Inovasi
Arsitektur sistem TPU v4 berpusat pada optical circuit switch (OCS) yang mengonfigurasi ulang topologi interkoneksi secara dinamis. Rekonfigurabilitas optik ini memungkinkan superkomputer beradaptasi dengan tuntutan beban kerja yang beragam, meningkatkan skala, ketersediaan, dan utilisasi. OCS dan komponen optik yang mendasarinya lebih murah, berdaya lebih rendah, dan lebih cepat daripada Infiniband, serta menyusun <5% biaya sistem dan <3% daya sistem. Setiap chip TPU v4 mengintegrasikan SparseCore, yaitu prosesor dataflow yang dirancang khusus untuk mempercepat model yang bergantung pada embedding. SparseCore ini memberikan akselerasi 5xโ7x untuk beban kerja berat embedding dengan hanya mengonsumsi 5% area die dan daya. Superkomputer TPU v4 berskala hingga 4096 chip, 4x lebih besar daripada TPU v3, dan mencapai kinerja keseluruhan hampir 10x lebih cepat. Sistem ini mendukung topologi twisted 3D torus bila diinginkan, dan fleksibilitas serta ketersediaan OCS memungkinkan model bahasa besar dilatih pada rata-rata ~60% FLOPS/detik puncak.
Pendahuluan
Evolusi pesat model machine learning (ML) telah menyebabkan perubahan radikal dan cepat pada beban kerja produksi. Untuk memenuhi tuntutan tersebut, Google mengembangkan TPU v4, arsitektur domain-spesifik (DSA) kelima dan superkomputer ketiga untuk model ML. Inovasi utamanya adalah penggunaan optical circuit switch (OCS) untuk mengonfigurasi ulang topologi interkoneksi secara dinamis, sehingga meningkatkan skala, ketersediaan, utilisasi, modularitas, penerapan, keamanan, daya, dan kinerja. Pengguna juga dapat memilih topologi twisted 3D torus. Selain itu, setiap TPU v4 menyertakan SparseCore, prosesor dataflow yang mempercepat model yang bergantung pada embedding sebesar 5xโ7x dengan hanya memakai 5% area die dan daya. Dioperasikan sejak 2020, TPU v4 mengungguli TPU v3 sebesar 2,1x dan meningkatkan kinerja/Watt sebesar 2,7x. Superkomputer TPU v4 berukuran 4x lebih besar (4096 chip) dan hampir 10x lebih cepat secara keseluruhan, sehingga model bahasa besar dapat dilatih pada ~60% FLOPS/detik puncak. Dibandingkan sistem sezaman, TPU v4 ~4,3xโ4,5x lebih cepat daripada Graphcore IPU Bow dan 1,2xโ1,7x lebih cepat dengan daya 1,3xโ1,9x lebih rendah daripada Nvidia A100. Lebih lanjut, TPU v4 di warehouse scale computer Google Cloud yang dioptimalkan energinya memakai ~2โ6x lebih sedikit energi dan menghasilkan ~20x lebih sedikit CO2e daripada DSA on-premise.
Mengapa penting
Arsitektur TPU v4 menjawab kebutuhan beban kerja ML yang terus berkembang melalui rekonfigurabilitas optik dan perangkat keras khusus untuk embedding. Penggunaan OCS memberikan fleksibilitas dan ketersediaan, memungkinkan sistem beradaptasi dengan kebutuhan model yang berbeda dan meningkatkan utilisasi keseluruhan. SparseCore menunjukkan pendekatan yang tertarget untuk mempercepat model berat embedding, yang umum pada model bahasa besar dan sistem rekomendasi, tanpa menimbulkan biaya area atau daya yang signifikan. Peningkatan kinerja dibandingkan TP v3 dan pesaing seperti Graphcore IPU Bow dan Nvidia A100 menegaskan efektivitas desain DSA Google. Selain itu, efisiensi energi dan emisi CO2e yang lebih rendah dari TPU v4 di warehouse scale computer Google Cloud menekankan pentingnya komputasi berkelanjutan. Kemampuan melatih model bahasa besar pada rata-rata ~60% FLOPS/detik puncak menunjukkan manfaat praktis dari skala dan rekonfigurabilitas optik sistem ini. Secara keseluruhan, TPU v4 merupakan kemajuan signifikan dalam superkomputasi ML, dengan menyeimbangkan kinerja, efisiensi, dan pertimbangan lingkungan.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten memberโฆ