Editorial Pendidikan
Open AccessOA2023
Reinforcement learning nonstasioner: berkah dari (lebih banyak) optimisme
Makalah ini mengembangkan algoritma untuk reinforcement learning tanpa diskonto dalam proses keputusan Markov nonstasioner dengan ketidakpastian model, memperkenalkan teknik confidence-widening untuk memasukkan optimisme tambahan dan mencapai batas dynamic regret yang rendah.
Wang Chi Cheung; D. Simchi-Levi; Rui-Hao Zhuยท Management Sciencesยท 2023ยท DOI 10.1287/mnsc.2023.4704
Masalah inti
Makalah ini membahas reinforcement learning (RL) tanpa diskonto dalam proses keputusan Markov (MDP) ketika distribusi imbalan dan transisi keadaan sama-sama berubah seiring waktu, dengan tunduk pada variation budget. Dimotivasi oleh aplikasi riset operasi seperti pengendalian persediaan dan real-time bidding, penulis mempertimbangkan ketidakpastian model dan pergeseran temporal. Tantangan utamanya adalah bahwa dalam kondisi nonstasioner, data historis dapat secara keliru menunjukkan bahwa transisi keadaan tertentu jarang terjadi, sehingga melemahkan prinsip optimisme konvensional dalam menghadapi ketidakpastian. Tujuannya adalah merancang algoritma yang mencapai dynamic regret rendah meskipun ada pergeseran tersebut.
Inovasi
Penulis mengusulkan dua algoritma: Sliding Window Upper Confidence Bound for Reinforcement Learning with Confidence-Widening (SWUCRL2-CW) dan Bandit-over-Reinforcement Learning (BO-RL). SWUCRL2-CW menggunakan sliding window untuk menangani nonstasioneritas dan memperkenalkan teknik confidence-widening yang menambahkan optimisme ekstra untuk melawan data historis yang menyesatkan. Teknik ini memastikan algoritma tetap optimistis terhadap pasangan keadaan-aksi yang jarang dikunjungi, bahkan jika data terbaru menunjukkan probabilitas transisi yang rendah. BO-RL secara adaptif menyetel ukuran jendela dan parameter confidence-widening tanpa mengetahui variation budget, sehingga mencapai batas dynamic regret yang sama secara parameter-free. Dynamic regret diukur terhadap rangkaian kebijakan pembanding yang dapat beradaptasi dengan lingkungan yang berubah. Variation budget dikuantifikasi menggunakan metrik yang sesuai atas total variasi distribusi imbalan dan transisi.
Pendahuluan
Makalah ini membahas reinforcement learning (RL) tanpa diskonto dalam proses keputusan Markov (MDP) ketika distribusi imbalan dan transisi keadaan sama-sama berubah seiring waktu, dengan tunduk pada variation budget. Dimotivasi oleh aplikasi riset operasi seperti pengendalian persediaan dan real-time bidding, penulis mempertimbangkan ketidakpastian model dan pergeseran temporal. Tantangan utamanya adalah bahwa dalam kondisi nonstasioner, data historis dapat secara keliru menunjukkan bahwa transisi keadaan tertentu jarang terjadi, sehingga melemahkan prinsip optimisme konvensional dalam menghadapi ketidakpastian. Tujuannya adalah merancang algoritma yang mencapai dynamic regret rendah meskipun ada pergeseran tersebut.
Mengapa penting
Wawasan kuncinya adalah bahwa dalam kondisi nonstasioner, data historis dapat menyesatkan sehingga optimisme konvensional gagal. Teknik confidence-widening mengatasinya dengan memasukkan optimisme tambahan, yang terbukti bermanfaat. Algoritma BO-RL yang parameter-free membuat pendekatan ini praktis dengan menghilangkan kebutuhan mengetahui variation budget. Penerapan pada pengendalian persediaan menunjukkan fleksibilitas kerangka kerja ini. Makalah ini diterima oleh J. George Shanthikumar untuk departemen Data Science, dan didanai oleh MIT Data Science Laboratory, MITโIBM partnership in AI, serta Singapore MOE Tier 2 Grant MOE-T2EP20121-0012. Materi suplemen tersedia pada DOI yang tercantum.
Siapa yang sebaiknya membaca
Pembaca Research Digest dan praktisi rumpun ini.
Membuka konten memberโฆ