Multiarmed Bandits

MAC5005 - Fundamentos Matemáticos do Aprendizado Sequencial e Online

Victor S. Portella

IME-USP

2026-04-06

Relembrando - Predição com Ajuda de Experts Convexificado

  • O Jogador/Algoritmo escolhe uma distribuição \(p_t \in \Delta_d\) sobre os experts, onde \[ \Delta_d = \Big \{ p \in [0,1]^d \; \colon\; \sum_{i=1}^d p_i = 1 \Big \} \]
  • O Adversário escolhe custos1 \(\ell_t \in [-1,1]^d\) para os experts
  • O Jogador/Algoritmo sofre o custo esperado \(\ell_t^\T p_t\)

Relembrando - Regret e MWU

Regret: comparar custo com o do melhor expert do jogo. \[ \Regret(T) = \sum_{t=1}^T \ell_t^\T p_t - \min_{i \in [d]} \sum_{t = 1}^T \ell_t(i) \]

Objetivo: garantir \(\Regret(T)/T \to 0\). \[ \frac{\Regret(T)}{T} \longrightarrow 0 \quad \text{quando} \quad T \to \infty. \]

MWU\((T, \eta)\)

Defina \(w_1 := \ones\) Para \(t = 1, \dotsc, T\):

  • Jogador revela \(p_t = \frac{w_t}{\lVert w_t\rVert_1} \in \Delta_d\)
  • Adversário revela os custos \(\ell_t \in [0,1]^d\) e Jogador atualiza os pesos \(w_{t+1}\): \[ w_{t+1}(i) := w_t(i) \cdot \exp(-\eta \ell_t(i)) \quad \text{para todo}~i \in [d] \]

Relembrando - Regret de MWU

Para \(\eta > 0\), o algoritmo MWU(\(T, \eta\)) garante \[ \Regret(T) \leq \frac{\ln d}{\eta} + \frac{\eta T}{2} \] Em particular, se \(\eta = \sqrt{2 \ln d/T}\) \[ \Regret(T) \leq \sqrt{2 T \ln d}. \]

Relembrando - O Algoritmo AdaBoost

Inicialização: Pesos uniformes \(p_1(i) = \frac{1}{m}\) para \(i \in [m]\).

Para cada rodada \(t = 1, \dotsc, T\):

  1. O Algoritmo obtém a hipótese \(h_t = \mathrm{WL}(p_t, S)\)
  2. Define-se a importância da hipótese (tamanho do passo): \[ \eta_t := \frac{1}{2} \log\Big(\frac{1 - \eps_t}{\eps_t}\Big) \quad \text{onde}~ \eps_t := L_S(h_t) \]
  3. Algoritmo calcula \(p_{t+1}\) via MWU com passo \(\eta_{t}\) e \(\ell_{t,i} = y_i h_t(x_i)\) na rodada \(t\)

Saída: Voto da maioria ponderado pelo peso de cada hipótese: \[ h_S(x) = \mathrm{sign}\Big(\sum_{t=1}^T \eta_t h_t(x)\Big) \]

Relembrando Análise de AdaBoost

No caso de AdaBoost, lembrando \(\eps_t = L_S(h_t)\), temos \[ \begin{aligned} L_S(h_S) \leq \exp \Big( -2 \sum_{t = 1}^T \Big( \frac{1}{2} - \eps_t\Big)^2\Big) \leq \exp\big( - 2 \gamma^2 T \big). \end{aligned} \]

Extra - Dimensão VC das Hipósteses de Boosting

Boosting devolve uma hipótese com \(L_S(h_S) = 0\). Mas será que generaliza?

Defina \(d := \VC(\cB)\) e \[ \cH_T := \Bigg\{ \mathrm{sign}\Big(\sum_{t = 1}^T \eta_t h_t\Big) \;\colon\; \eta_t \geq 0, h_t \in \cB~\text{para todo}~t \in [T]\Bigg\}. \] Então \[ \VC(\cH_T) \leq 2(d+1)(T+1) \lg((T + 1)e) \]

Extra - Dimensão VC não é o Fim da História

Figura do MRT

Multi-Armed Bandit

Bandits: Experts com Menos Informação

No problema dos experts: Jogador vê os custos \(\ell_t\) de todos os experts

Se os experts são ações na bolsa, isso faz sentido

Se os experts são possíveis tratamentos médicos, faz menos sentido

Multi-armed Bandits: Similar ao problema dos experts, mas na rodada \(t\)

Jogador escolhe \(i_t \in [d]\) (de forma aleatorizada)]

Adversário revela somente \(\ell_t(i_t) \in [d]\) para o Jogador

Multi-Armed Bandit

  • O Jogador escolhe uma distribuição \(p_t \in \Delta_d\) sobre os experts, onde \[ \Delta_d = \Big \{ p \in [0,1]^d \; \colon\; \sum_{i=1}^d p_i = 1 \Big \} \]
  • O Adversário escolhe custos \(\ell_t \in [-1,1]^d\) para os experts
  • O Jogador escolhe \(A_t \in [d]\) com \[ \prob[A_t = i] = p_t(i) \quad \text{para todo}~i \in [d] \]
  • O Jogador sofre o custo \(\ell_t(A_t)\)

Queremos agora controlar o pseudo-regret: (discussão em sala) \[ \PRegret(T) = \expect\Big[\sum_{t = 1}^T \ell_t(A_t) \Big] - \min_{i \in [d]} \expect\Big[\sum_{t = 1}^T \ell_t(i)\Big] \]

Bandits via MWU - Algoritmo EXP3

Ideia: Na rodada \(t\), criar um estimador \(\tilde{\ell}_t\) dos custos e usar MWU. Esse algoritmo é conhecido como EXP3.

Inicialização: Pesos uniformes \(p_1(i) = \frac{1}{d}\) para \(i \in [d]\).

Para cada rodada \(t = 1, \dotsc, T\):

  • Sorteamos \(A_t \sim p_t\) e sofremos o custo \(\ell_t(A_t)\)
  • Definimos um estimador \(\tilde{\ell}_t \in [0,1]^d\) \[ \tilde{\ell}_t(i) = \ones[A_t = i] \frac{\ell_t(i)}{p_t(i)} \qquad \text{para todo}~i \in [d]. \]
  • Atualizamos os pesos \(p_{t+1} \in \Delta_{d}\) usando \(\tilde{\ell}_t\) via MWU(\(\eta, T\)).

Re-Revisitrando a Análise de MWU

Para \(\ell_t \in [-1,1]\) e qualquer \(E \subseteq [d]\) \[ \begin{aligned} \Phi_{t+1} - \Phi_{t} &= \log \Big( \sum_{i = 1}^d p_{t,i} \exp(- \eta \ell_{t,i})\Big) \leq - \eta \ell_t^\T p_t + \frac{\eta^2}{2} \sum_{i = 1}^d\ell_t(i)^2 p_t(i), \\ \Phi_{T+1} &\geq \ln |E|- \eta \max_{i \in E} \sum_{t = 1}^T \ell_t(i) \quad \text{e} \quad \Phi_1 = \ln d. \end{aligned} \] Em particular, para EXP3 temos, para todo \(i \in [d]\) \[ \expect \Big[ \sum_{t = 1}^T \tilde{\ell}_t^\T p_t - \sum_{t = 1}^T \tilde{\ell}_t(i) \Big] \leq \frac{\ln d}{\eta} + \frac{\eta}{2} \sum_{t = 1}^T \expect\Big[\sum_{i = 1}^d p_{t}(i)\tilde{\ell}_t(i)^2\Big]. \]

Estimador não Viesado de \(\ell_t\)

Se \[ \tilde{\ell}_t(i) = \ones[A_t = i] \frac{\ell_t(i)}{\tilde{p}_t(i)} \qquad \text{para todo}~i \in [d]. \] então \[ \expect[\tilde{\ell}_t] = \ell_t \qquad e \qquad \expect\Big[\sum_{i = 1}^d p_{t}(i)\tilde{\ell}_t(i)^2\Big] \leq d. \]

Temos que \[ \PRegret(T) \leq \frac{\ln d}{\eta} + \frac{\eta T d}{2}. \] Em particular, se \(\eta = \sqrt{2 \ln d/T d}\), então \[ \PRegret(T) \leq \sqrt{2 T d \ln d}. \]