Aplicações de MWU (cont.)

MAC5005 - Fundamentos Matemáticos do Aprendizado Sequencial e Online

Victor S. Portella

IME-USP

2026-03-16

Relembrando - Predição com Ajuda de Experts Convexificado

O Jogador/Algoritmo escolhe uma distribuição \(p_t \in \Delta_d\) sobre os experts, onde \[ \Delta_d = \Big \{ p \in [0,1]^d \; \colon\; \sum_{i=1}^d p_i = 1 \Big \} \]
O Adversário escolhe custos¹ \(\ell_t \in [-1,1]^d\) para os experts
O Jogador/Algoritmo sofre o custo esperado \(\ell_t^\T p_t\)

Relembrando - Regret e MWU

Regret: comparar custo com o do melhor expert do jogo. \[ \Regret(T) = \sum_{t=1}^T \ell_t^\T p_t - \min_{i \in [d]} \sum_{t = 1}^T \ell_t(i) \]

Objetivo: garantir \(\Regret(T)/T \to 0\). \[ \frac{\Regret(T)}{T} \longrightarrow 0 \quad \text{quando} \quad T \to \infty. \]

MWU\((T, \eta)\)

Defina \(w_1 := \ones\) Para \(t = 1, \dotsc, T\):

Jogador revela \(p_t = \frac{w_t}{\lVert w_t\rVert_1} \in \Delta_d\)
Adversário revela os custos \(\ell_t \in [0,1]^d\) e Jogador atualiza os pesos \(w_{t+1}\): \[ w_{t+1}(i) := w_t(i) \cdot \exp(-\eta \ell_t(i)) \quad \text{para todo}~i \in [d] \]

Relembrando - Regret de MWU

Para \(\eta > 0\), o algoritmo MWU(\(T, \eta\)) garante \[ \Regret(T) \leq \frac{\ln d}{\eta} + \frac{\eta T}{2} \] Em particular, se \(\eta = \sqrt{2 \ln d/T}\) \[ \Regret(T) \leq \sqrt{2 T \ln d}. \]

Relembrando - Jogos de Soma Zero

Jogador linha seleciona uma distribuição \(q \in \Delta_m\) sobre as linhas
Jogador coluna seleciona uma distribuição \(p \in \Delta_n\) sobre as colunas
A recompensa (esperada) do jogador linha é:

\[ \sum_{i = 1}^m \sum_{j = 1}^n A(i,j) q_i p_j = q^\T A p \]

Relembrando - Equilíbrio Aproximado

Jogador coluna joga sua estratégia atual \(p_t\) (começa com \(p_1 = \frac{1}{n} \mathbb{1}\))
Jogador linha escolhe \(q_t = e_j\) onde a linha \(j\) maximiza \(e_j^\T A p_t\)
Jogador coluna atualiza sua estratégia com MWU

Defina \(\displaystyle \bar{p} = \frac{1}{T} \sum_{t = 1}^T p_t\) e \(\displaystyle \bar{q} = \frac{1}{T} \sum_{t = 1}^T q_t\). Então, para todo \(q \in \Delta_m, p \in \Delta_n\),

\[ \begin{aligned} q^\T A \bar{p} &\leq \frac{\Regret(T)}{T} + \max_q \min_p q^\T A p \quad \text{e} \\ \bar{q}^\T A p &\geq - \frac{\Regret(T)}{T} + \min_p \max_q q^\T A p \end{aligned} % \displaystyle \text{OPT} - \frac{\text{Regret}(T)}{T} \leq \bar{q}^\T A \bar{p} \leq \text{OPT} + \frac{\text{Regret}(T)}{T} \] Em particular, \(\max_{p} \min_{q } q^\T A p = \min_{q} \max_{p} q^\T A p\) e, se \(T > 2 \ln m/\eps^2\), \(\Regret(T)/T \leq \eps\).

Relembrando - Aprendizado Fraco e Boosting

Uma classe de hipóteses \(\cH\) é fracamente PAC-aprendível (weakly PAC learnable) se existe um algoritmo \(A \colon (\cX \times \cY)^* \to \cB\) (com \(\cB \subseteq \cY^{\cX}\)) e uma constante \(\gamma > 0\) tais que

Para todo \(\delta\) > 0,
Para toda distribuição \(\cD\) sobre \(\cX \times \cY\) realizada por \(\cH\),
Existe \(M(\delta) > 0\) tal que
Se \(m > M(\delta)\) e \(S \sim \cD^m\)

então \[ \prob \Big( L_{\cD}(A(S)) \leq \frac{1}{2} - \gamma \Big) > 1 - \delta. \]

Chamamos \(A\) de um weak learner e \(\cB\) de conjunto de classificadores base.

A principal diferença:

PAC-aprendivel: erro de generalizacão arbitrariamente pequeno (\(\leq \eps\))
Fracamente PAC-aprendivel: erro de generalizacão um pouco (\(\gamma\)) melhor que jogar uma moeda

Relembrando - O Oráculo Weak Learner

Vamos assumir que temos acesso a um oráculo (uma sub-rotina) que resolve o problema do aprendizado fraco no conjunto de treino.

A função \(\mathrm{WL}\) recebe

conjunto de treino \(S = ((x_1, y_1), \dotsc, (x_m, y_m))\);
uma distribuição \(p \in \Delta_m\) sobre os exemplos de \(S\);

e produz uma hipótese \(h := \mathrm{WL}(p, S)\) tal que, com pr

\[ L_{p}(h) = \sum_{i=1}^m p_t(i) \ones[h_t(x_i) \neq y_i] \leq \frac{1}{2} - \gamma \]

A definição de fracamente PAC-aprendível garante algoritmo que escolhe uma hipótese com \(L_{p}\) baixo com probabilidade \(\geq 1-\delta\). Por simplicidade, estamos ignorando isso (\(\delta = 0\))

Relembrando - Boosting básico com MWU

IMPORTANTE: Para simplificar, vamos assumir \(\cY =\{-1,1\}\) ao inés de \(\cY = \{0,1\}\)

Algoritmo passa a distribuição atual \(p_t \in \Delta_m\) (começa com \(p_1 = \frac{1}{m} \mathbb{1}\))
Weak Learner escolhe uma hipótese \(h_t\) que performa bem nos dados pesados por \(p_t\)
Algoritmo atualiza a distribuição sobre os exemplos com MWU: \[ p_{t+1}(i) \propto p_t(i) \exp(-\eta \ell_t(i)) \quad \text{onde} \quad \ell_t(i) = h_t(x_i) y_i \] Saída: A hipótese final \(h_{S}(x)\) é dada pelo voto da maioria: \[ h_{S}(x) := \mathrm{majority}\big(h_1(x), h_2(x), \dots, h_T(x)\big) \]

Se o weak learner acerta o \(i\)-ésimo exemplo, \(\ell_t(i) = 1\) e o peso \(p_{t+1}(i)\) diminui.

Relembrando - Exemplo em Figura

Relembrando - Análise de Boosting via MWU

\[ \Regret(T) \leq \frac{\ln d}{\eta} + \frac{\eta T}{2} \]

Se \(h_S\) é a hipótese gerada pelo Boosting básico com \(\eta = \gamma\), então \[ T > \frac{\ln m}{\gamma^2} \implies L_{S}(h_{S}) = \frac{1}{m}\sum_{i = 1}^m \ones[h_{S}(x_i)\neq y_i] = 0. \]

Pergunta: Se \(T \leq \ln m/\gamma^2\), não temos nenhuma garantia em \(L_S(h_S)\)?

Melhorando a Análise de Boosting e o Algoritmo AdaBoost

Análise Melhorada de MWU

Lembre do potencial no MWU \[ \Phi_t := \log \Big( \sum_{i = 1}^d w_{t,i} \Big) \]

Para \(\ell_t \in [-1,1]\) e qualquer \(E \subseteq [d]\) \[ \begin{aligned} \Phi_{t+1} - \Phi_{t} &= \log \Big( \sum_{i = 1}^d p_{t,i} \exp(- \eta \ell_{t,i})\Big) \leq - \eta \ell_t^\T p_t + \frac{\eta^2}{2}, \\ \Phi_{T+1} &\geq \ln |E|- \eta \max_{i \in E} \sum_{t = 1}^T \ell_t(i) \quad \text{e} \quad \Phi_1 = \ln d. \end{aligned} \] Em particular, \[ \sum_{t = 1}^T \ell_t^\T p_t - \max_{i \in [E]} \sum_{t = 1}^T \ell_t(i) \leq \frac{\ln(d/|E|)}{\eta} + \frac{\eta T}{2} \]

Análise Melhorada de Boosting Básico

Para qualquer \(E \subseteq [d]\), \[ \sum_{t = 1}^T \ell_t^\T p_t - \min_{i \in [E]} \sum_{t = 1}^T \ell_t(i) \leq \frac{\ln(d/|E|)}{\eta} + \frac{\eta T}{2}. \]

Se \(h_S\) é a hipótese gerada pelo Boosting básico com \(\eta = \gamma\), então \[ L_{S}(h_{S}) \leq \exp(- T \gamma^2) \]

Pergunta: Temos como fazer boosting sem saber o valor de \(\gamma\)?

O Algoritmo AdaBoost

Inicialização: Pesos uniformes \(p_1(i) = \frac{1}{m}\) para \(i \in [m]\).

Para cada rodada \(t = 1, \dotsc, T\):

O Algoritmo obtém a hipótese \(h_t = \mathrm{WL}(p_t, S)\)
Define-se a importância da hipótese (tamanho do passo): \[ \eta_t := \frac{1}{2} \log\Big(\frac{1 - \eps_t}{\eps_t}\Big) \quad \text{onde}~ \eps_t := L_S(h_t) \]
Algoritmo calcula \(p_{t+1}\) via MWU com passo \(\eta_{t}\) e \(\ell_{t,i} = y_i h_t(x_i)\) na rodada \(t\)

Saída: Voto da maioria ponderado pelo peso de cada hipótese: \[ h_S(x) = \mathrm{sign}\Big(\sum_{t=1}^T \eta_t h_t(x)\Big) \]

Análise de AdaBoost

No caso de AdaBoost, lembrando \(\eps_t = L_S(h_t)\), temos \[ \begin{aligned} L_S(h_S) \leq \exp \Big( -2 \sum_{t = 1}^T \Big( \frac{1}{2} - \eps_t\Big)^2\Big) \leq \exp\big( - 2 \gamma^2 T \big). \end{aligned} \]

Extra - Dimensão VC das Hipósteses de Boosting

Boosting devolve uma hipótese com \(L_S(h_S) = 0\). Mas será que generaliza?

Defina \(d := \VC(\cB)\) e \[ \cH_T := \Bigg\{ \mathrm{sign}\Big(\sum_{t = 1}^T \eta_t h_t\Big) \;\colon\; \eta_t \geq 0, h_t \in \cB~\text{para todo}~t \in [T]\Bigg\}. \] Então \[ \VC(\cH_T) \leq 2(d+1)(T+1) \lg((T + 1)e) \]

Extra - Dimensão VC não é o Fim da História

Multi-Armed Bandit

Bandits: Experts com Menos Informação

No problema dos experts: Jogador vê os custos \(\ell_t\) de todos os experts

Se os experts são ações na bolsa, isso faz sentido

Se os experts são possíveis tratamentos médicos, faz menos sentido

Multi-armed Bandits: Similar ao problema dos experts, mas na rodada \(t\)

Jogador escolhe \(i_t \in [d]\) (de forma aleatorizada)]

Adversário revela somente \(\ell_t(i_t) \in [d]\) para o Jogador

Multi-Armed Bandit

O Jogador escolhe uma distribuição \(p_t \in \Delta_d\) sobre os experts, onde \[ \Delta_d = \Big \{ p \in [0,1]^d \; \colon\; \sum_{i=1}^d p_i = 1 \Big \} \]
O Adversário escolhe custos \(\ell_t \in [-1,1]^d\) para os experts
O Jogador escolhe \(A_t \in [d]\) com \[ \prob[A_t = i] = p_t(i) \quad \text{para todo}~i \in [d] \]
O Jogador sofre o custo \(\ell_t(A_t)\)

Queremos agora controlar o pseudo-regret: (discussão em sala) \[ \PRegret(T) = \expect\Big[\sum_{t = 1}^T \ell_t(A_t) \Big] - \min_{i \in [d]} \expect\Big[\sum_{t = 1}^T \ell_t(i)\Big] \]

Bandits via MWU - Algoritmo EXP3

Ideia: Na rodada \(t\), criar um estimador \(\tilde{\ell}_t\) dos custos e usar MWU. Esse algoritmo é conhecido como EXP3.

Inicialização: Pesos uniformes \(p_1(i) = \frac{1}{d}\) para \(i \in [d]\).

Para cada rodada \(t = 1, \dotsc, T\):

Sorteamos \(A_t \sim p_t\) e sofremos o custo \(\ell_t(A_t)\)
Definimos um estimador \(\tilde{\ell}_t \in [0,1]^d\) \[ \tilde{\ell}_t(i) = \ones[A_t = i] \frac{\ell_t(i)}{p_t(i)} \qquad \text{para todo}~i \in [d]. \]
Atualizamos os pesos \(p_{t+1} \in \Delta_{d}\) usando \(\tilde{\ell}_t\) via MWU(\(\eta, T\)).

Re-Revisitrando a Análise de MWU

Para \(\ell_t \in [-1,1]\) e qualquer \(E \subseteq [d]\) \[ \begin{aligned} \Phi_{t+1} - \Phi_{t} &= \log \Big( \sum_{i = 1}^d p_{t,i} \exp(- \eta \ell_{t,i})\Big) \leq - \eta \ell_t^\T p_t + \frac{\eta^2}{2} \sum_{i = 1}^d\ell_t(i)^2 p_t(i), \\ \Phi_{T+1} &\geq \ln |E|- \eta \max_{i \in E} \sum_{t = 1}^T \ell_t(i) \quad \text{e} \quad \Phi_1 = \ln d. \end{aligned} \] Em particular, para EXP3 temos, para todo \(i \in [d]\) \[ \expect \Big[ \sum_{t = 1}^T \tilde{\ell}_t^\T p_t - \sum_{t = 1}^T \tilde{\ell}_t(i) \Big] \leq \frac{\ln d}{\eta} + \frac{\eta}{2} \sum_{t = 1}^T \expect\Big[\sum_{i = 1}^d p_{t}(i)\tilde{\ell}_t(i)^2\Big]. \]

Estimador não Viesado de \(\ell_t\)

Se \[ \tilde{\ell}_t(i) = \ones[A_t = i] \frac{\ell_t(i)}{\tilde{p}_t(i)} \qquad \text{para todo}~i \in [d]. \] então \[ \expect[\tilde{\ell}_t] = \ell_t \qquad e \qquad \expect\Big[\sum_{i = 1}^d p_{t}(i)\tilde{\ell}_t(i)^2\Big] \leq d. \]

Temos que \[ \PRegret(T) \leq \frac{\ln d}{\eta} + \frac{\eta T d}{2}. \] Em particular, se \(\eta = \sqrt{2 \ln d/T d}\), entãp \(\PRegret(T) \leq \sqrt{2 T d \ln d}\).