Regressão Polinomial

Pretende-se aplicar uma regressão polinomial aos dados obtidos com a intenção de os suavizar (e interpolar). Suponha-se P_mn(X, Y) $\in$ $\mathscr$P^mn o elemento de ordem mn de uma base de polinómios bivariados^A.1. Pode-se então escrever o polinómio numa combinação linear de termos desta base:

P(X, Y) = $$\sum_{{i,j=0}}^{N}$$a_ijP_ij(X, Y)

onde N é a ordem máxima do polinómio pretendido nas duas variáveis.

Supondo que se pretende minimizar o erro quadrático da regressão, pode-se definir uma medida de erro

e_l² = $$\left(\vphantom{P(X_l,Y_l)-Z_l}\right.$$P(X_l, Y_l) - Z_l$$\left.\vphantom{P(X_l,Y_l)-Z_l}\right)^{2}_{}$$ = $$\left(\vphantom{\sum_{i,j=0}^N a_{ij} P_{ij}(X,Y)-Z_l}\right.$$$$\sum_{{i,j=0}}^{N}$$a_ijP_ij(X, Y) - Z_l$$\left.\vphantom{\sum_{i,j=0}^N a_{ij} P_{ij}(X,Y)-Z_l}\right)^{2}_{}$$

e então temos o erro global (onde (X_l, Y_l, Z_l) é a amostra l das K às quais pretendemos aplicar a regressão)

E = $$\sum_{{l=1}}^{K}$$e_l² = $$\sum_{{l=1}}^{K}$$$$\left(\vphantom{\sum_{i,j=0}^N a_{ij} P_{ij}(X_l,Y_l)-Z_l}\right.$$$$\sum_{{i,j=0}}^{N}$$a_ijP_ij(X_l, Y_l) - Z_l$$\left.\vphantom{\sum_{i,j=0}^N a_{ij} P_{ij}(X_l,Y_l)-Z_l}\right)^{2}_{}$$

Dado que se pretende minimizar um funcional quadrático (sempre positivo), sem restrições, temos a condição necessária e suficiente de optimalidade

$${\frac{{\partial E}}{{\partial a_{ij}}}}$$ = 0

Então

$${\frac{{\partial E}}{{\partial a_{mn}}}} \sum_{{l=1}}^{K} \left(\vphantom{\sum_{i,j=0}^N a_{ij} P_{ij}(X_l,Y_l)-Z_l}\right. \sum_{{i,j=0}}^{N} \left.\vphantom{\sum_{i,j=0}^N a_{ij} P_{ij}(X_l,Y_l)-Z_l}\right)$$

$$\Leftrightarrow \sum_{{i,j=0}}^{N} \sum_{{l=1}}^{K} \sum_{{l=1}}^{K}$$

Definindo então N² equações lineares com N² variáveis, que podem ser reescritas em forma matricial, onde para abreviar se usa a notação ( ^. ) $\equiv$ $\sum_{{l=1}}^{K}$( ^. ) e P_ij $\equiv$ P_ij(X_l, Y_l):

$$\underbrace{{ \begin{bmatrix} \left( P_{00}^2 \right) & \left( P_... ...NN} \right)&\ldots & \left( P_{NN}^2 \right)\\ \end{bmatrix}}}_{\mathbf}^{}\,$$A$$\underbrace{{ \begin{bmatrix} a_{00}\\ a_{10}\\ a_{01}\\ \vdots\\ a_{NN} \end{bmatrix}}}_{\mathbf}^{}\,$$x = $$\underbrace{{ \begin{bmatrix} \left( Z_l P_{00}\right)\\ \left(... ...ght)\\ \vdots\\ \left( Z_l P_{NN}\right)\\ \end{bmatrix}}}_{\mathbf}^{}\,$$b

A solução procurada é então obtida através de x = A^-1b. De notar porém que o sistema é muito mal condicionado numericamente como se descreve de seguida. Suponha-se que se pretende calcular um polinómio de ordem 5 que melhor se ajuste a dados que apresentem uma variação de 10ⁿ unidades em cada variável. Se se usar a base de polinómios ``convencional'' ( P_ij(X, Y) = XⁱY^j) a diferença de ordem das entradas da última linha da matriz face à primeira seria da ordem de 10¹⁰ⁿ, tornando as linhas quase linearmente dependentes devido a problemas de precisão finita. De forma a aliviar este problema (ver [16]), escolhe-se uma base de polinómios ortogonal num intervalo de -1 a 1 (em particular escolhem-se polinómios de Legendre), ou seja:

$$\int_{{-1}}^{{1}} \int_{{-1}}^{{1}} \delta_{{im}}^{} \delta_{{jn}}^{} \forall \in$$ (A.1)

onde c_ij são constantes diferentes de 0 e $\delta_{{ij}}^{}$ é a função delta de kronecker^A.2. Se c_ij = 1  $\forall$i, j $\in$ [0..N] a base diz-se ortonormada. Repare-se que assim, se os dados forem uniformemente distribuídos no intervalo (como é o nosso caso), a matriz A será quase diagonal e portanto não singular.

Repare-se que se pode usar a base de polinómios de uma variável para construir os polinómios bivariados, ou seja P_ij(X, Y) = P_i(X)P_j(Y). É fácil demonstrar que a construção resulta em polinómios ortogonais:

$$\int_{{-1}}^{{1}} \int_{{-1}}^{{1}} \int_{{-1}}^{{1}} \int_{{-1}}^{{1}}$$

$$\int_{{-1}}^{{1}} \int_{{-1}}^{{1}}$$

$$\delta_{{jn}}^{} \int_{{-1}}^{{1}}$$

$$\delta_{{im}}^{} \delta_{{jn}}^{}$$

Alternativamente, os polinómios ortogonais (univariados ou bivariados) podem ser construídos através do processo de ortogonalização de Gram-Schmidt aplicado à base já previamente designada por ``convencional''. Apresenta-se de seguida a base ortogonal de polinómios univariados usada (Legendre):

P₀(X) = 1

P₁(X) = X

$${\frac{{1}}{{2}}}$$ P₂(X)

$${\frac{{1}}{{2}}}$$ P₃(X)

$${\frac{{1}}{{8}}}$$ P₄(X)

$${\frac{{1}}{{8}}}$$ P₅(X)

$${\frac{{1}}{{16}}}$$ P₆(X)

$${\frac{{1}}{{16}}}$$ P₇(X)

$${\frac{{1}}{{128}}}$$ P₈(X)

$${\frac{{1}}{{128}}}$$ P₉(X)

Repare-se porém que a base é ortogonal apenas no intervalo X $\in$ [- 1..1] portanto exige um pré-escalamento dos dados de entrada a este intervalo. No caso de polinómios bivariados o mesmo se aplica às duas variáveis. Repare-se que se os dados estiverem espalhados uniformemente neste intervalo, a condição A.1 é aproximada (tanto melhor quanto mais densos forem os dados), tornando a matriz A praticamente diagonal. Assim, a complexidade de computação diminui substancialmente, sendo a inversão da matriz de tamanho (N + 1) x (N + 1) reduzida a N + 1 divisões.

Uma particularidade adicional do uso de polinómios ortogonais sobre dados uniformemente distribuídos no intervalo [- 1..1] x [- 1..1] é que a solução para uma regressão de certa ordem inclui toda a informação para regressões de ordem inferior. Em particular, se

$$\left[\vphantom{\begin{array}{ccccccc}a_{00} & a_{01} & a_{10} & \ldots & a_{nn}\end{array}}\right.$$$$\begin{array}{ccccccc}a_{00} & a_{01} & a_{10} & \ldots & a_{nn}\end{array}$$$$\left.\vphantom{\begin{array}{ccccccc}a_{00} & a_{01} & a_{10} & \ldots & a_{nn}\end{array}}\right]^{T}_{}$$

for a solução para uma regressão de determinada ordem,

$$\left[\vphantom{\begin{array}{ccccccc}a_{00} & a_{01} & a_{10} & \ldots&a_{ll}\end{array}}\right.$$$$\begin{array}{ccccccc}a_{00} & a_{01} & a_{10} & \ldots&a_{ll}\end{array}$$$$\left.\vphantom{\begin{array}{ccccccc}a_{00} & a_{01} & a_{10} & \ldots&a_{ll}\end{array}}\right]^{T}_{}$$

será a solução para a regressão de ordem l, onde l < n.