Método Variacional

Sumário

Método Variacional - Parte I

3. Introdução ao Método 3DVar

• O 3DVar é uma das primeiras aplicações do cálculo variacional em meteorologia

  • Objetivo: combinar previsão do modelo e observações para obter a melhor estimativa do estado atmosférico

• Função Custo:

• Gradiente:

• Solução Analítica Exata:^🔸

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.1 Filtragem Vs. Suavização

• Filtragem:

  • Quando o estado do sistema é atualizado a cada passo de tempo, incorporando novas informações (e.g., IO, 3DVar, EnKF)

• Suavização:

  • Quando a atualização do estado do sistema depende de toda a informação, durante todo o período de atualização (e.g., 4DVar)

• 4DDA:

  • Four Dimentional Data Assimilation - leva em conta a variação temporal e espacial dos dados observados durante um intervalo de tempo (e.g., FGAT, 4DVar)

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.2 Histórico e Desenvolvimento

• Décadas de 1970–1980: Ideia variacional começa a ser aplicada à meteorologia
• Década de 1990: implementação do 3DVar no ECMWF e do PSAS^🔸 na NASA
• Motivação: superar as limitações da Interpolação Ótima
  • IO: Atualiza o background ponto a ponto, combinações locais entre previsão e observação
  • 3DVar: Minimiza a função custo de forma global e possui estrutura matricial
  • 4DVar: Estende o 3DVar no tempo e considera a dinâmica do modelo

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.2 Histórico e Desenvolvimento

• Evolução do skill da previsão da altura geopotencial em 500 hPa:
  • No início dos anos 1980, a previsão de 7 dias para o Hemisfério Norte, o skill da previsão não chegava a 50%, sendo inferior a 40% no Hemisfério Sul
  • Com o tempo, a diferença do skill entre os hemisférios diminuiu drasticamente, sendo muito próximos a partir dos anos 2000
  • Apenas a partir da metade dos anos 1990, a previsão de 10 dias começa a atingir algum skill (~30%)...
  • Atualmente, a previsão de 10 dias já alcança skill de 50% para ambos os hemisférios
  • Embora a melhoria tenha sido importante, parece que o skill das previsões mais curtas está alcançando o seu limite - por que?

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.3 Formulação Matemática do 3DVar^🔸

• Hipóteses:

  • O erro do background ( é o estado verdadeiro, gaussiano - média zero e covariância )

  • O erro da observação (gaussiano - média zero e covariância )

• Pelo Teorema de Bayes, temos:

  • Onde:
    • é a verossimilhança
    • é a probabilidade à priori (background)
    • é a probabilidade à posteriori (o que queremos maximizar)

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.3 Formulação Matemática do 3DVar

• A função de verossimilhança expressa o quanto as observações são prováveis dado um estado do :

• Substituindo as expressões gaussianas dos erros do background e das observações , obtemos:

• Maximizar significa obter o estado mais provável e é o mesmo que minimizar o negativo do logartímo dessa probabilidade (o que garante que estaremos minimizando o funcional):

• Portanto, quando consideramos erros gaussianos e estimativa de máxima verossimilhança, essencialmente, estamos fazendo o mesmo que a estimativa de variância mínima

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.4 Características principais

• Três dimensões espaciais (sem dependência temporal)
• Estacionário: fixa no tempo (matriz "estática" ou "climatológica")
• Análise síncrona: usa observações de um único instante (e.g., centradas na janela de 6 horas)
• Métodos de minimização: gradiente descendente, gradiente conjugado
• Robusto e adequado para assimilar milhões de observações em alta resolução espacial
  • Mas temporalmente inconsistente

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.5 O ciclo de assimilação de dados

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.5 O ciclo de assimilação de dados

• O ciclo se inicia com uma previsão de curto prazo (first guess ou background), tipicamente de 6 horas
• As observações são utilizadas para atualizar/corrigir a previsão de curto prazo
  • No método variacional, essa atualização/correção é feita a partir da minimização da função custo
• Ao final deste processo, obtém-se um estado atualizado denominado de análise, o qual é válido para o mesmo horário de referência das observações

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.5 O ciclo de assimilação de dados

• Exemplo:
  • Sistema de Modelagem Numérica e Assimilação de dados (SMNA)
  • SMNA = BAM + GSI
  • 3DVar + FGAT
  • TQ2099L064 (~ 45km de res. horizontal e 64 níveis, coord. vert. híbrida)
  • Operacional XC50

Método Variacional - Parte I

3. Introdução ao Método 3DVar

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.6 Physical-Space Statistical Analysis System (PSAS)

• Equação de análise (semelhante à da IO):

• A solução é separada em duas etapas:

  1. Resolver a parte do peso e da inovação:

  2. Resolver o incremente de análise:

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.6 Physical-Space Statistical Analysis System (PSAS)

• Como o PSAS é um método variacional, é resolvida através da minimização da função custo:

• Note que, em comparação com o 3DVar tradicional, o termo é equivalente a
  • No PSAS, a análise é resolvida no espaço físico (espaço das observações)!
• Se o número de observações é muito menor do que número de graus de liberdade do modelo, o PSAS resolve a análise da mesma forma que o 3DVar, só que de forma mais rápida
  • 3DVar: resolve a análise no espaço do modelo (analisa muito mais pontos do que o PSAS)
  • PSAS: resolve a análise no espaço da observação (analise menos pontos do que o 3DVar - se não houverem muitas observações)

Método Variacional - Parte I

3. Introdução ao Método 3DVar

3.7 First Guess at Apropriate Time (FGAT)

• FGAT é uma extensão do 3DVar para observações distribuídas no tempo
  • O background é interpolado no tempo da observação
  • Função custo continua 3D, pois não evolui a correção do background ao longo do tempo
• Melhora a sincronia temporal das observações:
  • Principalmente das observações que não estão no tempo da análise (observações não convencionais)
  • Exige que o first guess seja particionado na janela de assimilação

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

• O método iterativo atualiza a estimativa da solução com base no passo anterior, da seguinte forma:

Utilizando a notação vetorial e o gradiente da função custo:

• Onde:
  • (ou ) é a estimativa da solução no passo atual
  • é a taxa de atualização (controla o passo da descida)
  • (ou ) é o gradiente calculado no passo

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo simples^🔸

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo simples

• Os valores de e encontrados, são as coordenadas do vértice da parábola definida pela função original

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo simples

• Definição da função original:

# Definimos uma função que irá retornar
# o valor de f(x) para uma lista de valores
def func_y(x):
    return x**2 - 4*x + 2

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo simples

def gradient_descent_x(previous_x, learning_rate, epoch):
    
    x_gd = []
    y_gd = []

    x_gd.append(previous_x)
    y_gd.append(func_y(previous_x))

    for i in range(epoch):
        current_x = previous_x - learning_rate * (2*previous_x - 4)
        x_gd.append(current_x)
        y_gd.append(func_y(current_x))
        
        previous_x = current_x

    return x_gd, y_gd

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo simples

x0 = 4 

learning_rate = 0.15

epoch = 10 

gd = gradient_descent_x(x0,learning_rate, epoch)

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo simples

xgd = gd[0]
xgd
[4,
 3.4,
 2.98,
 2.686,
 2.4802,
 2.33614,
 2.235298,
 2.1647086,
 2.11529602,
 2.0807072140000002,
 2.0564950498]

ygd = gd[1]
ygd
[2,
 -0.040000000000000924,
 -1.0396,
 -1.5294040000000004,
 -1.7694079599999997,
 -1.8870099003999998,
 -1.9446348511959997,
 -1.9728710770860403,
 -1.9867068277721591,
 -1.9934863456083578,
 -1.9968083093480953]

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo simples

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo mais complicado

• Seja a função real

• A derivada primeira de em relação a é dada por:
• A derivada primeira de em relação a é dada por:

Método Variacional - Parte II

4. Componentes

# A função abaixo, calcula o valor de f(x,y)
def func_z(x,y):
    return 4*x**2 + 2*y**2 - 2*x*y

# A função a seguir, calcula o valor da derivada de z em função de x
def dx(x,y):
    return 8*x - 2*y

# Cálculo da derivada de z em função de y
def dy(x,y):
    return 4*y - 2*x

Método Variacional - Parte II

4. Componentes

theta_x = 30
theta_y = 40

alpha = 0.05
    
epoch = 100

def gradient_descent_xy(theta_x,theta_y,alpha,epoch):
    
    grad_x = [] 
    grad_y = []

    grad_x.append(theta_x)
    grad_y.append(theta_y)

    for i in range(epoch):
        current_theta_x = theta_x - alpha * dx(theta_x,theta_y)
        current_theta_y = theta_y - alpha * dy(theta_x,theta_y)
        grad_x.append(current_theta_x)
        grad_y.append(current_theta_y)

        theta_x = current_theta_x
        theta_y = current_theta_y
    
    return theta_x, theta_y, grad_x, grad_y

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo mais complicado

gd2[2]
[30,
 22.0,
 16.7,
 13.04,
 10.407,
 ...
 1.173016304018012e-06, 
 9.87000969415312e-07,
 8.304836942929711e-07,
 6.987867163849628e-07,
 5.879740666212515e-07]

gd2[3]
[40,
 35.0,
 30.2,
 25.83,
 21.967999999999996,
 ...
 2.831911870045047e-06,
 2.382831126437839e-06,
 2.004964998091802e-06,
 1.6870203679027387e-06,
 1.4194949659606872e-06] 

Método Variacional - Parte II

4. Componentes

4.1 Método de minimização do Gradiente Descendente

Um exemplo mais complicado

Notebook com Atividade Prática 6

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

• Fontes de incerteza são uma característica intrínseca a qualquer sistema dinâmico

• Na década de 1960, Edward N. Lorenz, mostrou que a atmosfera possui previsibilidade de suas semanas

  • Experimentos gêmeos

• Desafio:

  • Como fazer com que os modelos atuais possam prever bem dentro deste limite (e além dele)?

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

• Os modelos de Previsão Numérica de Tempo (PNT) são realizados dentro de uma estrutura de modelagem que compreende:
  1. Modelo numérico
  2. Observações
  3. Sistema de assimilação de dados
  • A boa análise é o resultado da conjugação destes 3 fatores

• Tarefa da modelagem e assimilação de dados:
  • Uma vez estabelecido o processo de modelagem, as fontes de incerteza devem ser abordadas para que o seu impacto seja mínimo

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

• Em geral, as fontes de incerteza do processo de modelagem são representadas por:
  • Modelo numérico (e.g., dinâmica e física)
  • Observações (e.g., medição, instrumento, grau de processamento)
  • Sistema de assimilação de dados (e.g., operadores de observação, modelos adjunto e tangente linear, tamanho do conjunto de um ensemble)

• A matriz de covariâncias dos erros de previsão (), representa a covariância do "erro" (uma estimativa) do modelo

• Na assimilação de dados, estes erros são modelados em matrizes de covariâncias que tratam das relações espaço-temporais entre as quantidades observadas e diagnosticadas/prognosticadas

• Função custo 3DVar:

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

• Em geral, as fontes de incerteza do processo de modelagem são representadas por:

  • Modelo numérico (e.g., dinâmica e física)
  • Observações (e.g., medição, instrumento, grau de processamento)
  • Sistema de assimilação de dados (e.g., operadores de observação, modelos adjunto e tangente linear, tamanho do conjunto de um ensemble)

• A matriz de covariâncias dos erros de previsão (), representa a covariância do "erro" (uma estimativa) do modelo

• Na assimilação de dados, estes erros são modelados em matrizes de covariâncias que tratam das relações espaço-temporais entre as quantidades observadas e diagnosticadas/prognosticadas

• Função custo 3DVar:

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Forma idealizada da matriz

• Estruturas da matriz :
  • Variâncias
  • Covariâncias
  • Autocovariâncias

• Neste caso (modelo espectral):
  • é a função de corrente
  • é a parte desbalanceada da velocidade potencial
  • é a parte desbalanceada da temperatura
  • é a parte desbalanceada da pressão em superfície

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Forma idealizada da matriz

• Devido ao tamanho das variáveis do modelo, o tamanho completo de uma matriz B é extremamente grande. Normalmente, ela é da ordem de , o que, em sua forma atual, não pode ser armazenado em nenhum computador
• Esse problema é simplificado por meio do uso de um conjunto ideal de variáveis de análise, sobre as quais a análise é realizada
  • Essas variáveis são geralmente chamadas de "variáveis de controle"
• As variáveis de controle são escolhidas de forma que as correlações cruzadas entre elas sejam mínimas
  • Isso implica em menos termos fora da diagonal em em
  • Dessa forma remove-se a dependência cruzada entre essas variáveis
• O balanço entre as variáveis de análise (como os campos de massa e vento) é obtido com coeficientes de regressão pré-calculados
• Os erros de previsão são modelados como uma distribuição Gaussiana, com variâncias e parâmetros de escala de comprimento (lengthscale) pré-computados para cada uma das variáveis de controle da análise

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC

• Cálculo da matriz - Método NMC^🔸
  • Preconiza que as correlações espaciais dos erros do modelo são semelhantes às correlações entre as previsões de 48 e 24 horas
  • Amplamente utilizado e aplicado em métodos variacionais
  • Facilidade de acesso aos pares de previsões de 48 e 24 horas

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - considerações

• O método NMC preconiza que a correlação espacial dos erros do modelo são semelhantes à correlação espacial das diferenças entre as previsões de 48 e 24 horas
  • Para um modelo regional, pode-se considerar a diferença entre as previsões de 24 e 12 horas - por quê?
  • Suposição: crescimento linear dos erros de previsão durante as primeiras horas de previsão (similar ao método de perturbação da previsão por conjuntos utilizando EOFs)

• Exemplo de par de previsões válido (modelo BAM):
  • GFCTCPT20131224182013122618F.fct.TQ0299L064 (previsão 48 horas)
  • GFCTCPT20131225182013122618F.fct.TQ0299L064 (previsão 24 horas)

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - algorítmo

1. Leitura do cabeçalho dos arquivos espectrais a fim de se determinar quantos pares estão disponíveis para o processamento (nesta etapa, são lidos a data, o horário da previsão e o tipo de coordenada vertical – neste caso, sigma puro)

2. Leitura dos pares propriamente ditos e conversão para ponto de grade
3. Leitura e organização dos pares de previsões de 48 e 24 horas
4. Remoção de viés (em toda a coluna vertical)
5. Cálculo das matrizes de balanço que permitirão as transformações entre função de corrente () e as componentes desbalanceadas de velocidade potencial (), pressão em superfície () e temperatura ()
6. Cálculo das variâncias dos erros de cada uma das variáveis de controle (, , , , , )
7. Cálculo dos comprimentos de correlação verticais (em unidades inversas em ponto de grade)
8. Cálculo dos comprimentos de correlação horizontais (em km)

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - algorítmo

• O fluxo atmosférico pode ser decomposto em duas componentes:
  1. Balanceada (i.e., baixa frequência - slow manifold)
  2. Não balanceada (i.e., alta frequência)

• No GSI, as variáveis de controle são , , , , , , e
  • O balanço entre estas duas componentes é dado por matrizes que projetam a função de corrente sobre a parte balanceada de , , :
    • agvin:
    • bgvin:
    • wgvin:
• define boa parte do incremento de análise para , ,
• , e contabilizam as correlações entre e , , , respectivamente

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - exemplo da contribuição de para

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - exemplos

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - exemplos

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - exemplos

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - exemplos

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - exemplos

Método Variacional - Parte II

4. Componentes

4.2 Matriz de covariâncias dos Erros de Previsão

Método NMC - exemplos

Método Variacional - Parte II

5. Visão geral sobre o método 4DVar

• O 4DVar é uma extensão do método 3DVar

  • Permite que sejam assimiladas observações distribuídas dentro de um intervalo de tempo (), considerando a dinâmica do modelo

  • A função custo inclui um termo que mede a distância em relação ao background no início do intervalo () e o somatório (ao longo do tempo) para cada incremento de observação no seu tempo

• A variável de controle é o estado inicial do modelo (variáveis de estado) no tempo , i.e.,
• A análise, no final do intervalo de tempo, é dado pela integração do modelo, i.e.,
  • Isto significa que o modelo é usado como strong constraint, i.e., a análise deve satisfazer as equações do modelo

Método Variacional - Parte II

Método Variacional - Parte II

6. Atividades realizadas no CPTEC com o método variacional

• Projetos operacionais desenvolvidos/aplicados no CPTEC utilizando o 3DVar:
  • RPSAS (~2000): Regional PSAS
    • Utilizava o modelo regional Eta e o sistema de assimilação de dados PSAS
  • GPSAS (~2000): Global PSAS
    • Utilizava o modelo global MCGA e o sistema de assimilação de dados PSAS
  • G3DVar (~2010):
    • Utilizava o modelo global MCGA e o sistema de assimilação de dados GSI
  • SMNA (~2020): Sistema de Modelagem Numérica e Assimilação de dados
    • Utiliza o modelo global BAM e o sistema de assimilação de dados GSI
  • MONAN+JEDI (a partir de 2024): próxima geração do sistema de assimilação de dados do CPTEC
    • Utiliza o modelo multiescalas MONAN e o sistema de assimilação de dados JEDI

Dúvidas

https://cfbastarz.github.io/met563-3/
https://github.com/cfbastarz/MET563-3
carlos.bastarz@inpe.br

👉 This work is licensed under CC BY-NC-SA 4.0