O que medimos
Esta página publica o que foi medido: quanto a adoção simulada pelo motor se afasta de uma série real, em meses que a calibração não viu.
A série é a adoção do Pix. Ela serve de teste porque tem data de lançamento conhecida (16/11/2020) e o Banco Central publica a adoção por município e por faixa etária, mês a mês.
O método
Seção intitulada “O método”A janela e o teste
Seção intitulada “A janela e o teste”| Período | Meses | Para que serve |
|---|---|---|
| Janela de calibração | novembro de 2020 a outubro de 2021 (12 meses) | escolher os parâmetros |
| Teste fora da amostra | novembro de 2021 a outubro de 2022 (12 meses) | medir o erro |
- O mecanismo da adoção foi ajustado uma vez, em MG, na janela.
- Em cada uma das outras 26 UFs, só dois números são escolhidos, também na janela: o nível de adoção da UF e o tamanho do grupo que adota no dia do lançamento.
- A escolha segue uma regra fixa e lê só os meses da janela. Nenhum mês do teste entra nela.
- Uma UF que reprova no teste não ganha uma segunda calibração. A reprovação fica declarada, com o valor e o limite.
- Os limites não mudaram depois desta medição. O de 20% saiu da primeira medição fora da amostra, em MG, que deu 17,7%: o limite nunca fica mais apertado do que o motor já tinha mostrado.
O que é comparado
Seção intitulada “O que é comparado”O lado observado é a série do Banco Central: pessoas físicas distintas que pagaram com Pix no mês, por município. O lado simulado é quantas pessoas sintéticas já adotaram até o fim de cada mês. Cada mês do teste compara o total simulado da UF com o total observado.
A comparação usa só os municípios que têm série em todos os meses comparados. No RN, dois municípios cuja série só começa em 2025 ficam de fora dos dois lados; eles têm 0,57% dos moradores do RN no Censo 2022.
Os três testes
Seção intitulada “Os três testes”| Teste | O que mede | Limite |
|---|---|---|
| MAPE por trimestre | O erro percentual absoluto médio entre o total simulado e o observado na UF, nos meses de cada trimestre do teste. | Até 20% em todo trimestre. |
| Ordem municipal (τ de Kendall) | Se o motor põe os municípios da UF na mesma ordem de adoção que a série. A calibração nunca vê dado por município: essa ordem sai do grafo social. | Em cada fim de ano do teste, o τ não fica mais de 0,02 abaixo do τ de dezembro de 2020 nem cai mais de 0,02 de um fim de ano para o seguinte. |
| Ordem etária (τ de Kendall) | Se a ordem das seis faixas etárias entre quem adotou bate com a observada: até 19 anos, 20 a 29, 30 a 39, 40 a 49, 50 a 59 e 60 ou mais. | Pelo menos 0,8 em cada fim de ano. |
Como ler os períodos:
- Trimestres: o 2021T4 mistura outubro de 2021, ainda na janela, com novembro e dezembro. O 2022T4 tem só outubro de 2022, o último mês do teste.
- Fins de ano: dezembro de 2020 (o último da janela), dezembro de 2021 e outubro de 2022 (o último mês do teste).
- Ordem etária: o Banco Central não publica o perfil etário por UF. Cada UF é comparada com o perfil da sua macrorregião.
- O τ entre seis faixas: 1,000 é a mesma ordem. 0,867 é uma troca de lugar entre duas faixas, e 0,733 são duas trocas.
O resultado por UF
Seção intitulada “O resultado por UF”Na release v2.0.0, das 27 UFs, 20 passam nos três testes. Sete reprovam num teste de ordem, e a reprovação fica declarada.
Nenhuma UF reprova no MAPE. O pior trimestre é o 2022T1 da PB, com 19,6%, contra o limite de 20%.
Em negrito, o valor que fica abaixo do limite.
| UF | 2021T4 | 2022T1 | 2022T2 | 2022T3 | 2022T4 | τ municipal (dez/2020 · dez/2021 · out/2022) | τ etário (dez/2020 · dez/2021 · out/2022) | Resultado |
|---|---|---|---|---|---|---|---|---|
| AC | 4,2% | 7,9% | 4,0% | 1,0% | 1,1% | 0,749 / 0,801 / 0,844 | 0,867 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
| AL | 4,6% | 8,5% | 4,4% | 0,9% | 2,0% | 0,812 / 0,869 / 0,878 | 1,000 / 1,000 / 0,867 | passa |
| AM | 9,5% | 13,9% | 10,1% | 7,0% | 4,9% | 0,717 / 0,627 / 0,650 | 0,867 / 0,867 / 0,867 | reprovação declarada (ordem municipal) |
| AP | 13,5% | 9,8% | 12,4% | 14,7% | 16,5% | 0,833 / 0,900 / 0,900 | 0,867 / 0,867 / 0,733 | reprovação declarada (ordem etária) |
| BA | 9,4% | 13,2% | 9,9% | 7,2% | 5,2% | 0,772 / 0,821 / 0,849 | 1,000 / 1,000 / 0,867 | passa |
| CE | 7,5% | 11,9% | 8,7% | 6,3% | 4,7% | 0,850 / 0,887 / 0,905 | 1,000 / 1,000 / 0,867 | passa |
| DF | 5,6% | 5,6% | 1,9% | 0,7% | 1,6% | não se aplica (1 município) | 1,000 / 1,000 / 1,000 | passa |
| ES | 3,7% | 7,0% | 4,6% | 3,2% | 2,2% | 0,844 / 0,871 / 0,885 | 1,000 / 1,000 / 1,000 | passa |
| GO | 13,5% | 17,0% | 13,7% | 11,7% | 10,4% | 0,882 / 0,909 / 0,913 | 1,000 / 1,000 / 1,000 | passa |
| MA | 2,7% | 3,2% | 1,2% | 3,2% | 4,9% | 0,755 / 0,791 / 0,827 | 1,000 / 1,000 / 0,867 | passa |
| MG | 12,4% | 15,7% | 12,8% | 11,3% | 9,9% | 0,833 / 0,882 / 0,898 | 1,000 / 1,000 / 1,000 | passa |
| MS | 4,6% | 8,3% | 4,9% | 3,1% | 1,8% | 0,868 / 0,903 / 0,913 | 1,000 / 1,000 / 1,000 | passa |
| MT | 6,0% | 10,1% | 7,1% | 5,8% | 4,9% | 0,880 / 0,908 / 0,912 | 1,000 / 1,000 / 1,000 | passa |
| PA | 6,8% | 11,0% | 6,4% | 3,5% | 1,5% | 0,762 / 0,767 / 0,793 | 1,000 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
| PB | 14,9% | 19,6% | 16,1% | 13,3% | 11,3% | 0,817 / 0,864 / 0,893 | 1,000 / 1,000 / 0,867 | passa |
| PE | 6,4% | 11,3% | 8,0% | 4,7% | 2,8% | 0,792 / 0,830 / 0,854 | 1,000 / 1,000 / 0,867 | passa |
| PI | 8,9% | 13,8% | 9,9% | 7,3% | 6,1% | 0,681 / 0,741 / 0,785 | 1,000 / 1,000 / 0,867 | passa |
| PR | 10,7% | 13,7% | 10,9% | 9,7% | 8,4% | 0,848 / 0,896 / 0,917 | 1,000 / 1,000 / 0,867 | passa |
| RJ | 2,7% | 4,8% | 1,8% | 0,7% | 2,1% | 0,906 / 0,925 / 0,935 | 1,000 / 1,000 / 1,000 | passa |
| RN | 4,4% | 8,3% | 5,6% | 3,3% | 1,7% | 0,834 / 0,887 / 0,896 | 1,000 / 1,000 / 0,867 | passa |
| RO | 4,7% | 7,1% | 2,3% | 1,0% | 2,6% | 0,908 / 0,931 / 0,935 | 1,000 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
| RR | 8,5% | 6,6% | 11,6% | 15,8% | 18,2% | 0,676 / 0,581 / 0,638 | 0,867 / 0,867 / 0,867 | reprovação declarada (ordem municipal) |
| RS | 13,0% | 15,4% | 11,6% | 9,9% | 8,3% | 0,853 / 0,889 / 0,911 | 1,000 / 1,000 / 0,867 | passa |
| SC | 14,1% | 18,6% | 15,8% | 15,3% | 14,6% | 0,880 / 0,920 / 0,935 | 1,000 / 1,000 / 0,867 | passa |
| SE | 13,6% | 17,9% | 14,1% | 10,8% | 8,3% | 0,829 / 0,865 / 0,887 | 1,000 / 1,000 / 0,867 | passa |
| SP | 10,2% | 12,1% | 8,5% | 6,7% | 5,0% | 0,914 / 0,944 / 0,952 | 1,000 / 1,000 / 1,000 | passa |
| TO | 13,6% | 15,9% | 10,7% | 7,4% | 5,2% | 0,788 / 0,855 / 0,870 | 1,000 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
As sete reprovações declaradas
Seção intitulada “As sete reprovações declaradas”| UF | Teste | Valor | Limite |
|---|---|---|---|
| AC | Ordem etária | 0,733 em outubro de 2022 | 0,8 |
| AP | Ordem etária | 0,733 em outubro de 2022 | 0,8 |
| PA | Ordem etária | 0,733 em outubro de 2022 | 0,8 |
| RO | Ordem etária | 0,733 em outubro de 2022 | 0,8 |
| TO | Ordem etária | 0,733 em outubro de 2022 | 0,8 |
| AM | Ordem municipal | cai de 0,717 em dezembro de 2020 para 0,627 em dezembro de 2021, e fica em 0,650 em outubro de 2022 | queda de até 0,02 |
| RR | Ordem municipal | cai de 0,676 em dezembro de 2020 para 0,581 em dezembro de 2021, e fica em 0,638 em outubro de 2022 | queda de até 0,02 |
As sete passam no MAPE. Nenhum limite foi afrouxado para elas. As seis primeiras são as mesmas da v1.2.0; a de RR é nova.
A ordem etária no Norte: o mecanismo está medido
Seção intitulada “A ordem etária no Norte: o mecanismo está medido”As cinco UFs são do Norte e são comparadas com o perfil etário da região Norte. Nesse perfil observado, em outubro de 2022, duas faixas quase empatadas trocam de lugar em relação aos fins de ano anteriores:
- 20 a 29 anos passa 30 a 39 por 1,0 ponto: 32,8% contra 31,8%;
- até 19 anos passa 60 ou mais por 0,1 ponto: 3,3% contra 3,2%.
Duas trocas entre seis faixas dão exatamente o τ de 0,733. AM e RR, também do Norte, ficaram em 0,867, uma troca só. Quais faixas a simulação de cada UF inverte ainda falta confirmar. Como o Banco Central não publica o perfil por UF, a investigação também decide como comparar essas UFs.
A ordem municipal no AM: o mecanismo não está medido
Seção intitulada “A ordem municipal no AM: o mecanismo não está medido”A queda vai de dezembro de 2020, o último fim de ano da janela, para dezembro de 2021, o primeiro fora dela. Por que ela acontece ainda não foi medido.
A ordem municipal em RR: poucos municípios
Seção intitulada “A ordem municipal em RR: poucos municípios”RR tem 15 municípios, ou 105 pares. Cada par que troca de ordem move o τ em 0,019, quase toda a tolerância de 0,02. Na v1.2.0, RR passou por 0,001: 0,600 contra o limite de 0,599. Na v2.0.0, dezembro de 2020 ganhou três pares na ordem certa, o que subiu a referência, e dezembro de 2021 perdeu um; outubro de 2022 ficou igual. O MAPE e a ordem etária de RR não mudaram.
Como uma reprovação é tratada
Seção intitulada “Como uma reprovação é tratada”- Cada reprovação é declarada uma a uma, com a medição, o valor e o limite.
- O teste roda de novo em toda release nova. Uma reprovação que não está declarada impede a release de sair.
- Cada release declara as suas. A
v2.0.0declara de novo as seis dav1.2.0e declara a de RR pela primeira vez. - A declaração é um registro, não uma licença: uma UF declarada no mesmo teste em duas releases seguidas passa a ter uma investigação própria. A das seis está marcada para a release seguinte; uma terceira declaração seguida não entra sem ela.
A release medida
Seção intitulada “A release medida”- A
v2.0.0é uma população nova: cada domicílio sintético está no setor censitário do seu endereço. Nos três testes, ela repete av1.2.0quase sem diferença: o MAPE de cada trimestre muda no máximo 0,2 ponto (PI), a ordem etária é a mesma em todas as UFs, e a ordem municipal muda no máximo 0,026 (AC), fora RR (acima). - A
v1.2.0tem as mesmas pessoas sintéticas dav1.0.0; o grafo social muda só na camada de trabalho, refeita a partir do cadastro de estabelecimentos (CNPJ) de setembro de 2026. Nela, 21 UFs passam e seis reprovam: as sete dav2.0.0, menos RR (tabela abaixo). - Um job sobre a
v1.0.0não herda estes números. Por isso o rótulo segue a release: a adoção do cenário-basepixsaicalibradonum job dav2.0.0ou dav1.2.0enao_calibradonum job dav1.0.0. - Na
v1.0.0, o MAPE e a ordem municipal foram medidos em duas UFs, MG e BA (em BA, os três testes). Nas duas, o MAPE de cada trimestre foi o mesmo dav1.2.0na primeira casa decimal, e o τ municipal diferiu em no máximo 0,002. As outras 25 UFs não foram medidas nav1.0.0.
O resultado por UF na v1.2.0
Das 27 UFs, 21 passam nos três testes, e seis reprovam num teste de ordem, com a reprovação declarada. O pior trimestre é o 2022T1 da PB, com 19,7%.
| UF | 2021T4 | 2022T1 | 2022T2 | 2022T3 | 2022T4 | τ municipal (dez/2020 · dez/2021 · out/2022) | τ etário (dez/2020 · dez/2021 · out/2022) | Resultado |
|---|---|---|---|---|---|---|---|---|
| AC | 4,1% | 7,7% | 3,8% | 0,9% | 1,2% | 0,723 / 0,810 / 0,844 | 0,867 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
| AL | 4,6% | 8,5% | 4,4% | 1,0% | 2,1% | 0,816 / 0,865 / 0,878 | 1,000 / 1,000 / 0,867 | passa |
| AM | 9,4% | 13,8% | 10,0% | 7,0% | 4,9% | 0,700 / 0,621 / 0,649 | 0,867 / 0,867 / 0,867 | reprovação declarada (ordem municipal) |
| AP | 13,5% | 9,8% | 12,4% | 14,8% | 16,5% | 0,833 / 0,900 / 0,900 | 0,867 / 0,867 / 0,733 | reprovação declarada (ordem etária) |
| BA | 9,4% | 13,2% | 9,9% | 7,2% | 5,2% | 0,773 / 0,822 / 0,849 | 1,000 / 1,000 / 0,867 | passa |
| CE | 7,5% | 11,8% | 8,6% | 6,2% | 4,6% | 0,851 / 0,886 / 0,903 | 1,000 / 1,000 / 0,867 | passa |
| DF | 5,5% | 5,6% | 1,8% | 0,7% | 1,6% | não se aplica (1 município) | 1,000 / 1,000 / 1,000 | passa |
| ES | 3,7% | 7,2% | 4,7% | 3,3% | 2,2% | 0,842 / 0,871 / 0,887 | 1,000 / 1,000 / 1,000 | passa |
| GO | 13,5% | 17,0% | 13,8% | 11,7% | 10,4% | 0,884 / 0,909 / 0,913 | 1,000 / 1,000 / 1,000 | passa |
| MA | 2,7% | 3,1% | 1,2% | 3,3% | 4,9% | 0,754 / 0,789 / 0,828 | 1,000 / 1,000 / 0,867 | passa |
| MG | 12,4% | 15,7% | 12,9% | 11,3% | 9,9% | 0,835 / 0,882 / 0,898 | 1,000 / 1,000 / 1,000 | passa |
| MS | 4,6% | 8,3% | 4,8% | 3,0% | 1,8% | 0,862 / 0,901 / 0,909 | 1,000 / 1,000 / 1,000 | passa |
| MT | 6,0% | 10,1% | 7,1% | 5,7% | 4,9% | 0,876 / 0,908 / 0,913 | 1,000 / 1,000 / 1,000 | passa |
| PA | 6,7% | 10,9% | 6,4% | 3,6% | 1,5% | 0,766 / 0,767 / 0,792 | 1,000 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
| PB | 15,0% | 19,7% | 16,1% | 13,2% | 11,3% | 0,812 / 0,862 / 0,892 | 1,000 / 1,000 / 0,867 | passa |
| PE | 6,4% | 11,3% | 8,0% | 4,7% | 2,8% | 0,794 / 0,831 / 0,855 | 1,000 / 1,000 / 0,867 | passa |
| PI | 8,7% | 13,7% | 9,7% | 7,2% | 6,0% | 0,677 / 0,740 / 0,785 | 1,000 / 1,000 / 0,867 | passa |
| PR | 10,7% | 13,7% | 10,9% | 9,7% | 8,4% | 0,847 / 0,897 / 0,917 | 1,000 / 1,000 / 0,867 | passa |
| RJ | 2,7% | 4,8% | 1,8% | 0,7% | 2,1% | 0,900 / 0,925 / 0,938 | 1,000 / 1,000 / 1,000 | passa |
| RN | 4,5% | 8,4% | 5,6% | 3,3% | 1,8% | 0,839 / 0,886 / 0,895 | 1,000 / 1,000 / 0,867 | passa |
| RO | 4,8% | 7,2% | 2,3% | 1,0% | 2,6% | 0,908 / 0,931 / 0,937 | 1,000 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
| RR | 8,5% | 6,6% | 11,6% | 15,8% | 18,2% | 0,619 / 0,600 / 0,638 | 0,867 / 0,867 / 0,867 | passa |
| RS | 13,0% | 15,4% | 11,6% | 9,9% | 8,3% | 0,851 / 0,889 / 0,910 | 1,000 / 1,000 / 0,867 | passa |
| SC | 14,0% | 18,5% | 15,7% | 15,3% | 14,6% | 0,879 / 0,920 / 0,934 | 1,000 / 1,000 / 0,867 | passa |
| SE | 13,6% | 17,8% | 14,1% | 10,7% | 8,2% | 0,827 / 0,864 / 0,888 | 1,000 / 1,000 / 0,867 | passa |
| SP | 10,2% | 12,1% | 8,5% | 6,7% | 5,0% | 0,915 / 0,944 / 0,953 | 1,000 / 1,000 / 1,000 | passa |
| TO | 13,7% | 15,9% | 10,7% | 7,5% | 5,3% | 0,804 / 0,851 / 0,870 | 1,000 / 1,000 / 0,733 | reprovação declarada (ordem etária) |
As releases disponíveis para jobs estão em list_releases (MCP).
O que não foi medido
Seção intitulada “O que não foi medido”- A recepção de mensagens não é calibrada. Nenhuma série real de recepção foi comparada com o motor, e todo resultado de recepção sai
nao_calibrado(O cenário). As conferências feitas contra pesquisas publicadas são medições de plausibilidade, não calibração. - As réplicas medem a variação do modelo, não o erro contra o mundo. Duas réplicas do mesmo pedido diferem só nos sorteios. A distância entre elas diz quanto o resultado varia dentro do modelo, não quanto o modelo erra a realidade. O erro contra uma série real é o desta página, e vale só para a adoção.
- Além de 12 meses. O teste mede os 12 primeiros meses depois da janela. O resultado marca os dias depois do dia 365 com
alem_do_horizonte(O resultado). - Outros fenômenos. O teste diz quanto o motor, calibrado na janela de uma UF, acerta o ano seguinte da adoção do Pix nessa UF. Ele não mede quanto o motor acertaria a adoção de outra coisa.
Como a população, o grafo e o motor são construídos: Metodologia.