Spiral: Hackeando o Planner e a Storage Engine do PostgreSQL
Jônatas Davi Paganini
Hubstaff
Spiral: uma extensão em Rust que hackeia o Planner e usa Z-Ordering em TAMs customizados para resolver gargalos de time-series massivos no Postgres.
Em ambientes multi-tenant massivos, armazenar e consultar bilhões de eventos de séries temporais expõe os limites das estruturas tradicionais como B-Trees, criando o que chamamos de "Gravidade dos Dados" — onde o custo de I/O aumenta exponencialmente. E se pudéssemos resolver isso tratando o armazenamento como um problema geométrico?
Nesta palestra, apresentarei o Spiral, um projeto de pesquisa e extensão experimental para PostgreSQL construído do zero com Rust (via pgrx). O Spiral repensa o fluxo de dados em banco relacionais, utilizando a Curva de Morton (Z-Ordering) para empacotar identificadores de tenant e o tempo de forma multidimensional.
Mergulharemos nos internals do PostgreSQL para mostrar na prática como construímos:
1. Table Access Methods (TAMs) Customizados: Como desviamos do Heap padrão usando Rust para realizar escrita direta em arquivos binários compactos, chegando a experimentar o conceito de "Tempo-como-Endereço", omitindo timestamps físicos no disco e os inferindo matematicamente.
2. Adaptive Query Slicing (Planner Hooks): Como hackeamos o planejador de consultas para realizar aceleração transparente. Mostrarei a lógica que intercepta a query original, mapeia períodos sujos (dirty data), e usa tstzmultirange para dividi-la: delegando blocos limpos para materialized views (rollups) e fazendo fallback cirúrgico para a tabela bruta nas frações sujas.
3. Manutenção Incremental de Views (IVM): O uso de Background Workers em Rust acoplados a um Changelog transacional para "curar" as agregações hierárquicas em background, eliminando a dor de reconstruir materialized views inteiras em operações de backfill.
Público-alvo:
DBAs, Engenheiros de Dados e Desenvolvedores C/Rust interessados em arquitetura de banco de dados, storage engines, desenvolvimento de extensões avançadas com pgrx e otimização extrema para time-series.
O que o público vai aprender?
Os participantes sairão com um entendimento prático de como as APIs de extensão do PostgreSQL (TAM, Planner Hooks, Background Workers) funcionam sob o capô, e como o Rust está mudando o cenário de pesquisa e desenvolvimento no ecossistema de banco de dados.
Spiral: Hackeando o Planner e a Storage Engine do PostgreSQL
Jônatas Davi Paganini
Hubstaff
Spiral: uma extensão em Rust que hackeia o Planner e usa Z-Ordering em TAMs customizados para resolver gargalos de time-series massivos no Postgres.
Em ambientes multi-tenant massivos, armazenar e consultar bilhões de eventos de séries temporais expõe os limites das estruturas tradicionais como B-Trees, criando o que chamamos de "Gravidade dos Dados" — onde o custo de I/O aumenta exponencialmente. E se pudéssemos resolver isso tratando o armazenamento como um problema geométrico?
Nesta palestra, apresentarei o Spiral, um projeto de pesquisa e extensão experimental para PostgreSQL construído do zero com Rust (via pgrx). O Spiral repensa o fluxo de dados em banco relacionais, utilizando a Curva de Morton (Z-Ordering) para empacotar identificadores de tenant e o tempo de forma multidimensional.
Mergulharemos nos internals do PostgreSQL para mostrar na prática como construímos:
1. Table Access Methods (TAMs) Customizados: Como desviamos do Heap padrão usando Rust para realizar escrita direta em arquivos binários compactos, chegando a experimentar o conceito de "Tempo-como-Endereço", omitindo timestamps físicos no disco e os inferindo matematicamente.
2. Adaptive Query Slicing (Planner Hooks): Como hackeamos o planejador de consultas para realizar aceleração transparente. Mostrarei a lógica que intercepta a query original, mapeia períodos sujos (dirty data), e usa tstzmultirange para dividi-la: delegando blocos limpos para materialized views (rollups) e fazendo fallback cirúrgico para a tabela bruta nas frações sujas.
3. Manutenção Incremental de Views (IVM): O uso de Background Workers em Rust acoplados a um Changelog transacional para "curar" as agregações hierárquicas em background, eliminando a dor de reconstruir materialized views inteiras em operações de backfill.
Público-alvo:
DBAs, Engenheiros de Dados e Desenvolvedores C/Rust interessados em arquitetura de banco de dados, storage engines, desenvolvimento de extensões avançadas com pgrx e otimização extrema para time-series.
O que o público vai aprender?
Os participantes sairão com um entendimento prático de como as APIs de extensão do PostgreSQL (TAM, Planner Hooks, Background Workers) funcionam sob o capô, e como o Rust está mudando o cenário de pesquisa e desenvolvimento no ecossistema de banco de dados.