
Spark Connect from Rust: Pull Spark outputs into DuckDB and Polars
A guide to using the Apache Spark Connect client for Rust to integrate spark with DuckDB and Polars: start a Spark 4.2 server, get a result out as...
Tag archive

A guide to using the Apache Spark Connect client for Rust to integrate spark with DuckDB and Polars: start a Spark 4.2 server, get a result out as...

Everything new in Apache Spark 4.3 and full feature breakdowns for stateful Real-time Mode, SCD Type 2 in Auto CDC, Project Feather, Spark Connect...

Como aprendi Apache Spark — Parte 18: Performance Tuning avançado com Catalyst, AQE e Spark...
Forcing a broadcast join is the single most common "quick fix" that eventually turns a stable data...
You ship the job. It passes CI. Then, during the first production run, you watch your memory usage...

Como aprendi Apache Spark — Parte 17: Orquestração, Airflow, CI/CD e DataOps Nota...

Como aprendi Apache Spark — Parte 14: Data Quality, Data Contracts e Governança Nota...

Nota histórica: o título desta série faz referência à minha trajetória em Engenharia de Dados...

Como aprendi Apache Spark — Parte 16: Apache Kafka, CDC e pipelines incrementais Nota...

Nota histórica: esta série revisita minha trajetória em Engenharia de Dados iniciada em 2012. Apache...
Nota de atualização (2026): este artigo revisita conceitos da minha jornada de aprendizado de Apache...
Nota de atualização (2026): este artigo conecta os fundamentos da minha jornada de aprendizado do...