Empresas que operam ambientes de dados na nuvem frequentemente enfrentam desafios com custos crescentes, baixa eficiência operacional e falta de governança centralizada.
Foi exatamente esse cenário que encontramos em uma grande empresa de varejo no Brasil. A combinação de práticas de Data FinOps e a adoção do Unity Catalog, da Databricks, permitiu reduzir os custos com storage em 50% e modernizar completamente o ambiente de dados.
Neste artigo, mostramos os detalhes técnicos do processo, os desafios enfrentados e os resultados alcançados.
Desafio: custos descontrolados e ambiente sem governança
O ambiente apresentava três problemas centrais:
- Custos imprevisíveis e crescentes com storage, que chegaram a dobrar em determinados meses.
- Baixa eficiência em jobs e workloads, resultando em desperdício de recursos e impacto direto no custo operacional.
- Governança descentralizada, com múltiplos workspaces e ausência de controle padronizado sobre acessos, permissões e rastreabilidade.
Sem uma estratégia clara de controle de custos e sem uma governança estruturada, o ambiente comprometia tanto a sustentabilidade financeira quanto a escalabilidade técnica.
Etapa 1 — Aplicando Data FinOps: como atacamos o problema de custos
O primeiro passo foi conduzir um diagnóstico completo do ambiente, aplicando boas práticas de Data FinOps para identificar desperdícios e gargalos operacionais.
Diagnóstico técnico:
- Jobs rodando fora de horário ou com configuração ineficiente de clusters.
- Tabelas temporárias e datasets obsoletos ocupando espaço sem necessidade.
- Storage crescendo de forma descontrolada, impactando diretamente o orçamento.
Este cenário não é incomum. O relatório Flexera State of the Cloud 2024 aponta que 32% dos custos em nuvem são desperdiçados por má gestão de recursos
Soluções implementadas:
A partir desse diagnóstico, priorizamos ações focadas em gerar impacto imediato na redução de custos, eliminando desperdícios e tornando o ambiente mais eficiente. As principais foram:
- Otimização de clusters, ajustando autoscaling, definindo timeouts e aplicando políticas de desligamento automático (cluster autostop).
- Revisão e eliminação de cargas e jobs redundantes.
- Limpeza de dados não utilizados, com regras claras para retenção de tabelas temporárias e arquivos intermediários.
- Reconfiguração de workflows, priorizando jobs por uso real de recursos.
Resultado da etapa:
- Economia de aproximadamente R$2.000 por dia só com storage.
- O gasto mensal foi reduzido de R$1 milhão para R$600 mil, após conter um aumento atípico nos custos de storage.
- A medida também evitou a escalada de uma crise que vinha pressionando os custos além do previsto.
A redução de custos criou espaço no orçamento para avançar com a modernização do ambiente.
Etapa 2 — Implementando Unity Catalog: governança escalável e segura
Com os custos sob controle, a segunda etapa foi a adoção do Unity Catalog, plataforma de governança nativa da Databricks.
Problemas do ambiente anterior:
- Dados dispersos em múltiplos workspaces.
- Permissões sendo gerenciadas manualmente, o que gerava erros e insegurança.
- Ausência de rastreabilidade (lineage) e controle sobre quem acessava quais dados.
Esse cenário gerava riscos operacionais e dificultava o avanço em projetos mais estratégicos.
Soluções implementadas:
- Unificação dos workspaces em um único catálogo, centralizando a governança.
- Implantação de Attribute-Based Access Control (ABAC), permitindo controle granular de permissões.
- Habilitação de Data Lineage, rastreando todo o ciclo de vida dos dados, do origem ao consumo.
- Atualização de clusters para garantir aderência às melhores práticas e compatibilidade com os recursos mais recentes do Databricks.
Benefícios obtidos:
- Governança centralizada, eliminando retrabalho e riscos operacionais.
- Aumento da segurança, da rastreabilidade e da conformidade com políticas internas e regulatórias.
- Ambiente pronto para escalar, com menos sobrecarga operacional para as equipes de dados.
Resultado consolidado: antes e depois
Lições para engenheiros de dados
A combinação de FinOps + Unity Catalog entrega valor direto para times de engenharia de dados. Na prática, os ganhos vão além da redução de custos:
- Menos tempo dedicado a tarefas operacionais e manutenção.
- Mais segurança, controle e rastreabilidade dos dados.
- Melhor governança, que suporta o crescimento sustentável de projetos de dados e IA.
- Ambiente preparado para escalar sem surpresas no orçamento.
Se sua empresa já opera com Databricks, não basta apenas rodar jobs e pipelines. É necessário olhar para a eficiência do ambiente e a governança dos dados como parte da estratégia técnica.
Este projeto deixa claro que a modernização de um ambiente de dados não é apenas uma questão de tecnologia, mas sim de gestão eficiente de recursos e governança robusta.
Para empresas que desejam escalar suas operações, aumentar a eficiência e manter os custos sob controle, aplicar práticas de Data FinOps e adotar uma governança estruturada com Unity Catalog é o caminho mais seguro.
Próximo passo: quer entender como aplicar isso na sua empresa?
Oferecemos um diagnóstico técnico gratuito, onde avaliamos seu ambiente e identificamos oportunidades de otimização, modernização e governança. Agende uma conversa com nossos especialistas e saiba como sua operação pode ser mais eficiente, segura e escalável.
