Engenharia de dados é a disciplina que leva os dados dos sistemas de origem (ERP, CRM, planilhas, aplicativos) até quem decide e até a IA, com qualidade, segurança e custo controlado. Em empresas grandes, ela resolve três problemas que todo diretor conhece: números diferentes para o mesmo indicador, relatórios que demoram dias e projetos de IA que não saem do piloto.
Sinais de que a sua empresa precisa de engenharia de dados
- Cada área tem a sua planilha e a reunião começa discutindo qual número está certo.
- O fechamento depende de pessoas exportando e colando dados de vários sistemas.
- Os dados do SAP ou de outro ERP não conversam com CRM, e-commerce e operação.
- A conta de cloud sobe todo mês e ninguém sabe dizer quanto custa cada relatório.
- Os projetos de IA param porque os dados não estão disponíveis ou não são confiáveis.
A arquitetura de referência: lakehouse em camadas
| Camada | O que guarda | Para quem |
|---|---|---|
| Ingestão | Conectores e replicação das fontes (ERP, CRM, APIs, arquivos), em lote ou em tempo real | Engenharia |
| Bronze | Dados brutos, como vieram da origem, para auditoria e reprocessamento | Engenharia |
| Silver | Dados limpos, padronizados e unidos entre sistemas | Engenharia e ciência de dados |
| Gold | Indicadores e tabelas de negócio prontos para consumo | Áreas de negócio, BI e IA |
| Camada semântica | Definição oficial de cada indicador, usada por painéis e agentes | Toda a empresa |
| Governança | Catálogo, linhagem, acesso por papel, qualidade e auditoria | Dados, segurança e jurídico |
No case Tecnofit, essa abordagem levou quatro ambientes de dados para um só, com divergência abaixo de 0,5% na reconciliação. Na SóCarrão, o mesmo desenho foi feito na AWS com Glue, Athena e S3.
Databricks, Azure, AWS ou Google Cloud?
| Se a empresa… | Costuma fazer sentido |
|---|---|
| Quer uma plataforma única para engenharia, BI, ciência de dados e IA, em qualquer nuvem | Databricks (lakehouse, Unity Catalog, MLOps e agentes) |
| Já tem Microsoft 365, Power BI e contratos Microsoft | Azure, muitas vezes com Azure Databricks |
| Já opera aplicações e dados na AWS | AWS (S3, Glue, Athena, Redshift) ou Databricks na AWS |
| Tem forte uso de Google Workspace, BigQuery ou Google Ads | Google Cloud (BigQuery), como no case Wesen Green |
A escolha final considera o ambiente atual, as habilidades do time e o custo total, não só o preço da licença.
O que pesa no custo
- Processamento: reprocessar a base inteira todo dia custa muito mais que processar só o que mudou.
- Armazenamento duplicado: cópias por área multiplicam o custo e o risco de LGPD.
- Ambientes ociosos: clusters e ambientes de teste ligados sem uso.
- Retrabalho: horas de analistas reconciliando números todo mês.
FinOps de dados é medir o custo por caso de uso e otimizar continuamente. Leia mais em A conta da IA em escala chegou.
Como entregar sem um projeto de dois anos
- Diagnóstico: fontes, custos, riscos e casos de uso prioritários.
- Primeira onda: uma área com retorno claro, do dado bruto ao indicador oficial.
- Ondas seguintes: novas fontes e áreas reaproveitando a mesma base e governança.
- Operação: monitoramento de qualidade, custo e documentação para o time interno.
Perguntas frequentes
Qual a diferença entre data lake, data warehouse e lakehouse?
O data warehouse guarda dados estruturados e organizados para relatórios. O data lake guarda qualquer tipo de dado a baixo custo, mas sem garantias de qualidade. O lakehouse une os dois: armazenamento barato com transações, governança e desempenho para BI e IA.
Engenharia de dados é a mesma coisa que BI?
Não. BI é a camada de visualização e análise. A engenharia de dados é a base que garante que os dados cheguem ao BI completos, corretos e no prazo.
Dá para integrar o SAP a um lakehouse sem afetar o ERP?
Sim. A extração usa conectores e replicação próprios para isso, incluindo o SAP Datasphere, e roda em janelas que não competem com a operação. Veja a página de SAP.
Preciso de engenharia de dados para usar IA generativa?
Para um piloto isolado, nem sempre. Para colocar IA em produção com dados da empresa, sim: agentes e modelos precisam de dados confiáveis, governados e com definição única dos indicadores.
Próximo passo
A Onetopia é parceira oficial Databricks e entrega plataformas de dados em Azure, AWS e Google Cloud para médias e grandes empresas. Fale com um especialista ou veja a página de engenharia de dados.
