Registros utilizados pelas operações de uma aplicação, como pedidos, pagamentos e movimentações.
Arquitetura · Processamento · Segurança · Governança
Engenharia
Engenharia
de Dados.
Da origem de uma informação à sua utilização, cada etapa exige estrutura, integridade, confiabilidade e proteção.
Explore arquiteturas de dados, bancos relacionais, pipelines, segurança da informação e experimentos interativos em um ambiente de aprendizagem técnica.
01 · Visão de sistemas
Dados transacionais
Dados analíticos
Dados em trânsito e em repouso
Arquitetura de dados
Um sistema de dados não se resume ao banco de dados. Ele envolve fontes, integrações, transformações, armazenamento, acesso e mecanismos de segurança em todo o percurso.
Fluxo conceitual de processamento
Exemplo de uma arquitetura de ingestão e transformação.
ORIGEM
Aplicações e APIs
INGESTÃO
Coleta e validação
PROCESSO
Transformação
DESTINO
Consulta e análise
Em uma implementação real,
observabilidade, autenticação,
autorização, tratamento de falhas
e proteção de informações
devem ser considerados
em todas as etapas.
Informações organizadas para consultas, indicadores, relatórios e análises.
Informações transmitidas entre sistemas ou armazenadas em bancos, arquivos e backups, exigindo controles apropriados.
02 · Conhecimento técnico
01 / BANCOS RELACIONAIS
02 / OUTROS MODELOS
03 / INTEGRAÇÃO
04 / PROCESSAMENTO
05 / ARMAZENAMENTO
06 / CONFIABILIDADE
Fundamentos da Engenharia de Dados
Diferentes tecnologias cumprem funções distintas. A escolha depende dos requisitos de consistência, volume, disponibilidade, latência, manutenção e segurança.
SQL e integridade
Tabelas, chaves primárias, chaves estrangeiras, índices, transações e consultas estruturadas.
NoSQL
Bancos documentais, chave-valor, grafos e outros modelos de armazenamento.
ETL e ELT
Extração, transformação e carregamento, com diferentes ordens de execução.
Batch e streaming
Processamento em lotes e tratamento contínuo de fluxos de eventos.
Warehouse e lake
Arquiteturas de armazenamento voltadas à análise, organização e integração de diferentes conjuntos de dados.
Observabilidade
Métricas, logs, rastreamento, linhagem e identificação de falhas em pipelines.
03 · Experimentação
LAB 01 · PIPELINE
LAB 02 · RELACIONAMENTOS
LAB 03 · VALIDAÇÃO
LAB 04 · PROCESSAMENTO
Laboratórios de dados
Experimentos executados no navegador com dados fictícios. Os resultados ilustram conceitos técnicos, sem acessar a infraestrutura operacional da TEKNIVO.
Extração, transformação e carga
Acompanha três etapas de um pipeline ETL e observa como os registros mudam ao longo do processo.
EXTRACT
Extrair
TRANSFORM
Transformar
LOAD
Carregar
| ID | Produto | Valor | Etapa |
|---|
Pronto para iniciar.
Os registros são copiados,
padronizados e armazenados
em uma variável JavaScript.
Não há conexão com um banco real.
Chaves e consultas relacionais
Seleciona um cliente e visualiza os pedidos associados ao seu ID.
| Pedido | Cliente ID | Valor |
|---|
Cliente
Ana
Pedidos
2
Total
R$ 350
Em bancos relacionais,
uma FOREIGN KEY pode assegurar
a integridade da referência
entre pedido e cliente.
Aqui a relação é demonstrada
com arrays JavaScript.
Qualidade dos dados
Ajusta o total de registros e a quantidade que não atende a uma regra de validação.
Válidos
920
Inválidos
80
Conformidade
92%
Conformidade = registros válidos
÷ registros totais × 100.
O modelo utiliza uma única regra
binária de classificação.
Execução em lotes
Estima o número de lotes e a duração de um processamento sequencial simplificado.
Lotes
20
Tempo total
4 s
Último lote
500
Lotes = arredondamento para cima
de registros ÷ tamanho do lote.
O cálculo não considera
concorrência, rede ou disco.
04 · Segurança da informação
Proteger dados também é engenharia.
Segurança deve ser considerada desde a arquitetura até a operação. Não é suficiente proteger apenas a tela de login: bancos, APIs, pipelines, backups e permissões também precisam de controles.
01 · Criptografia e hashing
Criptografia transforma dados para protegê-los contra leitura não autorizada, utilizando chaves e algoritmos apropriados. Pode proteger dados em trânsito e em repouso. Hashing produz um resumo de tamanho definido e não é criptografia reversível. Senhas devem utilizar algoritmos específicos de derivação de senha, como Argon2id, com parâmetros adequados, e não um hash rápido isolado como SHA-256.
02 · Autenticação e autorização
Autenticação verifica a identidade apresentada por um usuário ou serviço. Autorização determina quais operações são permitidas. Um usuário autenticado não deve receber automaticamente acesso a todos os recursos. MFA, expiração de sessões, revogação de tokens e menor privilégio são controles relevantes.
03 · Segurança de bancos de dados
Consultas parametrizadas ajudam a impedir SQL Injection. Também são importantes permissões restritas, segregação de funções, criptografia apropriada, atualização de componentes, backups testados e auditoria. A proteção não deve depender exclusivamente de validações feitas no navegador.
04 · Segurança de APIs
APIs precisam autenticar e autorizar chamadas, validar dados recebidos, limitar operações abusivas e proteger informações sensíveis. Tokens e chaves de API não devem aparecer em logs, mensagens de erro ou códigos enviados ao navegador. HTTPS protege o transporte, mas não substitui autorização.
05 · Segurança de pipelines
Pipelines devem validar a origem e a estrutura dos dados, restringir credenciais, controlar acesso aos destinos e registrar falhas. Idempotência, tratamento de duplicidades, linhagem e recuperação de execução contribuem para confiabilidade.
06 · Backups e recuperação
Backups reduzem o impacto de falhas e perdas de dados, mas precisam ser protegidos, monitorados e periodicamente testados por restauração. RPO representa a perda máxima de dados tolerável em tempo; RTO representa o tempo-alvo de recuperação do serviço.
07 · Logs e auditoria
Logs ajudam a investigar erros, acessos e eventos. Auditoria registra ações relevantes e sua autoria. Ambos exigem políticas de retenção, controle de acesso e proteção contra alteração. Senhas, tokens e segredos não devem ser registrados.
08 · LGPD e privacidade
O tratamento de dados pessoais exige finalidade, base legal adequada e observância dos princípios previstos na LGPD. Minimização, retenção, segurança e transparência devem ser considerados. Pseudonimização não equivale necessariamente à anonimização.
05 · Laboratório de segurança
LAB 05 · RBAC
LAB 06 · CONSULTAS SEGURAS
Permissões e proteção contra injeção SQL
Dois exemplos didáticos: autorização baseada em papéis e separação entre comandos SQL e parâmetros fornecidos pelo usuário.
Controle de acesso por perfil
Selecione um perfil e observe quais operações são permitidas no modelo demonstrativo.
RBAC associa permissões a papéis.
Em sistemas reais,
o servidor deve verificar
as permissões a cada operação.
Ocultar botões na interface
não é uma medida suficiente
de autorização.
SQL Injection e parametrização
Veja a diferença entre concatenar uma entrada diretamente no SQL e utilizar um parâmetro.
Demonstração textual:
nenhum SQL é executado.
Em Python com PostgreSQL,
bibliotecas como psycopg
permitem enviar parâmetros
separadamente do comando SQL.
Parâmetros protegem valores;
identificadores dinâmicos
exigem tratamento específico
e listas de permissão.
06 · Referências
LEI Nº 13.709/2018
LEI Nº 12.965/2014
ISO/IEC 27001
ISO/IEC 27002
ISO/IEC 25012
OWASP
Normas, legislação e boas práticas
Referências para aprofundamento em proteção de dados, segurança da informação e sistemas de banco de dados.
Lei Geral de Proteção de Dados
Tratamento de dados pessoais, princípios, direitos, bases legais e responsabilidades.
Marco Civil da Internet
Princípios, garantias, direitos e deveres relacionados ao uso da internet.
Gestão da segurança da informação
Requisitos para sistemas de gestão da segurança da informação.
Controles de segurança
Orientações e controles relacionados à segurança da informação.
Qualidade dos dados
Modelo de características de qualidade aplicáveis a conjuntos de dados.
Segurança de aplicações e APIs
Materiais de referência sobre riscos e práticas de segurança de software.
Consultar as edições vigentes das normas e os textos legais atualizados antes de sua aplicação.
07 · Expansão
PLANEJADO
PLANEJADO
PLANEJADO
PLANEJADO
PLANEJADO
PLANEJADO
Ferramentas e aplicativos TEKNIVO
Espaços previstos para novos ambientes de estudo e experimentação, organizados por especialidade.
Laboratório SQL
Consultas, joins, índices, transações, planos de execução e modelagem de bancos.
Construtor de pipelines
Modelagem visual de fontes, transformações, validações e destinos.
Laboratório de criptografia
Conceitos de chaves, hashing, assinaturas, certificados e proteção de dados.
Segurança de APIs
Demonstrações de autenticação, autorização, validação e gerenciamento de sessões.
Observabilidade
Logs, métricas, rastreamento de operações e análise de falhas.
TekPlay
Conteúdos audiovisuais para complementar fundamentos, demonstrações e estudos.
08 · Plataforma tecnológica
Conhecimento aplicado a sistemas de dados
A TEKNIVO integra a estrutura tecnológica da Furniture House Ltda. Este ambiente apresenta fundamentos, demonstrações e materiais introdutórios relacionados à Engenharia de Dados.
Os experimentos utilizam dados fictícios e não acessam registros operacionais, credenciais ou serviços internos.