Gerenciamento de Conexões — Guia do Usuário
O cadastro de conexões do DATTA é o ponto central para ligar a plataforma a qualquer fonte externa de dados — bancos relacionais, warehouses, query engines, Neo4j, OpenSearch, Kafka, Pulsar, Cassandra, MongoDB, BigQuery, arquivos e dezenas de outras. Você cadastra a fonte uma única vez, em poucos cliques, e a plataforma cataloga o conteúdo automaticamente no momento da conexão — sem duplicatas e com as credenciais sempre protegidas.
Este guia cobre a experiência do usuário final e do administrador. Para arquitetura e implantação, veja acesso a dados e o runbook de conexões.
Onde você cria conexões
A tela dedicada é — é lá que você lista, cria, edita e revoga conexões. Mas você não precisa sair do seu fluxo de trabalho: o mesmo diálogo de cadastro, com o mesmo comportamento, abre de dentro do:
- DATTABI — Preparar Dados, ao montar um dataset para um dashboard.
- Designer de Pipeline do Extract, no componente de origem.
- Extract Quick, no componente de origem — aqui o botão + Nova conexão leva você para , por decisão de design.
- Catálogo de Dados, na criação de dataset.
Nenhuma parte da plataforma guarda conexão em base própria: o cadastro é único e o registro é idempotente — cadastrar duas vezes a mesma configuração devolve a mesma conexão, nunca uma duplicata. Criar conexão sem catalogar é anti-pattern na plataforma (Diretrizes do Projeto §7).
O que aparece na tela de conexões
A lista traz as colunas Nome, Tipo, Host, Visibilidade, Status, Última catalogação e Ações.
Passo a passo: cadastrar uma conexão
- Abra e clique em + Nova conexão.
- Escolha o Tipo da fonte na lista (as categorias estão detalhadas adiante).
- Preencha host, porta, database, usuário e senha.
- Defina a Visibilidade:
PRIVATE(só você),WORKSPACE(usuários do workspace, quando passado explicitamente) ouPUBLIC(todos os usuários da instância — requer perfil de administrador). - Ajuste as opções específicas do tipo (TLS, SSL, mecanismo SASL, etc.).
- Ao submeter, a plataforma:
- Testa antes de salvar e mostra o resultado do teste na hora — você só persiste o que já sabe que funciona.
- Deduplica: se já existe uma conexão com o mesmo
tipo+host+porta+banco+usuário, ela é reaproveitada e apenas a sua credencial é vinculada a ela. - Dispara a catalogação automática em segundo plano (veja a seção seguinte).
- Fecha o diálogo e devolve a conexão pronta para uso ao fluxo de onde você veio.
Tipos oferecidos no seletor:
- Relacionais: PostgreSQL, MySQL, MariaDB, SQLite, H2, CockroachDB, TimescaleDB, MSSQL, Oracle, IBM Db2, SAP HANA, Firebird, Vertica, Exasol.
- Warehouses: Snowflake, Redshift, Azure Synapse, Databricks, BigQuery.
- Query engines: Trino, PrestoDB, Spark Thrift, Hive, Impala, Phoenix, Drill, Druid, Pinot.
- Colunar / analítico: DuckDB, ClickHouse, Apache Doris, StarRocks.
- Time-series: QuestDB, IoTDB, InfluxDB 3.x (Flight SQL).
- Nativos: Neo4j, OpenSearch, Elasticsearch, Cassandra, MongoDB, Kafka, Pulsar.
Catalogação automática ao conectar (ACOC)
Toda criação de conexão automaticamente enfileira uma varredura de catalogação. Não há opt-out para o usuário comum.
O que a varredura faz
- Introspecção: schemas, tabelas, colunas, índices, labels, coleções, tópicos — conforme o tipo da fonte.
- Métricas de qualidade: atualidade (último
MAX(timestamp)), completude (% de nulos), contagem de valores distintos por coluna e detecção de dados pessoais (CPF, CNPJ, e-mail, cartão e telefone — a lista de padrões é configurável). - Amostra de preview: 100 linhas guardadas no cache da plataforma.
- Publicação no catálogo: cada dataset descoberto é registrado (ou atualizado) no Knowledge Catalog.
- Trilha de auditoria:
CONNECTION.AUTO_CATALOG_STARTED,..._COMPLETEDe..._FAILED. - Progresso em tempo real: a tela acompanha a varredura conforme ela avança.
A varredura não bloqueia nada
A conexão fica utilizável imediatamente após o cadastro retornar. A varredura roda em segundo plano e os datasets vão aparecendo no navegador de datasets à medida que são catalogados.
Limites de proteção (administrador)
| Propriedade | Padrão | Descrição |
|---|---|---|
datta.acoc.max-tables-per-scan | 500 | Limite de tabelas introspectadas. |
datta.acoc.max-concurrent-scans | 4 | Varreduras simultâneas por instância. |
datta.acoc.rate-limit-per-source-per-min | 60 | Requisições por minuto para a fonte. |
datta.acoc.enabled | true | Chave geral (somente ADMIN). |
datta.acoc.per-connection-disabled | false | Administrador pode desabilitar por conexão. |
Desabilitar a catalogação automática de uma conexão exige justificativa, que fica registrada na auditoria (CONNECTION.AUTO_CATALOG_DISABLED).
Recatalogação manual
O administrador pode forçar uma nova varredura a qualquer momento — útil para capturar mudanças de estrutura (DDL) na fonte. A ação é restrita ao perfil de administrador.
Visibilidade: quem vê qual conexão
| Visibilidade | Quem enxerga |
|---|---|
PRIVATE | Somente quem criou a conexão |
WORKSPACE | Quem criou + usuários explicitamente compartilhados; não vaza entre workspaces |
PUBLIC | Todos os usuários autenticados (criação restrita a administradores) |
Os datasets catalogados herdam a visibilidade da conexão — e o administrador pode restringir ainda mais, dataset a dataset.
Credenciais: individuais e protegidas
- Credenciais nunca são armazenadas em texto claro: o cofre de credenciais da plataforma usa criptografia em envelope (chave mestra guardada como segredo da instalação, com uma chave de dados por vínculo).
- Cada usuário tem a sua: duas pessoas podem usar a mesma conexão física com credenciais diferentes, cada uma com o seu nível de acesso na fonte.
- Rotação: o administrador pode forçar rotação global — os usuários são avisados e a senha é pedida de novo na próxima operação. Rotacionar a sua credencial altera apenas o seu vínculo, sem afetar mais ninguém.
Impressão digital e deduplicação
fingerprint = sha256(tipo + "|" + host + "|" + porta + "|" + database + "|" + usuário)Repare: a credencial não entra na impressão digital. É isso que garante que, se Ana e Bob cadastrarem postgres://analytics.local:5432/warehouse com usuários diferentes, exista uma conexão no catálogo e dois vínculos de credencial.
Editar, revogar e rotacionar
- Editar: altera host, porta ou configuração. Se a mudança apontar para outra fonte física, ela gera uma nova impressão digital — logo, uma nova conexão — e a antiga é marcada como deprecada.
- Revogar: marca a conexão como
REVOKED. Todos os scripts DATTAX que a referenciam passam a falhar com mensagem explicativa em português, nunca com erro críptico. - Rotacionar credencial: altera somente o vínculo de credencial do usuário atual.
Toda mutação gera evento de auditoria: CONNECTION.CREATE, CONNECTION.UPDATE, CONNECTION.REVOKE e CONNECTION.ROTATE_CREDENTIAL.
Tipos de fonte suportados (resumo)
| Categoria | Exemplos | Acesso |
|---|---|---|
| Relacional open-source | PostgreSQL, MySQL, MariaDB, SQLite, H2, Derby, HSQLDB | JDBC + dialetos |
| Relacional compatível | CockroachDB (→PG), TimescaleDB (→PG), QuestDB (→PG), Azure Synapse (→MSSQL) | JDBC |
| Enterprise | Oracle (manual), SQL Server, SAP HANA, Teradata, Db2 | JDBC |
| Warehouse | Snowflake, Redshift, Databricks (manual) | JDBC |
| Query engines | Trino, PrestoDB, Hive, Impala (manual), Phoenix, Drill | JDBC |
| Colunar | DuckDB, ClickHouse, Doris (→MySQL), StarRocks (→MySQL) | JDBC |
| Time-series | QuestDB, IoTDB, InfluxDB 3.x | JDBC + Flight SQL |
| Grafos | Neo4j | Nativo |
| Busca | OpenSearch, Elasticsearch | Nativo |
| NoSQL | Cassandra, MongoDB | Nativo |
| Warehouse cloud | BigQuery | Nativo (Storage API) |
| Streams | Kafka, Pulsar | Nativo |
| CDC | Debezium (Postgres, MySQL, SQL Server) | Nativo via Kafka |
| Arquivos | CSV / Parquet / JSON / TSV no armazenamento da plataforma | Nativo |
A lista completa de drivers, com instalação e governança, está no guia de drivers JDBC.
Solução de problemas
"Não foi possível conectar" ao criar
- Confirme que o host é alcançável a partir da plataforma (rede, túnel, firewall) e que porta, banco e credencial estão corretos.
- Erro de handshake TLS: desmarque a opção de TLS ou peça ao administrador para confiar no certificado da fonte.
- Por segurança, a plataforma mantém uma lista de hosts permitidos (proteção contra SSRF); o administrador pode ampliá-la na configuração da instalação.
A varredura travou ou falhou
- A tela mostra o estado da varredura em andamento para cada conexão.
- O administrador pode reenfileirar a varredura pela própria tela.
- Se os limites de proteção descritos acima foram atingidos, a varredura é adiada e retomada automaticamente.
Credencial expirada
- O diálogo mostra: "Sua credencial expirou. Informe novamente a senha para continuar."
- Só o seu vínculo de credencial é afetado; os demais usuários seguem trabalhando.
Conexão órfã (sem usuário vinculado)
- Acontece quando o último usuário com vínculo é desativado.
- O administrador consegue listar as conexões órfãs e, a partir daí, revogá-la ou reatribuí-la a outro usuário pela tela de conexões.
Automação
Tudo o que a tela faz — criar, criar de forma idempotente, listar, consultar o detalhe, testar, recatalogar, acompanhar o progresso e revogar conexões, além de reatribuir vínculos de credencial — também está disponível pela API da plataforma. Os caminhos, parâmetros e permissões estão na referência de API.
Referências
- Drivers JDBC.
- Acesso a dados.
- Runbook operacional de conexões.