Por Danilo Zimmermann: Não adianta só ter onde colocar os dados, é preciso armazená-los de maneira organizada e eficiente. Na TI, ele é chamado de datalake

Datalakes ganham papel estratégico na era da inteligência artificial

Os datalakes demandam uma arquitetura/engenharia que facilite e agilize o acesso às informações, em um nível qualificado e em larga escala

eu não sei se vcs sabem mas eu trabalho numa ong chamada Base dos Dados que basicamente mantém um datalake incrível de dados públicos e tem uma equipe de educação. nós lançamos recentemente um curso de Análise de Dados Eleitorais com Python e tem uma aula GRÁTIS: www.youtube.com/watch?v=FGbo...

Aula Aberta: Investigando dados de candidatos(as) das Eleições com a BD

YouTube video by Base dos Dados

Pois bora! Nesse momento tô numa task de 8 dimensões e 3 fatos. Todas retroalimentadas. Maior dificuldade é que o ambiente è datalake, então estou simulando DW mas vai dar bom.

E mais, quem assina BD Pro tem acesso aos dados das pesquisas mais recentes! 💚 Considere apoiar a BD com uma assinatura e nos ajude a manter o maior datalake público do Brasil: info.basedosdados.org/bd-pro

BD Pro – A plataforma avançada de dados da Base dos Dados

Pra quem tá aprendendo databricks já notou poucas tabelas Dimensão e fato nessa ferramenta devido o cenário ser datalake e não datawarehouse, famoso DW. Se você precisar criar uma Dim tem método pra gerar ID, que é o monotonically_increasing_id(), mas ele não cria ID sequencial+ #BolhaDev#Dados

hj fiz um procx com condições e ordem!!! to tao felizinha e ainda consegui rodar o R e atualizar um pouquinho de coisa no datalake 🥹🥹

Rodando o primeiro select oficial (leia-se para alguma demanda) no datalake dentro da aws. Datalake este que ajudei a construir (50%) . A sensação é nula.

Conhecem o ClickHouse? É um banco de dados analítico (OLAP), open source, utilizado para queries extremamente performáticas em quantidades massivas de dados. (atualmente estou trabalhando em criar um datalake com ele) github.com/ClickHouse/ClickHouse#bolhadev@samsantosb.bsky.social

GitHub - ClickHouse/ClickHouse: ClickHouse® is a real-time analytics DBMS

ClickHouse® is a real-time analytics DBMS. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.

Estou tendo que renomear metade de um datalake e descobrindo novas formas como as tabelas interagem. Todas elas me asssustam.

Nem o datalake ta bem estruturado, mas o pior de tudo, não para acessar nada sem ser dentro da VDI. Que vontade de em atirar da ponte. O problema nem é a quantidade de sujeira que tem nos dados, mas sim o quão difícil é trabalhar no sistema dos malucos.