Por Danilo Zimmermann: Não adianta só ter onde colocar os dados, é preciso armazená-los de maneira organizada e eficiente. Na TI, ele é chamado de datalake
Os datalakes demandam uma arquitetura/engenharia que facilite e agilize o acesso às informações, em um nível qualificado e em larga escala
eu não sei se vcs sabem mas eu trabalho numa ong chamada Base dos Dados que basicamente mantém um datalake incrível de dados públicos e tem uma equipe de educação. nós lançamos recentemente um curso de Análise de Dados Eleitorais com Python e tem uma aula GRÁTIS: www.youtube.com/watch?v=FGbo...
YouTube video by Base dos Dados
Pois bora! Nesse momento tô numa task de 8 dimensões e 3 fatos. Todas retroalimentadas. Maior dificuldade é que o ambiente è datalake, então estou simulando DW mas vai dar bom.
E mais, quem assina BD Pro tem acesso aos dados das pesquisas mais recentes! 💚 Considere apoiar a BD com uma assinatura e nos ajude a manter o maior datalake público do Brasil: info.basedosdados.org/bd-pro
hj fiz um procx com condições e ordem!!! to tao felizinha e ainda consegui rodar o R e atualizar um pouquinho de coisa no datalake 🥹🥹
Rodando o primeiro select oficial (leia-se para alguma demanda) no datalake dentro da aws. Datalake este que ajudei a construir (50%) . A sensação é nula.
Conhecem o ClickHouse? É um banco de dados analítico (OLAP), open source, utilizado para queries extremamente performáticas em quantidades massivas de dados. (atualmente estou trabalhando em criar um datalake com ele) github.com/ClickHouse/ClickHouse#bolhadev@samsantosb.bsky.social
ClickHouse® is a real-time analytics DBMS. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
Estou tendo que renomear metade de um datalake e descobrindo novas formas como as tabelas interagem. Todas elas me asssustam.
Nem o datalake ta bem estruturado, mas o pior de tudo, não para acessar nada sem ser dentro da VDI. Que vontade de em atirar da ponte. O problema nem é a quantidade de sujeira que tem nos dados, mas sim o quão difícil é trabalhar no sistema dos malucos.