aws serverless data lake framework
1.0.0
Uma iniciativa de código aberto de serviço profissional da AWS | [email protected]
O Data Lake Framework (SDLF) é uma coleção de artefatos reutilizáveis destinados a acelerar a entrega de lagos de dados corporativos na AWS, reduzindo o tempo de implantação para a produção de vários meses para algumas semanas. Ele pode ser usado por equipes, parceiros e clientes da AWS para implementar a estrutura fundamental de um Data Lake seguindo as melhores práticas.
Recomenda -se usar a versão estável mais recente ao configurar o SDLF.
Para usuários do SDLF 1.x, a versão 1 ainda está disponível na ramificação Master. O desenvolvimento de versões mais recentes do SDLF (2.x) ocorre no ramo principal. O workshop ainda contém seções para a versão 1 também.
Um Lake Data oferece agilidade à sua organização. Ele fornece um repositório em que os consumidores podem encontrar rapidamente os dados de que precisam e usá -los em seus projetos de negócios. No entanto, a construção de um lago de dados pode ser complexa; Há muito em que pensar além do armazenamento de arquivos. Por exemplo, como você cataloga os dados para saber o que armazenou? De que pipelines de ingestão você precisa? Como você gerencia a qualidade dos dados? Como você mantém o código para suas transformações sob controle de origem? Como você gerencia ambientes de desenvolvimento, teste e produção? A criação de uma solução que aborda esses casos de uso pode levar muitas semanas e, desta vez, pode ser melhor gasto inovando com dados e atingindo as metas de negócios.
O SDLF é uma coleção de modelos de melhor prática, endurecidos pela produção, que aceleram sua jornada de implementação do Data Lake na AWS, para que você possa se concentrar em casos de uso que geram valor para os negócios.
Se você deseja incluir o nome e/ou o logotipo da sua empresa no arquivo ReadMe para indicar que sua empresa está usando a estrutura do Data Lake sem servidor da AWS, aumente o problema "Apoie o SDLF". Se você deseja exibir o logotipo da sua empresa, aumente uma solicitação de tração vinculada para fornecer um arquivo de imagem para o logotipo. Observe que, ao levantar um suporte ao problema do SDLF (e solicitação de puxão relacionada), você está concedendo permissão da AWS para usar o nome (e o logotipo) da sua empresa para o objetivo limitado descrito aqui e está confirmando que tem autoridade para conceder essa permissão.
Para começar rapidamente com o SDLF, siga nossa oficina:
https://sdlf.workshop.aws/
