kedro
0.19.9
O Kedro é uma caixa de ferramentas para ciência de dados pronta para produção. Ele usa as melhores práticas de engenharia de software para ajudá -lo a criar engenharia de dados e pipelines de ciência de dados reproduzíveis, sustentáveis e modulares. Você pode descobrir mais em kedro.org.
O Kedro é uma estrutura Python de código aberto hospedado pela LF AI & Data Foundation.
Para instalar o Kedro no Python Package Index (Pypi) Run:
pip install kedro
Também é possível instalar o Kedro usando conda :
conda install -c conda-forge kedro
Nosso guia de partida contém instruções completas de instalação e inclui como configurar ambientes virtuais do Python.
Para acessar a versão mais recente do Kedro antes de seu lançamento oficial, instale -o na filial main .
pip install git+https://github.com/kedro-org/kedro@main
| Recurso | O que é isso? |
|---|---|
| Modelo de projeto | Um modelo de projeto padrão, modificável e fácil de usar com base na ciência dos dados CookieCutter. |
| Catálogo de dados | Uma série de conectores de dados leves usados para salvar e carregar dados em muitos formatos de arquivos e sistemas de arquivos diferentes, incluindo sistemas de arquivos locais e de rede, lojas de objetos em nuvem e HDFs. O catálogo de dados também inclui dados de dados e modelo para sistemas baseados em arquivos. |
| Abstração do pipeline | Resolução automática de dependências entre as funções Python puras e a visualização do pipeline de dados usando o kedro-viz. |
| Padrões de codificação | Desenvolvimento orientado a testes usando pytest , produzir código bem documentado usando SPHINX, criar código com suporte para ruff e usar a biblioteca de log Python padrão. |
| Implantação flexível | Estratégias de implantação que incluem implantação de máquina única ou distribuída, bem como suporte adicional para implantação em Argo, Prefeito, Kubeflow, AWS Lote e Databricks. |
A documentação Kedro explica primeiro como instalar o Kedro e depois apresenta os principais conceitos do Kedro.
Você pode revisar o tutorial dos voos espaciais para criar um projeto Kedro para obter experiência prática.
Para usuários de kedro novos e intermediários, há uma seção abrangente sobre como visualizar projetos kedro usando o kedro-viz.
Uma visualização de pipeline gerada usando kedro-viz
A documentação adicional explica como trabalhar com os notebooks Kedro e Jupyter, e há um conjunto de guias de usuário avançados para os principais recursos do Kedro. Também recomendamos a documentação de referência da API para obter mais informações.
O Kedro é construído sobre nossa prática coletiva (e erros) tentando fornecer aplicativos ML do mundo real que possuem vastas quantidades de dados não vetidos brutos. Desenvolvemos o Kedro para alcançar o seguinte:
Para abordar as principais deficiências de notebooks Jupyter, scripts únicos e código de cola, porque há um foco na criação de código de ciência de dados sustentável
Para aprimorar a colaboração da equipe quando diferentes membros da equipe têm exposição variada a conceitos de engenharia de software
Para aumentar a eficiência, porque conceitos aplicados como modularidade e separação de preocupações inspiram a criação de código de análise reutilizável
Saiba mais sobre como o Kedro pode responder seus casos de uso das Perguntas frequentes do produto no site da Kedro.
A equipe de produtos Kedro e vários colaboradores de código aberto de todo o mundo mantêm o Kedro.
Sim! Congratulamo -nos com todos os tipos de contribuições. Confira nosso guia para contribuir para o Kedro.
Existe uma comunidade crescente em torno de Kedro. Incentivamos você a fazer e responder a perguntas técnicas no Slack e marcar o arquivo de linho das discussões anteriores.
Mantemos uma lista de perguntas frequentes técnicas na documentação do Kedro e você pode encontrar uma lista crescente de postagens, vídeos e projetos que usam o Kedro no repositório awesome-kedro Github. Se você criou alguma coisa com a Kedro, adoraríamos incluí -lo na lista. Basta fazer um PR para adicioná -lo!
Se você é um acadêmico, o Kedro também pode ajudá -lo, por exemplo, como uma ferramenta para resolver o problema da pesquisa reprodutível. Use o botão "Cite este repositório" em nosso repositório para gerar uma citação a partir do arquivo citation.cff.
A estrutura Kedro Core suporta todas as versões do Python que são mantidas ativamente pela equipe CPYTHON Core. Quando uma versão Python chega ao final da vida, o suporte para essa versão é retirado do Kedro. Isso não é considerado uma mudança de ruptura.
O pacote Kedro DataSets segue a Política de Suporte da Versão Python NEP 29. Isso significa que kedro-datasets geralmente descartam o suporte à versão do Python antes kedro . Isso ocorre porque kedro-datasets possui muitas dependências que seguem o NEP 29 e a abordagem de suporte à versão mais conservadora da estrutura Kedro dificulta o gerenciamento dessas dependências corretamente.
Agradecemos nossa comunidade e queremos permanecer conectados. Para isso, oferecemos um formato de bate -papo de café público, onde compartilhamos atualizações e coisas legais em torno do Kedro uma vez a cada duas semanas e lhe damos tempo para fazer suas perguntas ao vivo.
Confira os próximos tópicos de demonstração e datas na página Wiki do Kedro Coffee Chat.
Siga nosso canal de anúncio do Slack para ver anúncios de bate -papo de café Kedro e gravações de demonstração de acesso.
