s3 deploy

confete/s3-deploy

metas | uso | mudanças

Funções utilitárias simples para comparar e sincronizar arquivos locais com buckets S3.

[confetti/s3-deploy " 0.1.4 " ] ; ; latest release 

Metas

• uma API simples baseada em dados para sincronizar arquivos locais com um bucket S3
• recursos úteis de relatórios para informar os usuários sobre o processo de sincronização
• permitir alguma ordem de uploads para obter "transacionalidade falsa"
• permitir especificação de metadados personalizados
• fácil de criar scripts com as ferramentas de linha de comando do Clojure

Uso

A maioria das funções que fazem parte da API pública desta biblioteca operam em mapas simples como os seguintes, também chamados de file-maps :

{ :s3-key   " desired/destination/file.txt "
 :file     #object[java.io.File " file.txt.gz " ]
 :metadata { :content-encoding " gzip " }}

Ao usar file-maps dissociamos a estrutura do sistema de arquivos da estrutura que queremos alcançar em nosso bucket S3 de destino.

Por padrão, os metadados :content-type são derivados da extensão do valor que você forneceu como :s3-key .

A sincronização é possível via confetti.s3-deploy/sync! :

( confetti.s3-deploy/sync! creds bucket-name file-maps)

Para gerar file-maps a partir de um diretório, esta biblioteca fornece um pequeno auxiliar dir->file-maps que irá gerar mapas de arquivos:

( dir->file-maps ( io/file " src " ))
; ;=> [{:s3-key "confetti/s3_deploy.clj",
; ;     :file   #object[java.io.File 0x4795c68f "/Users/martin/code/confetti-s3-deploy/src/confetti/s3_deploy.clj"]}]

Dependendo do seu caso de uso, você desejará construir sua própria função de geração file-maps . Funções de nível inferior também estão disponíveis:

( confetti.s3-deploy/diff* bucket-objects file-maps)

Pode ser usado para obter uma comparação entre objetos de buckets e uma determinada coleção de file-maps .

( confetti.s3-deploy/calculate-ops bucket-objects file-maps)

Retornará um vetor de operações necessárias para sincronizar o bucket com os file-maps fornecidos.

Para mais detalhes verifique a implementação.

Ferramentas CLI

s3-deploy fornece uma API de alto nível que o torna atraente para trabalhos CLI. Aqui está um exemplo mínimo:

 ; ; cat deploy.clj
( require '[confetti.s3-deploy :as s3]
         '[clojure.java.io :as io])

( def dir-to-sync ( io/file " public " ))

( s3/sync!
  { :access-key ( System/getenv " AWS_ACCESS_KEY " )
   :secret-key ( System/getenv " AWS_SECRET_KEY " )}
  ( System/getenv " S3_BUCKET_NAME " )
  ( s3/dir->file-maps dir-to-sync)
  { :dry-run? true
   :report-fn ( fn [{ :keys [s3-key op]}]
                ( println op s3-key))})

Que pode ser executado com:

 clj -Sdeps '{:deps {confetti/s3-deploy {:mvn/version "0.1.3"}}}' deploy.clj

Mudanças

0.1.4

• Atualize a dependência do esquema prismático para evitar avisos Inst

0.1.3

• relaxe o esquema em torno dos metadados S3 (#19)

0.1.2

• melhorar a implementação da função relative-path para que funcione corretamente no Windows. (#16)