s3 deploy

confeti/s3-despliegue

goles | uso | cambios

Funciones de utilidad simples para diferenciar y sincronizar archivos locales con depósitos de S3.

[confetti/s3-deploy " 0.1.4 " ] ; ; latest release 

Objetivos

• una API simple basada en datos para sincronizar archivos locales con un depósito S3
• Capacidades de generación de informes útiles para informar a los usuarios sobre el proceso de sincronización.
• permitir algunos pedidos de cargas para obtener "transaccionalidad falsa"
• permitir la especificación de metadatos personalizados
• fácil de crear scripts con las herramientas de línea de comandos de Clojure

Uso

La mayoría de las funciones que forman parte de la API pública de esta biblioteca operan en mapas simples como el siguiente, también llamados file-maps :

{ :s3-key   " desired/destination/file.txt "
 :file     #object[java.io.File " file.txt.gz " ]
 :metadata { :content-encoding " gzip " }}

Al utilizar file-maps desacoplamos la estructura del sistema de archivos de la estructura que finalmente queremos lograr en nuestro depósito S3 de destino.

De forma predeterminada, los metadatos :content-type se derivan de la extensión del valor que proporcionó como :s3-key .

¡La sincronización es posible a través de confetti.s3-deploy/sync! :

( confetti.s3-deploy/sync! creds bucket-name file-maps)

Para generar file-maps desde un directorio, esta biblioteca incluye un pequeño dir->file-maps que generará mapas de archivos:

( dir->file-maps ( io/file " src " ))
; ;=> [{:s3-key "confetti/s3_deploy.clj",
; ;     :file   #object[java.io.File 0x4795c68f "/Users/martin/code/confetti-s3-deploy/src/confetti/s3_deploy.clj"]}]

Dependiendo de su caso de uso, querrá crear su propia función de generación file-maps . También están disponibles funciones de nivel inferior:

( confetti.s3-deploy/diff* bucket-objects file-maps)

Se puede utilizar para obtener una diferencia entre objetos de depósitos y una colección determinada de file-maps .

( confetti.s3-deploy/calculate-ops bucket-objects file-maps)

Devolverá un vector de operaciones necesarias para sincronizar el depósito con los file-maps proporcionados.

Para más detalles consulte la implementación.

Herramientas CLI

s3-deploy proporciona una API de alto nivel que la hace atractiva para trabajos CLI. Aquí hay un ejemplo mínimo:

 ; ; cat deploy.clj
( require '[confetti.s3-deploy :as s3]
         '[clojure.java.io :as io])

( def dir-to-sync ( io/file " public " ))

( s3/sync!
  { :access-key ( System/getenv " AWS_ACCESS_KEY " )
   :secret-key ( System/getenv " AWS_SECRET_KEY " )}
  ( System/getenv " S3_BUCKET_NAME " )
  ( s3/dir->file-maps dir-to-sync)
  { :dry-run? true
   :report-fn ( fn [{ :keys [s3-key op]}]
                ( println op s3-key))})

Que se puede ejecutar con:

 clj -Sdeps '{:deps {confetti/s3-deploy {:mvn/version "0.1.3"}}}' deploy.clj

Cambios

0.1.4

• Actualice la dependencia del esquema prismático para evitar advertencias Inst

0.1.3

• relajar el esquema en torno a los metadatos de S3 (#19)

0.1.2

• Mejorar la implementación de la función relative-path para que funcione correctamente en Windows. (#16)