aws ftp s3 serverless

PoC aws ftp s3 serverless

Das Ziel dieses Projekts besteht darin, Benutzern unter AWS S3-Buckets (gemeinsam genutzte S3-Buckets mit einem „Ordner“ für jeden Benutzer) einen Bereich mit einer Weboberfläche zum Hochladen, Durchsuchen, Herunterladen und Entfernen von Dateien bereitzustellen.

Dieser PoC wurde zwischen asamo7 und davidayalas durchgeführt.

Merkmale:

• Es ist möglich, „Benutzer“ und „Administratoren“ einzurichten.

• Ein Benutzer fügt seinen Benutzernamen (E-Mail aus der SAML-Antwort) zu jedem Schlüssel hinzu (Hochladen, Durchsuchen, Löschen ...). Ein Administrator kann alles unter einem Bucket oder Ordner sehen. Siehe „permissions.csv“.

  • In unserem PoC funktioniert es mit SAML-JWT (https://samltest.id für Demozwecke), das als Lambda bereitgestellt wird (https://github.com/davidayalas/saml-jwt).
  • Sie benötigen einen benutzerdefinierten Autorisierer für Ihr API-Gateway, um das JWT-Token zu validieren (Beispiel hier backend/custom-auth/index.js).
  • Unser benutzerdefinierter Autorisierer fragt mit S3 Select die CSV ab, ruft die Berechtigungen für einen Benutzer ab und fügt die Buckets, Ordner und Rollen zum Kontext hinzu.

• Ein Benutzer kann Ordner hochladen (Drag & Drop) und die Struktur wird in S3 neu erstellt

• Dateien können heruntergeladen werden (keine Verzeichnisse)

• Ordner können gelöscht werden (nicht leer enthalten)

• Ein Benutzer kann einen Ordner erstellen

Architektur

Schnelle Bereitstellung

• Installieren Sie das serverlose Framework: https://www.serverless.com/framework/docs/getting-started/

• Richten Sie AWS-Anmeldeinformationen ein: https://www.serverless.com/framework/docs/providers/aws/cli-reference/config-credentials/

• Aktualisieren Sie „serviceName“ mit Ihrem eigenen in setup.demo.json

• Führen Sie first-deploy.sh aus (erteilen Sie ihm ausführbare Berechtigungen).

    $ chmod +x first-deploy.sh && sh first-deploy.sh
  

• Es werden einige Dateien geändert, damit alles funktioniert. Gehen Sie zu https://samltest.id/upload.php und laden Sie docs/sp-metadata.xml manuell hoch.

• Starten Sie Ihren Server und versuchen Sie es

    $ npm run serve --prefix=frontend
  

Bereitstellungsdetails

• Installieren Sie alle Abhängigkeiten

    $ npm install serverless-s3-sync
    $ npm --prefix ./backend/custom-auth install ./backend/custom-auth
    $ npm --prefix ./backend/login install ./backend/login
    $ npm --prefix ./frontend install ./frontend
  

• Aktualisieren Sie „serviceName“ mit Ihrem eigenen in setup.demo.json

• Grundlegende Umgebungsvariablen für SAML (Ihre eigenen, da die Demo eingerichtet ist):

  • SAML_CERT: Ihr IDP-Saml-Zertifikat als Zeichenfolge
  • IDP_HOST: Ihr IDP
  • JWT_SECRET: um JWT von SAML zu signieren und vom benutzerdefinierten Autorisierer zu validieren

• Generieren Sie eine Frontend-Verteilung

    $ cd frontend
    $ npm run build
  

• Demo bereitstellen

    $ sls deploy
    $ sls info | grep GET -m 1 | awk -F[/:] '{printf "const endpoint={get(){return '''https://"$4"/demo/''';}};export default endpoint;"}' > frontend/src/assets/js/endpoint.js
    $ sls s3sync
  

• Aktualisieren Sie Ihre sp-metadata.xml mit:

  • Ihr Emittent
  • Ihr API-GW-Endpunkt
  • Ihre API-GW-Stufe

• Laden Sie diese Datei auf https://samltest.id/upload.php hoch

Beispielschnittstelle

Backend

1. Hochladen: Dieses Lambda generiert die Signatur für gültige Uploads.

2. Durchsuchen: Dieses Lambda ruft die Objekte in einem Pfad ab

3. Löschen: Dieses Lambda löscht rekursiv alle Objekte in einem Pfad

4. Herunterladen: Dieses Lambda generiert vorsignierte URLs für Objekte, die sicher heruntergeladen werden können

5. Anmeldung: in diesem Fall SAML-basiert, um ein JWT-Token zu generieren.

   • Das Standard-Setup verweist auf samltest.id. Metadaten für samltest.id werden mit https://www.samltool.com/sp_metadata.php generiert:

   • Unter „Attribute Consume Service Endpoint (HTTP-POST)“ müssen Sie Ihren API-Endpunkt angeben:

       https://${api gateway id}.execute-api.${region}.amazonaws.com/${stage}/login/callback
     

   • Aktualisieren Sie in „entityID“ Ihren Aussteller (dasselbe gilt für die Umgebungsvariable für den Login-Handler in serverless.yml).

6. Benutzerdefinierter Autorisierer: Validiert das JWT-Token und fügt zusätzliche Berechtigungen aus CSV hinzu

Frontend

• Neues Frontend basiert auf Vue. Befolgen Sie dann die Anleitung „Erste Schritte“.

• Erstellen Sie die Datei „frontend/src/assets/js/endpoint.js“ mit dem folgenden Inhalt und ersetzen Sie die Werte durch entsprechende Werte

   const endpoint = {
      get ( ) {
          return 'https://${your api id}/${your stage}/' ;
      }
  } ;
      
  export default endpoint ;

• Oder Sie können es aus der SLS-Info-Ausgabe generieren:

    $  sls info | grep GET -m 1 | awk -F[/:] '{printf "const endpoint={get(){return '''https://"$4"/demo/''';}};export default endpoint;"}' > frontend/src/assets/js/endpoint.js
  

TODO

• Quoten
• Teilen