erjulix

Erjulix

Erlang, Julia, Elixier verbinden

Projekt

Dies ist mein ehrgeiziges kleines Projekt, um die verschiedenen Welten von Erlang/Elixir und Julia zu verbinden:

• Bereitstellung eines Pakets für drei Plattformen/Sprachen,
• Erlauben Sie ihnen, miteinander zu reden und anzurufen.

Jetzt können Erlang- und Elixir-Prozesse Nachrichten aneinander senden, da sie auf derselben BEAM-Plattform laufen und PIDs teilen. Aber wie wäre es, Nachrichten an Julia und zurück an Erlang/Elixir zu senden?

Eine Probesitzung

In der Julia REPL starten wir eine pServer Aufgabe, die bei Bedarf eine EvalServer -Aufgabe mit einem eigenen Modul-Namespace erzeugt.

julia > using Erjulix, Sockets

julia > pServer ( 6000 )
Task (runnable) @ 0x0000000110b30ab0

In der Elixir REPL fordern wir einen Julia EvalServer an und verwenden ihn, um Julia-Ausdrücke auszuwerten oder Julia-Funktionen aufzurufen.

 iex ( 1 ) > { :ok , jl , _ } = :ejx_udp . srv ( 6000 )  # get an eval server from Julia
{ :ok , { { 127 , 0 , 0 , 1 } , 54465 } , "Main.##esm#257" }
iex ( 2 ) > :ejx_udp . eval ( jl , "using .Threads" )
{ :ok , [ ] }
iex ( 3 ) > :ejx_udp . call ( jl , :threadid )
{ :ok , 3 }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 50 ] )
{ :error ,
 "OverflowError( " 50 is too large to look up in the table; consider using `factorial(big(50))` instead " )" }
iex ( 5 ) > :ejx_udp . eval ( jl , """    # define a function on the Julia server
...(5)> function fact(x)
...(5)>     factorial(big(x))
...(5)> end
...(5)> """)
{:ok, "Main.##esm#257.fact"}
iex(6)> :ejx_udp.call(jl, :fact, [50])
{:ok, 30414093201713378043612608166064768844377641568960512000000000000}
iex(7)> :timer.tc(:ejx_udp, :call, [jl, :fact, [55]])
{527,
 {:ok,
  12696403353658275925965100847566516959580321051449436762275840000000000000}}

Das letzte Timing zeigt, dass der Ping-Pong zum Aufrufen der erstellten Julia- fact mit Daten von Elixir und zum Zurückholen des Ergebnisses etwa 500 µs dauert, wenn beide Sitzungen auf demselben Computer (MacBook Pro) laufen.

 iex ( 8 ) > a = Enum . map ( 1 .. 10 , fn _ -> :rand . uniform ( ) end )
[ 0.9414436609049482 , 0.08244595999142224 , 0.6727398779368937 ,
 0.18612089183158875 , 0.7414592106015152 , 0.7340558985797445 ,
 0.9511971092470349 , 0.7139960750204088 , 0.31514816254491884 , 0.94168140313657 ]
iex ( 9 ) > :ejx_udp . set ( jl , :a , a )  # create variable a on the Julia server
{ :ok , [ ] }

Zurück in der Julia REPL:

julia > exmod = Erjulix . _ESM[ 1 ]  # get access to the server module
Main. # #esm#257

julia > exmod . a                  # and to the created variable a
10 - element Vector{Any} :
 0.9414436609049482
 0.08244595999142224
 0.6727398779368937
 0.18612089183158875
 ⋮
 0.9511971092470349
 0.7139960750204088
 0.31514816254491884
 0.94168140313657

julia > using Plots ....

Aus der Ferne arbeiten

Wenn wir unseren pServer mit der IP-Adresse der Maschine und einem Schlüssel starten, wird die Kommunikation mit Remote-Clients SHA-256-verschlüsselt:

julia > getipaddr ()
ip " 192.168.2.113 "

julia > key = Erjulix . genpasswd ( 12 )
" 1XQeFem2NUNw "

julia > pServer ( getipaddr (), 6000 , key)
Task (runnable) @ 0x00000001110e7b90

Wir verwenden die IP-Adresse der Maschine und diesen Schlüssel, um von einem Raspberry Pi im lokalen Netzwerk auf den pServer zuzugreifen:

 iex ( 1 ) > :inet . gethostname ( )
{ :ok , 'raspberrypi' }
iex ( 2 ) > key = "1XQeFem2NUNw"
"1XQeFem2NUNw"
iex ( 3 ) > { :ok , jl , _ } = :ejx_udp . srv ( { { 192 , 168 , 2 , 113 } , 6000 , key } )
{ :ok , { { 192 , 168 , 2 , 113 } , 55052 , "j8Gh3G6dPfJm28UpthL0dXew" } , "Main.##esm#258" }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 20 ] )
{ :ok , 2432902008176640000 }
iex ( 5 ) > :timer . tc ( :ejx_udp , :call , [ jl , :factorial , [ 20 ] ] )
{ 86620 , { :ok , 2432902008176640000 } }

Der pServer hat einen neuen Schlüssel für den verschlüsselten Netzwerkzugriff auf den Julia EvalServer generiert. Das Timing zeigt, dass Netzwerk-Ping-Pong zwischen den beiden Maschinen weniger als 100 ms dauerte (ohne Verschlüsselung dauert es etwa 70 ms).

 iex ( 9 ) > :ejx_udp . client ( jl , :exit )
{ :ok , :done } 

Begründung

Dies ist ein Prototyp für Interoperabilität basierend auf Erlangs Term Format over UDP.

• Es zielt darauf ab, zu experimentieren und zu lernen, bevor Julia Actors Funktionen zum Teilen von Nachrichten mit Erlang/Elixir bereitgestellt werden.
• Es ermöglicht Anwendungen in Web Services, IoT oder Microservices.
• Eine allgemeinere Anwendung, die nachrichtenbasierten Interop auch mit anderen Sprachen ermöglicht, sollte mit OSC erfolgen.

Vorbehalte

Thread-Sicherheit: Natürlich ist der Zugriff auf das Servermodul wie gezeigt nicht threadsicher und sollte daher nicht gleichzeitig erfolgen.

Sicherheit: Wenn Sie UDP-Server-Adressen und -Ports freigeben, kann ein Remote-Client Zugriff auf das Dateisystem erhalten. Wenn Sie dem pServer einen Schlüssel zur Verfügung stellen, erfolgt die Datenübertragung mit SHA-256-Verschlüsselung.

ToDo

• Implementieren Sie eine sichere Datenübertragung mit JWT-Token,
• Implementieren Sie einen Elixir-Server, um Julia die Elixir/Erlang-Funktionalität bereitzustellen.

Abhängigkeiten

• Das Julia-Paket hängt derzeit von ErlangTerm.jl ab.
• Der Erlang/Elixir-Teil hängt von einem Zweig von jwerl ab, der mit Erlang/OTP 24 kompatibel ist. Es gibt ein Problem beim Aktualisieren des Haupt-Repos.

Installation

Wenn es in der Julia-Registrierung verfügbar ist, können Sie das Paket mit installieren

pkg > add Erjulix

Wenn es in Hex verfügbar ist, kann das Paket in Elixir installiert werden, indem Sie erjulix zu Ihrer Liste der Abhängigkeiten in mix.exs hinzufügen:

 def deps do
  [
    { :erjulix , "~> 0.1.0" }
  ]
end

Dokumentationen können mit ExDoc erstellt und auf HexDocs veröffentlicht werden. Nach der Veröffentlichung sind die Dokumente unter https://hexdocs.pm/erjulix zu finden.