erjulix

Erjulix

Conectando Erlang, Julia, Elixir

Proyecto

Este es mi pequeño y ambicioso proyecto para conectar los diferentes mundos de Erlang/Elixir y Julia:

• Proporcionar un paquete para tres plataformas/idiomas,
• Permítales hablar y llamarse entre ellos.

Ahora los procesos Erlang y Elixir pueden enviarse mensajes entre sí ya que se ejecutan en la misma plataforma BEAM y comparten PID. Pero, ¿qué tal enviar mensajes a Julia y devolverlos a Erlang/Elixir?

Una sesión de muestra

En Julia REPL iniciamos una tarea pServer , que a pedido genera una tarea EvalServer con su propio espacio de nombres de módulo.

julia > using Erjulix, Sockets

julia > pServer ( 6000 )
Task (runnable) @ 0x0000000110b30ab0

En Elixir REPL solicitamos un Julia EvalServer y lo usamos para evaluar expresiones de Julia o para llamar funciones de Julia.

 iex ( 1 ) > { :ok , jl , _ } = :ejx_udp . srv ( 6000 )  # get an eval server from Julia
{ :ok , { { 127 , 0 , 0 , 1 } , 54465 } , "Main.##esm#257" }
iex ( 2 ) > :ejx_udp . eval ( jl , "using .Threads" )
{ :ok , [ ] }
iex ( 3 ) > :ejx_udp . call ( jl , :threadid )
{ :ok , 3 }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 50 ] )
{ :error ,
 "OverflowError( " 50 is too large to look up in the table; consider using `factorial(big(50))` instead " )" }
iex ( 5 ) > :ejx_udp . eval ( jl , """    # define a function on the Julia server
...(5)> function fact(x)
...(5)>     factorial(big(x))
...(5)> end
...(5)> """)
{:ok, "Main.##esm#257.fact"}
iex(6)> :ejx_udp.call(jl, :fact, [50])
{:ok, 30414093201713378043612608166064768844377641568960512000000000000}
iex(7)> :timer.tc(:ejx_udp, :call, [jl, :fact, [55]])
{527,
 {:ok,
  12696403353658275925965100847566516959580321051449436762275840000000000000}}

El último cronometraje muestra que el ping-pong para llamar a la función fact creada por Julia con datos de Elixir y obtener el resultado toma aproximadamente 500 µs con ambas sesiones ejecutándose en la misma máquina (MacBook Pro).

 iex ( 8 ) > a = Enum . map ( 1 .. 10 , fn _ -> :rand . uniform ( ) end )
[ 0.9414436609049482 , 0.08244595999142224 , 0.6727398779368937 ,
 0.18612089183158875 , 0.7414592106015152 , 0.7340558985797445 ,
 0.9511971092470349 , 0.7139960750204088 , 0.31514816254491884 , 0.94168140313657 ]
iex ( 9 ) > :ejx_udp . set ( jl , :a , a )  # create variable a on the Julia server
{ :ok , [ ] }

De vuelta en Julia REPL:

julia > exmod = Erjulix . _ESM[ 1 ]  # get access to the server module
Main. # #esm#257

julia > exmod . a                  # and to the created variable a
10 - element Vector{Any} :
 0.9414436609049482
 0.08244595999142224
 0.6727398779368937
 0.18612089183158875
 ⋮
 0.9511971092470349
 0.7139960750204088
 0.31514816254491884
 0.94168140313657

julia > using Plots ....

Trabajar de forma remota

Si iniciamos nuestro pServer con la dirección IP de la máquina y una clave, la comunicación con clientes remotos se cifra con SHA-256:

julia > getipaddr ()
ip " 192.168.2.113 "

julia > key = Erjulix . genpasswd ( 12 )
" 1XQeFem2NUNw "

julia > pServer ( getipaddr (), 6000 , key)
Task (runnable) @ 0x00000001110e7b90

Usamos la dirección IP de la máquina y esa clave para acceder al pServer desde una Raspberry Pi en la red local:

 iex ( 1 ) > :inet . gethostname ( )
{ :ok , 'raspberrypi' }
iex ( 2 ) > key = "1XQeFem2NUNw"
"1XQeFem2NUNw"
iex ( 3 ) > { :ok , jl , _ } = :ejx_udp . srv ( { { 192 , 168 , 2 , 113 } , 6000 , key } )
{ :ok , { { 192 , 168 , 2 , 113 } , 55052 , "j8Gh3G6dPfJm28UpthL0dXew" } , "Main.##esm#258" }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 20 ] )
{ :ok , 2432902008176640000 }
iex ( 5 ) > :timer . tc ( :ejx_udp , :call , [ jl , :factorial , [ 20 ] ] )
{ 86620 , { :ok , 2432902008176640000 } }

El pServer generó una nueva clave para el acceso de red cifrado al Julia EvalServer . El tiempo muestra que el ping-pong de la red tardó menos de 100 ms entre las dos máquinas (sin cifrado, tarda alrededor de 70 ms).

 iex ( 9 ) > :ejx_udp . client ( jl , :exit )
{ :ok , :done } 

Razón fundamental

Este es un prototipo de interoperabilidad basado en el formato de términos de Erlang sobre UDP.

• Su objetivo es experimentar y aprender antes de proporcionar a Julia Actors la funcionalidad para compartir mensajes con Erlang/Elixir.
• Permite aplicaciones en servicios Web, IoT o microservicios.
• Una aplicación más general, que proporcione interoperabilidad basada en mensajes también con otros lenguajes, debería realizarse con OSC.

Advertencias

Seguridad de subprocesos: por supuesto, acceder al módulo del servidor como se demostró no es seguro para subprocesos y, por lo tanto, no debe realizarse al mismo tiempo.

Seguridad: si comparte direcciones y puertos del servidor UDP, un cliente remoto puede obtener acceso al sistema de archivos. Si proporciona una clave al pServer , las transmisiones de datos utilizarán el cifrado SHA-256.

Hacer

• Implementar la transmisión de datos segura tokenizada JWT,
• Implemente un servidor Elixir para servir a Julia con la funcionalidad Elixir/Erlang.

Dependencias

• El paquete Julia actualmente depende de ErlangTerm.jl .
• La parte de Erlang/Elixir depende de una bifurcación de jwerl , compatible con Erlang/OTP 24. Hay un problema al actualizar el repositorio principal.

Instalación

Cuando esté disponible en el registro de Julia, puede instalar el paquete con

pkg > add Erjulix

Si está disponible en Hex, el paquete se puede instalar en Elixir agregando erjulix a su lista de dependencias en mix.exs :

 def deps do
  [
    { :erjulix , "~> 0.1.0" }
  ]
end

La documentación se puede generar con ExDoc y publicar en HexDocs. Una vez publicados, los documentos se pueden encontrar en https://hexdocs.pm/erjulix.