erjulix

Erjulix

Conectando Erlang, Julia, Elixir

Projeto

Este é meu pequeno projeto ambicioso para conectar os diferentes mundos de Erlang/Elixir e Julia:

• Forneça um pacote para três plataformas/idiomas,
• Permita que eles conversem e liguem um para o outro.

Agora os processos Erlang e Elixir podem enviar mensagens entre si, pois são executados na mesma plataforma BEAM e compartilham PIDs. Mas que tal enviar mensagens para Julia e de volta para Erlang/Elixir?

Uma sessão de amostra

No Julia REPL iniciamos uma tarefa pServer , que sob demanda gera uma tarefa EvalServer com seu próprio namespace de módulo.

julia > using Erjulix, Sockets

julia > pServer ( 6000 )
Task (runnable) @ 0x0000000110b30ab0

No Elixir REPL solicitamos um Julia EvalServer e o usamos para avaliar expressões Julia ou para chamar funções Julia.

 iex ( 1 ) > { :ok , jl , _ } = :ejx_udp . srv ( 6000 )  # get an eval server from Julia
{ :ok , { { 127 , 0 , 0 , 1 } , 54465 } , "Main.##esm#257" }
iex ( 2 ) > :ejx_udp . eval ( jl , "using .Threads" )
{ :ok , [ ] }
iex ( 3 ) > :ejx_udp . call ( jl , :threadid )
{ :ok , 3 }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 50 ] )
{ :error ,
 "OverflowError( " 50 is too large to look up in the table; consider using `factorial(big(50))` instead " )" }
iex ( 5 ) > :ejx_udp . eval ( jl , """    # define a function on the Julia server
...(5)> function fact(x)
...(5)>     factorial(big(x))
...(5)> end
...(5)> """)
{:ok, "Main.##esm#257.fact"}
iex(6)> :ejx_udp.call(jl, :fact, [50])
{:ok, 30414093201713378043612608166064768844377641568960512000000000000}
iex(7)> :timer.tc(:ejx_udp, :call, [jl, :fact, [55]])
{527,
 {:ok,
  12696403353658275925965100847566516959580321051449436762275840000000000000}}

O último tempo mostra que o pingue-pongue para chamar a função fact Julia criada com dados do Elixir e recuperar o resultado leva cerca de 500 µs com ambas as sessões rodando na mesma máquina (MacBook Pro).

 iex ( 8 ) > a = Enum . map ( 1 .. 10 , fn _ -> :rand . uniform ( ) end )
[ 0.9414436609049482 , 0.08244595999142224 , 0.6727398779368937 ,
 0.18612089183158875 , 0.7414592106015152 , 0.7340558985797445 ,
 0.9511971092470349 , 0.7139960750204088 , 0.31514816254491884 , 0.94168140313657 ]
iex ( 9 ) > :ejx_udp . set ( jl , :a , a )  # create variable a on the Julia server
{ :ok , [ ] }

De volta ao Julia REPL:

julia > exmod = Erjulix . _ESM[ 1 ]  # get access to the server module
Main. # #esm#257

julia > exmod . a                  # and to the created variable a
10 - element Vector{Any} :
 0.9414436609049482
 0.08244595999142224
 0.6727398779368937
 0.18612089183158875
 ⋮
 0.9511971092470349
 0.7139960750204088
 0.31514816254491884
 0.94168140313657

julia > using Plots ....

Trabalhando remotamente

Se iniciarmos nosso pServer com o endereço IP da máquina e uma chave, a comunicação com clientes remotos será criptografada em SHA-256:

julia > getipaddr ()
ip " 192.168.2.113 "

julia > key = Erjulix . genpasswd ( 12 )
" 1XQeFem2NUNw "

julia > pServer ( getipaddr (), 6000 , key)
Task (runnable) @ 0x00000001110e7b90

Usamos o endereço IP da máquina e essa chave para acessar o pServer de um Raspberry Pi na rede local:

 iex ( 1 ) > :inet . gethostname ( )
{ :ok , 'raspberrypi' }
iex ( 2 ) > key = "1XQeFem2NUNw"
"1XQeFem2NUNw"
iex ( 3 ) > { :ok , jl , _ } = :ejx_udp . srv ( { { 192 , 168 , 2 , 113 } , 6000 , key } )
{ :ok , { { 192 , 168 , 2 , 113 } , 55052 , "j8Gh3G6dPfJm28UpthL0dXew" } , "Main.##esm#258" }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 20 ] )
{ :ok , 2432902008176640000 }
iex ( 5 ) > :timer . tc ( :ejx_udp , :call , [ jl , :factorial , [ 20 ] ] )
{ 86620 , { :ok , 2432902008176640000 } }

O pServer gerou uma nova chave para acesso de rede criptografada ao Julia EvalServer . O tempo mostra que o pingue-pongue da rede demorou menos de 100 ms entre as duas máquinas (sem criptografia demora cerca de 70 ms).

 iex ( 9 ) > :ejx_udp . client ( jl , :exit )
{ :ok , :done } 

Justificativa

Este é um protótipo de interoperabilidade baseado no Term Format de Erlang sobre UDP.

• O objetivo é experimentar e aprender antes de fornecer a Julia Actors a funcionalidade de compartilhamento de mensagens com Erlang/Elixir.
• Permite aplicações em serviços Web, IoT ou microsserviços.
• Uma aplicação mais geral, fornecendo interoperabilidade baseada em mensagens também com outras linguagens, deveria ser feita com OSC.

Advertências

Segurança de thread: É claro que acessar o módulo do servidor conforme demonstrado não é seguro para thread e, portanto, não deve ser feito simultaneamente.

Segurança: Se você compartilhar endereços e portas do servidor UDP, um cliente remoto poderá obter acesso ao sistema de arquivos. Se você fornecer uma chave para o pServer , as transmissões de dados usarão criptografia SHA-256.

Pendência

• Implementar transmissão segura de dados tokenizada JWT,
• Implemente um servidor Elixir para servir Julia com funcionalidade Elixir/Erlang.

Dependências

• O pacote Julia atualmente depende de ErlangTerm.jl .
• A parte Erlang/Elixir depende de um fork de jwerl , compatível com Erlang/OTP 24. Há um problema para atualizar o repositório principal.

Instalação

Quando disponível no registro Julia, você pode instalar o pacote com

pkg > add Erjulix

Se disponível em Hex, o pacote pode ser instalado no Elixir adicionando erjulix à sua lista de dependências em mix.exs :

 def deps do
  [
    { :erjulix , "~> 0.1.0" }
  ]
end

A documentação pode ser gerada com ExDoc e publicada em HexDocs. Depois de publicados, os documentos podem ser encontrados em https://hexdocs.pm/erjulix.