erjulix

Эрьюликс

Подключение Erlang, Julia, Elixir

Проект

Это мой амбициозный небольшой проект по соединению разных миров Эрланга/Эликсира и Джулии:

• Предоставьте один пакет для трех платформ/языков,
• Позвольте им разговаривать и звонить друг другу.

Теперь процессы Erlang и Elixir могут отправлять сообщения друг другу, поскольку они работают на одной платформе BEAM и имеют общие PID. А как насчет отправки сообщений Джулии и обратно в Эрланг/Эликсир?

Пример сеанса

В Julia REPL мы запускаем задачу pServer , которая по запросу порождает задачу EvalServer с собственным пространством имен модулей.

julia > using Erjulix, Sockets

julia > pServer ( 6000 )
Task (runnable) @ 0x0000000110b30ab0

В Elixir REPL мы запрашиваем Julia EvalServer и используем его для оценки выражений Julia или для вызова функций Julia.

 iex ( 1 ) > { :ok , jl , _ } = :ejx_udp . srv ( 6000 )  # get an eval server from Julia
{ :ok , { { 127 , 0 , 0 , 1 } , 54465 } , "Main.##esm#257" }
iex ( 2 ) > :ejx_udp . eval ( jl , "using .Threads" )
{ :ok , [ ] }
iex ( 3 ) > :ejx_udp . call ( jl , :threadid )
{ :ok , 3 }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 50 ] )
{ :error ,
 "OverflowError( " 50 is too large to look up in the table; consider using `factorial(big(50))` instead " )" }
iex ( 5 ) > :ejx_udp . eval ( jl , """    # define a function on the Julia server
...(5)> function fact(x)
...(5)>     factorial(big(x))
...(5)> end
...(5)> """)
{:ok, "Main.##esm#257.fact"}
iex(6)> :ejx_udp.call(jl, :fact, [50])
{:ok, 30414093201713378043612608166064768844377641568960512000000000000}
iex(7)> :timer.tc(:ejx_udp, :call, [jl, :fact, [55]])
{527,
 {:ok,
  12696403353658275925965100847566516959580321051449436762275840000000000000}}

Последний тайминг показывает, что пинг-понг для вызова созданной функции fact Джулии с данными из Elixir и получения результата обратно занимает примерно 500 мкс, при этом оба сеанса выполняются на одном компьютере (MacBook Pro).

 iex ( 8 ) > a = Enum . map ( 1 .. 10 , fn _ -> :rand . uniform ( ) end )
[ 0.9414436609049482 , 0.08244595999142224 , 0.6727398779368937 ,
 0.18612089183158875 , 0.7414592106015152 , 0.7340558985797445 ,
 0.9511971092470349 , 0.7139960750204088 , 0.31514816254491884 , 0.94168140313657 ]
iex ( 9 ) > :ejx_udp . set ( jl , :a , a )  # create variable a on the Julia server
{ :ok , [ ] }

Вернёмся в Юлю РЕПЛ:

julia > exmod = Erjulix . _ESM[ 1 ]  # get access to the server module
Main. # #esm#257

julia > exmod . a                  # and to the created variable a
10 - element Vector{Any} :
 0.9414436609049482
 0.08244595999142224
 0.6727398779368937
 0.18612089183158875
 ⋮
 0.9511971092470349
 0.7139960750204088
 0.31514816254491884
 0.94168140313657

julia > using Plots ....

Работаем удаленно

Если мы запустим наш pServer с IP-адресом машины и ключом, связь с удаленными клиентами будет зашифрована SHA-256:

julia > getipaddr ()
ip " 192.168.2.113 "

julia > key = Erjulix . genpasswd ( 12 )
" 1XQeFem2NUNw "

julia > pServer ( getipaddr (), 6000 , key)
Task (runnable) @ 0x00000001110e7b90

Мы используем IP-адрес машины и этот ключ для доступа к pServer с Raspberry Pi в локальной сети:

 iex ( 1 ) > :inet . gethostname ( )
{ :ok , 'raspberrypi' }
iex ( 2 ) > key = "1XQeFem2NUNw"
"1XQeFem2NUNw"
iex ( 3 ) > { :ok , jl , _ } = :ejx_udp . srv ( { { 192 , 168 , 2 , 113 } , 6000 , key } )
{ :ok , { { 192 , 168 , 2 , 113 } , 55052 , "j8Gh3G6dPfJm28UpthL0dXew" } , "Main.##esm#258" }
iex ( 4 ) > :ejx_udp . call ( jl , :factorial , [ 20 ] )
{ :ok , 2432902008176640000 }
iex ( 5 ) > :timer . tc ( :ejx_udp , :call , [ jl , :factorial , [ 20 ] ] )
{ 86620 , { :ok , 2432902008176640000 } }

pServer сгенерировал новый ключ для зашифрованного сетевого доступа к Julia EvalServer . Время показывает, что сетевой пинг-понг между двумя машинами занял менее 100 мс (без шифрования это занимает около 70 мс).

 iex ( 9 ) > :ejx_udp . client ( jl , :exit )
{ :ok , :done } 

Обоснование

Это прототип совместимости, основанный на формате терминов Erlang поверх UDP.

• Он нацелен на экспериментирование и обучение, прежде чем предоставить Julia Actors функциональность для обмена сообщениями с Erlang/Elixir.
• Это позволяет использовать приложения в веб-сервисах, IoT или микросервисах.
• Более общее приложение, обеспечивающее взаимодействие на основе сообщений с другими языками, должно быть реализовано с помощью OSC.

Предостережения

Потокобезопасность. Разумеется, доступ к серверному модулю, как продемонстрировано, не является потокобезопасным и поэтому не должен выполняться одновременно.

Безопасность: если вы используете общие адреса и порты UDP-серверов, удаленный клиент может получить доступ к файловой системе. Если вы предоставите ключ pServer , при передаче данных будет использоваться шифрование SHA-256.

Дела

• Внедрить безопасную передачу данных с использованием токенов JWT,
• Внедрите сервер Elixir для обслуживания Julia с функциональностью Elixir/Erlang.

Зависимости

• Пакет Julia в настоящее время зависит от ErlangTerm.jl .
• Часть Erlang/Elixir зависит от вилки jwerl , совместимой с Erlang/OTP 24. Возникла проблема с обновлением основного репозитория.

Установка

Если пакет доступен в реестре Julia, вы можете установить его с помощью

pkg > add Erjulix

Если пакет доступен в Hex, его можно установить в Elixir, добавив erjulix в список зависимостей в mix.exs :

 def deps do
  [
    { :erjulix , "~> 0.1.0" }
  ]
end

Документация может быть создана с помощью ExDoc и опубликована на HexDocs. После публикации документацию можно будет найти по адресу https://hexdocs.pm/erjulix.