synchronicity

Python 3には、Asyncプログラミングに対する素晴らしいサポートがありますが、ライブラリを開発するのが少し難しくなっています。基本的に同じことを行う同期および非同期の方法を実装するのにうんざりしていませんか？これはあなたにとって簡単な解決策かもしれません。

インストール

 pip install synchronicity

背景：なぜこのようなものが必要なのか

非同期関数があるとしましょう

 async def f ( x ):
    await asyncio . sleep ( 1.0 )
    return x ** 2

そして、（何らかの理由で）ユーザーに同期APIを提供したいとしましょう。たとえば、基本的なスクリプトでコードを簡単に実行できるか、ユーザーがほとんどCPUバウンドのものを構築しているため、Asyncioを気にしたくないかもしれません。

同期等価物を作成する「シンプルな」方法は、非同期関数でAsyncio.runを呼び出すことだけである一連の同期関数を実装することです。しかし、これはより複雑なコードにとって素晴らしいソリューションではありません：

• すべての方法/関数に対してこれを行わなければならないのは、退屈なうなり声の仕事です
• asyncio.runは発電機では動作しません
• 多くの場合、通話間で実行されているイベントループを保存する必要があります。

最後のケースは特に挑戦的です。たとえば、永続的な接続が必要なデータベースにクライアントを実装しているとし、Asyncioで構築したいとします。

 class DBConnection :
    def __init__ ( self , url ):
        self . _url = url

    async def connect ( self ):
        self . _connection = await connect_to_database ( self . _url )

    async def query ( self , q ):
        return await self . _connection . run_query ( q )

このコードに同期インターフェイスをどのように公開しますか？問題は、コール全体にイベントループを保存する必要があるため、asyncio.runでconnectとqueryラッピングすることは機能しないことです。少し高度なものが必要であることは明らかです。

このライブラリの使用方法

このライブラリは、個別のスレッドでイベントループを作成するシンプルなSynchronizerクラスを提供し、そのスレッドで同期実行が行われるように関数/ジェネレーター/クラスをラップします。何かを呼び出すと、同期または非同期のコンテキストで実行され、それに応じて動作するかどうかが検出されます。

• 同期の場合、結果が利用可能になるまでブロックするだけです（未来を返すことができることに注意してください。後で参照してください）
• 非同期の場合、それは非同期コードを呼び出すという通常のビジネスと同じように機能します

 from synchronicity import Synchronizer

synchronizer = Synchronizer ()

@ synchronizer . create_blocking
async def f ( x ):
    await asyncio . sleep ( 1.0 )
    return x ** 2


# Running f in a synchronous context blocks until the result is available
ret = f ( 42 )  # Blocks
print ( 'f(42) =' , ret )


async def g ():
    # Running f in an asynchronous context works the normal way
    ret = await f ( 42 )
    print ( 'f(42) =' , ret )

より高度な例

ジェネレーター

デコレータは発電機でも動作します。

 @ synchronizer . create_blocking
async def f ( n ):
    for i in range ( n ):
        await asyncio . sleep ( 1.0 )
	yield i


# Note that the following runs in a synchronous context
# Each number will take 1s to print
for ret in f ( 10 ):
    print ( ret )

クラス全体を同期します

また、クラス上のすべての方法をラッピングすることにより、クラスで動作します。

 @ synchronizer . create_blocking
class DBConnection :
    def __init__ ( self , url ):
        self . _url = url

    async def connect ( self ):
        self . _connection = await connect_to_database ( self . _url )

    async def query ( self , q ):
        return await self . _connection . run_query ( q )


# Now we can call it synchronously, if we want to
db_conn = DBConnection ( 'tcp://localhost:1234' )
db_conn . connect ()
data = db_conn . query ( 'select * from foo' )

戻ってくる先物

また、 _future=True任意の呼び出しに追加することにより、futureオブジェクトをFutureオブジェクトに返すようにすることもできます。これは、ブロッキングコンテキストから多くの呼び出しを派遣する場合に役立ちますが、それらを大まかに並行して解決する必要があります。

 from synchronicity import Synchronizer

synchronizer = Synchronizer ()

@ synchronizer . create_blocking
async def f ( x ):
    await asyncio . sleep ( 1.0 )
    return x ** 2

futures = [ f ( i , _future = True ) for i in range ( 10 )]  # This returns immediately
rets = [ fut . result () for fut in futures ]  # This should take ~1s to run, resolving all futures in parallel
print ( 'first ten squares:' , rets )

他の非同期コードで使用します

このライブラリは、複数のイベントループがある場合、またはCPUバインドのセクションがある場合、または安全のために別のスレッドで実行したい重要なコードがある場合、純粋に非同期設定でも役立ちます。同期された関数/ジェネレーターへのすべての呼び出しは、設計によりスレッドセーフです。これにより、単純なもののためのloop.run_in_executorの便利な代替手段になります。ただし、各シンクロナイザーは1つのスレッドのみを実行することに注意してください。

コンテキストマネージャー

他のクラスと同様に、コンテキストマネージャーのクラスを同期することができ、特別な方法は適切に処理されます。

また、https://docs.python.org/3/library/contextlib.html#contextlib.asynccontextmanagerのように振る舞う@synchronizer.asynccontextmanagerも機能します。

ゴッチャス

• コンテキストマネージャーであるが、コンテキストマネージャーを返す関数では機能しないクラスで機能します
• クラッピングクラスのときに（同じ名前の）新しいクラスが作成されます。これは、同じクラスの非同期の使用がある場合、タイピングの問題につながる可能性があります
• これが入力アノテーションとどのように相互作用するかはわかりません
• クラスが「同期」されている場合、クラスのすべてのメソッドをラップしますが、これは通常、属性に到達できず、非同期コードを実行できないことを意味します。「別のループに添付されている」などのエラーが発生する可能性があります
• すべての同期コードは別のスレッドと別のイベントループで実行されるため、コードを呼び出すと、わずかな追加オーバーヘッドがある可能性があることに注意してください

トドス

• 反対のケースをサポートします。つまり、ブロッキング関数/ジェネレーター/クラス/オブジェクトがあり、非同期と呼びたいです（これは、loop.run_in_executorを使用してプレーン関数の場合は比較的簡単ですが、Pythonには発電機のサポートが組み込まれていません、そしてクラス全体を変えるのはいいことです
• その他のドキュメント
• 先物を返すために選択的にメソッドに注釈を付けることができるようにします
• クラスだけでなく、オブジェクトをその場で同期することを可能にするかもしれません

このライブラリは、手足を散らすエッジです

これは私が個人的なプロジェクトから抜け出したコードであり、戦闘テストされていません。 Pytestを使用して実行できる小さなテストスイートがあります。

リリースプロセス

これを自動化する必要があります...

• Mainから新しいブランチrelease-XYZ作成します
• pyproject.tomlのバンプバージョンからXYZ
• その変更をコミットし、PRを作成します
• PRを緑色にマージします
• チェックアウトメイン
• git tag -a vX.YZ -m "* release bullets"
• gitプッシュ - タグ
• TWINE_USERNAME=__token__ TWINE_PASSWORD="$PYPI_TOKEN_SYNCHRONICITY" make publish