Moda コミュニティは vLLM および FastChat と連携して、効率的な LLM 推論および展開サービスを提供します
最近、Moda コミュニティは vLLM および FastChat と協力して、より高速で効率的な LLM 推論および展開サービスを中国の開発者に共同で提供しています。開発者は、vLLM を FastChat の推論エンジンとして使用して、高スループットのモデル推論を提供できます。 FastChat はオープン プラットフォームです。
2025-01-11