Inference #

• vLLM
  • AIBrix
• SGLang
• Text Generation Inference(TGI)
• LlamaEdge
• Chitu（赤兔） - 是一个专注于效率、灵活性和可用性的高性能大语言模型推理框架。