技术图 #

LLM应用开发框架 #

向量数据库 #

• PostgreSQL + pgvector
• Weaviate - 一个用Go实现的开源向量数据库。
• Milvus

LLM #

嵌入模型 #

• BAAI/bge-large-zh-v1.5
• shibing624/text2vec-base-chinese

推理框架 #

• vllm
• Xinference

微调 #

• LoRA
• LLaMA-Factory

分布式计算框架 #

• PyTorch
• TensorFlow

云原生基础设施 #

• GPU(VGPU), CPU
• Kubernetes - 资源隔离、调度管理
• Ceph (Orchestrated by Rook) - 分布式存储
• 可观测性(Opentelmetry):
  • Prometheus + otel-collector - 监控报警
  • (ElasticSearch+Kibana/Loki+Grafana) + otel-collector - 日志系统
  • Jaeger/Tempo + otel-collector - 链路追踪
  • LangSmith平替(关注)
    • langfuse
    • langtrace(AGPL V3)