技术图 #

LLM应用开发框架 #

向量数据库 #

• PostgreSQL + pgvector
• Weaviate - 一个用Go实现的开源向量数据库。
• Milvus

LLM #

其他模型 #

• 语音识别 openai/whisper-large-v3
• 图片理解 Qwen-VL

推理框架 #

微调 #

• LoRA
• LLaMA-Factory

分布式计算框架 #

• PyTorch
• TensorFlow

云原生基础设施 #

• GPU(VGPU), CPU
• Kubernetes - 资源隔离、调度管理
• Ceph (Orchestrated by Rook) - 分布式存储
• 可观测性(Opentelmetry):
  • Prometheus + otel-collector - 监控报警
  • (ElasticSearch+Kibana/Loki+Grafana) + otel-collector - 日志系统
  • Jaeger/Tempo + otel-collector - 链路追踪
  • LangSmith平替(关注)
    • langfuse
    • langtrace(AGPL V3)

关注中 #

AI Gateway #

针对应用，融合多家LLM ，提供统一接口，Token限制，缓存，熔断，可观测等功能。目前各个LLM厂商能力、差异较大，估计得等大家卷到一定程度，标准统一且能力相对均衡后，才会普及。 另外，这块的功能，有部分被Dify这种开发平台吃掉了。

• APIPark