技术图

技术图 #

LLM应用开发框架 #

向量数据库 #

LLM #

嵌入模型 #

  • BAAI/bge-large-zh-v1.5
  • shibing624/text2vec-base-chinese

推理框架 #

  • vllm
  • Xinference

微调 #

分布式计算框架 #

  • PyTorch
  • TensorFlow

云原生基础设施 #

  • GPU(VGPU), CPU
  • Kubernetes - 资源隔离、调度管理
  • Ceph (Orchestrated by Rook) - 分布式存储
  • 可观测性(Opentelmetry):
    • Prometheus + otel-collector - 监控报警
    • (ElasticSearch+Kibana/Loki+Grafana) + otel-collector - 日志系统
    • Jaeger/Tempo + otel-collector - 链路追踪
    • LangSmith平替(关注)
© 2024 青蛙小白
comments powered by Disqus