技术图 # LLM应用开发框架 # python # langchain langgraph ell go # genkit for go langchaingo 向量数据库 # PostgreSQL + pgvector Weaviate - 一个用Go实现的开源向量数据库。 Milvus LLM # API # GPT4 Gemini Claude Moonshot GLM-4 Doubao 通义千问 个人本地 # chatglm-6b qwen2.5-7b-instruct (qwen2-7b-instruct) vicuna-7b 嵌入模型 # BAAI/bge-large-zh-v1.5 shibing624/text2vec-base-chinese 推理框架 # vllm Xinference 微调 # LoRA LLaMA-Factory 分布式计算框架 # PyTorch TensorFlow 云原生基础设施 # GPU(VGPU), CPU Kubernetes - 资源隔离、调度管理 Ceph (Orchestrated by Rook) - 分布式存储 可观测性(Opentelmetry): Prometheus + otel-collector - 监控报警 (ElasticSearch+Kibana/Loki+Grafana) + otel-collector - 日志系统 Jaeger/Tempo + otel-collector - 链路追踪 LangSmith平替(关注) langfuse langtrace(AGPL V3)