技术图谱 #
LLM应用开发框架 #
向量数据库 #
- PostgreSQL + pgvector
- Weaviate - 一个用Go实现的开源向量数据库。
- Milvas
LLM #
嵌入模型 #
- BAAI/bge-large-zh-v1.5
- shibing624/text2vec-base-chinese
推理框架 #
- vllm
- Xinference
微调 #
分布式计算框架 #
- PyTorch
- TensorFlow
云原生基础设施 #
- GPU(VGPU), CPU
- Kubernetes - 资源隔离、调度管理
- Ceph (Orchestrated by Rook) - 分布式存储
- 可观测性(Opentelmetry):
- Prometheus + otel-collector - 监控报警
- (ElasticSearch+Kibana/Loki+Grafana) + otel-collector - 日志系统
- Jaeger/Tempo + otel-collector - 链路追踪