技术图

LLM应用开发框架

向量数据库

• PostgreSQL + pgvector
• Weaviate - 一个用Go实现的开源向量数据库。
• Milvus

LLM

其他模型

• 语音识别 openai/whisper-large-v3
• 图片理解 Qwen-VL

推理框架

微调

• LoRA
• LLaMA-Factory

安全

• Agentic Security - 专门为大模型设计的安全扫描器。可检测"提示注入"、“越狱漏洞"等多种威胁。支持多模态攻击测试、全面模糊测试和API集成.

分布式计算框架

• PyTorch
• TensorFlow

云原生基础设施

• GPU(VGPU), CPU
• Kubernetes - 资源隔离、调度管理
• Ceph (Orchestrated by Rook) - 分布式存储
• 可观测性(Opentelmetry):
  • Prometheus + otel-collector - 监控报警
  • (ElasticSearch+Kibana/Loki+Grafana) + otel-collector - 日志系统
  • Jaeger/Tempo + otel-collector - 链路追踪
  • LangSmith平替(关注)
    • langfuse
    • opik
    • langtrace(AGPL V3)

关注中

AI Gateway

针对应用，融合多家LLM ，提供统一接口，Token限制，缓存，熔断，可观测等功能。目前各个LLM厂商能力、差异较大，估计得等大家卷到一定程度，标准统一且能力相对均衡后，才会普及。 另外，这块的功能，有部分被Dify这种开发平台吃掉了。

• APIPark
• GPT-Load - 一个高性能、企业级的 AI 接口透明代理服务，专门为需要集成多种 AI 服务的企业和开发者设计。采用 Go 语言开发，具备智能密钥管理、负载均衡和完善的监控功能，专为高并发生产环境而设计。