原文: Agents, 作者: Julia Wiesinger, Patrick Marlow and Vladimir Vuskovic https://www.kaggle.com/whitepaper-agents 正是推理(reasoning)、逻辑(logic)以及与生成式AI模型相连接的外部信息访问能力的结合，才催生了智能体的概念。 1.引言 人类擅长复杂的模式识别，但常借助书籍、谷歌搜索或计算器等工具补充知识再做判断。类似地，生成式AI模型也能通过训练使用工具，访问实时信息或提供实际操作建议。例如，模型可利用数据库检索工具访问客户购买历史等信息，生成定制化推荐；或根据用户查询，通过API调用发送邮件或完成金融交易。为此，模型不仅需访问外部工具，还需自主规划和执行任务。推理、逻辑和与生成式AI模型相关的外部信息访问共同构成了智能体的概念，即超越生成式AI模型独立能力的程序。本文将详述这些及相关方面。
TGI简介 Text Generation Inference(TGI)是一个用于部署和提供大型语言模型（LLMs）服务的工具包。TGI支持高性能文本生成，适用于最受欢迎的开源大语言模型，包括Llama、Falcon、StarCoder、BLOOM、GPT-NeoX和T5。 TGI是一个基于 Rust、Python 和 gRPC 的文本生成推理服务器，已在Hugging Face的生产环境中使用，用于支持Hugging Chat、推理API和推理端点。
TEI简介 Text Embeddings Inference（TEI）是一个全面的工具包，旨在高效地部署和服务开源文本嵌入模型。它支持对最流行的模型进行高性能提取，包括FlagEmbedding、Ember、GTE和E5。 TEI提供多种功能，旨在优化部署过程并提高整体性能。 简化部署：TEI消除了模型图(model graph)编译步骤，简化了部署过程。 高效资源利用：得益于小的Docker镜像和快速的启动时间，可以实现真正的无服务器功能。 动态批处理：TEI采用基于token的动态批处理，从而在推理过程中优化资源利用。 优化的推理：TEI通过使用优化的Transformers代码来推理，利用Flash Attention、Candle和cuBLASLt。 Safetensors权重加载： TEI加载Safetensors权重以加快启动时间。 生产就绪：TEI支持通过Open Telemetry进行分布式跟踪，并导出Prometheus指标。 支持Metal，可以在Mac上本地执行 Metal
在RAG中，Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术，确保生成模型基于最相关的文档生成回答。通过Rerank，可以剔除不相关的文档，优化检索结果，提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。
1.LangChain Runnable介绍 LangChain的Runnable对象是一种协议(protocol)，它简化创建自定义链(chain)的过程。Runable是使用LangChain开发LLM应用程序的开发人员必须学习的一种抽象。 使用Ruanable协议可以将一系列的任务串联起来，将一个调用的输出作为输入提供给下一个，形成一个完整的流程。
实验环境 OS: Ubuntu 24.04 Python: 3.11 GPU: NVIDIA GeForce RTX 4090 (2个) CUDA Version: 12.6 vLLM安装 见“使用pip安装vLLM” 模型下载 预先使用huggingface-cli下载Qwen/Qwen2.5-14B-Instruct。 Qwen2.5-14B-Instruct部署 启动为兼容OpenAI的API服务。 单机双卡设置CUDA_VISIBLE_DEVICES环境变量。 export CUDA_VISIBLE_DEVICES=0,1 设置了HF_HUB_OFFLINE=1将不会向Hugging Face Hub发起任何HTTP调用。加快加载时间，这也特别适合服务器没有外网访问时。
ell是一个全新的开发大语言模型应用框架。 ell的官方文档里将自己称为"大语言模型编程库", “ell是一个轻量级的提示工程库，将提示(prompt)视为函数”。 现在面向LLM的编程框架层出不穷，LangChain几乎为我们封装了所有，但是有些过于重了。ell的特点是"轻量化"。
Prompt Types 1. Zero shot（零样本） 最佳用途：Simple queries（简单查询） 含义：直接提问，不提供任何示例或背景信息 适用场景：基础问答、简单任务 2. Few shot（少样本） 最佳用途：Examples + query（示例+查询） 含义：提供几个示例来帮助AI理解期望的输出格式或风格 适用场景：需要特定格式或风格的任务 3. Open ended（开放式） 最佳用途：Creative tasks（创意任务） 含义：给AI较大的创作自由度 适用场景：写作、头脑风暴、创意生成 4. Constrained（约束式） 最佳用途：Limited scope（有限范围） 含义：设定明确的限制条件和边界 适用场景：需要精确控制输出范围的任务 5. Structured（结构化） 最佳用途：Formatted output（格式化输出） 含义：要求按照特定结构或格式输出 适用场景：数据整理、报告生成、表格制作 实际应用价值 这个框架可以帮助用户根据不同需求选择合适的提示词策略，提高AI交互的效果和效率。选择正确的提示词类型可以显著改善AI的响应质量和准确性。
本文是基于OpenAI官方Cookbook中的《How to call functions with chat models》学习笔记。 通过OpenAI的Chat Completions API，结合自定义函数，可以打造更智能、更强大的对话代理。我们将详细介绍如何利用tools参数定义函数规范，并通过实际案例演示如何让模型生成符合规范的函数参数，从而实现与外部数据的交互。当前在function calling使用过程中可能遇到的问题，如模型对系统提示的遵循程度，这很大程度上是由模型能力决定。
函数调用是OpenAI的 GPT-4 和 GPT-3.5 Turbo 模型的一项高级功能，它允许模型根据用户的指示决定是否调用特定的函数，并以结构化的形式返回信息，而不仅仅是提供文本回答。这种将大型语言模型与外部工具和API整合的能力，大大增强了模型的应用潜力。 例如，大模型本身无法获取实时天气信息，因为它没有实时数据功能。但通过函数调用，AI可以与外部系统互动，如访问信息检索系统、查询实时天气或执行代码等。这使得基于大型语言模型的智能代理能够执行更复杂的任务，显著提高了模型的实用性和应用范围。