工具之所以有趣，是因为它们使AI智能体能够拥有更广泛的能力范围。通过添加工具，智能体不再局限于一组有限的动作，而是能够执行多种多样的动作。在本章中，我们将探讨工具使用设计模式，该模式描述了AI智能体如何使用特定工具来实现其目标。
工具使用设计模式聚焦于赋予大语言模型（LLMs）与外部工具交互的能力，以实现特定目标。工具是可以由智能体执行的代码，用于执行动作。一个工具可以是简单的函数，例如计算器，或者是对第三方服务的API调用，例如查询股票价格或天气预报。在AI智能体的背景下，工具被设计为由智能体根据模型生成的函数调用来执行。
关于构建AI智能系统，有许多不同的思考方式。由于在生成式AI设计中，模糊性是一种特性而非缺陷，因此工程师有时会难以确定从哪里开始。
《AI Agents for Beginners》制定了一套以人为中心的用户体验设计原则，旨在帮助开发者构建以客户为中心的智能体系统，以满足他们的业务需求。这些设计原则并不是一种规定性的架构，而是为定义和构建智能体体验的团队提供的起点。
...AutoGen是一个用于构建AI智能体和应用程序的框架。
AutoGen框架由以下几个部分组成：
基于AutoGen 0.4.x版本
AutoGen Core 是一个用于构建可扩展的多智能体AI系统的事件驱动编程框架。示例场景：
如果你正在构建工作流程或分布式智能体系统，请从这里开始。
...AI Agent 框架是专为简化 AI Agent 的创建、部署和管理而设计的软件平台。这些框架为开发者提供了预构建的组件、抽象和工具，从而简化了复杂 AI 系统的开发流程。
通过为 AI Agent 开发中的常见挑战提供标准化的方法，这些框架帮助开发者专注于应用的独特部分。它们提升了构建 AI 系统的可扩展性、可访问性和效率。
...本文是微软AI Agents for Beginners课程的学习笔记。随着AI技术的发展，AI Agent正在成为构建智能应用的重要范式。本文将介绍AI Agent的基础概念、类型和应用场景。
AI Agent是通过为LLMs(大语言模型)提供tools(工具)和knowledge(知识)的访问权限，从而扩展其能力以执行操作(action)的系统(system)。
...Google AI产品Gemini的API有很多免费额度，而且兼容OpenAI API，我也开始使用了它的API了。
从免费额度上看Google还算慷慨， gemini-1.5-flash每天1500次请求也足够个人学习使用。
| 模型名称 | 简介 | 免费层级限制 |
|---|---|---|
| gemini-1.5-flash | 速度最快的多模态模型，在各种重复性任务中表现出色，有100万的上下文窗口 | 15RPM, 1 million TPM, 1500RPD |
| gemini-1.5-flash-8b | 最小的模型，适用于对智能要求不高的场景，100万上下文窗口 | 15RPM, 1 million TPM, 1500RPD |
| gemini-1.5-pro | 下一代模型，200万上下文窗口，已经生产可用 | 2RPM, 32000TPM, 50RPD |
| gemini-1.0-pro | 第一代模型仅提供文本和图像推理，生产可用 | 15RPM, 32000TPM, 1500RPD |
| text-embedding-004 | 文本嵌入模型 | 1500RPM |
- RPM - requests per minute
- TPM - tokens per minute
- RPD requests per day
Gemini API的开通方式，是在Googlle AI Studio中申请API Key。
...原文: Agents, 作者: Julia Wiesinger, Patrick Marlow and Vladimir Vuskovic
正是推理(reasoning)、逻辑(logic)以及与生成式AI模型相连接的外部信息访问能力的结合，才催生了智能体的概念。
人类擅长复杂的模式识别，但常借助书籍、谷歌搜索或计算器等工具补充知识再做判断。类似地，生成式AI模型也能通过训练使用工具，访问实时信息或提供实际操作建议。例如，模型可利用数据库检索工具访问客户购买历史等信息，生成定制化推荐；或根据用户查询，通过API调用发送邮件或完成金融交易。为此，模型不仅需访问外部工具，还需自主规划和执行任务。推理、逻辑和与生成式AI模型相关的外部信息访问共同构成了智能体的概念，即超越生成式AI模型独立能力的程序。本文将详述这些及相关方面。
...Text Generation Inference(TGI)是一个用于部署和提供大型语言模型（LLMs）服务的工具包。TGI支持高性能文本生成，适用于最受欢迎的开源大语言模型，包括Llama、Falcon、StarCoder、BLOOM、GPT-NeoX和T5。
...Text Embeddings Inference（TEI）是一个全面的工具包，旨在高效地部署和服务开源文本嵌入模型。它支持对最流行的模型进行高性能提取，包括FlagEmbedding、Ember、GTE和E5。
TEI提供多种功能，旨在优化部署过程并提高整体性能。
...在RAG中，Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术，确保生成模型基于最相关的文档生成回答。通过Rerank，可以剔除不相关的文档，优化检索结果，提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。
...