青蛙小白
目录

构建一个聊天机器人

https://python.langchain.com/docs/tutorials/chatbot/

先决条件

本教程假定您对以下概念有一定了解：

概述

我们将讨论一个如何设计和实现 LLM 驱动的聊天机器人的示例。这个聊天机器人能够进行对话并记住之前的互动。

请注意，我们构建的这个聊天机器人将仅使用语言模型进行对话。您可能还在寻找其他几个相关概念：

本教程将涵盖基础知识，这对这两个更高级的主题将有帮助，但如果您愿意，可以直接跳到那些部分。

安装

pip install langchain

LangSmith跟踪配置(可选)

略，参见这里

快速入门

首先，让我们学习如何单独使用语言模型。LangChain支持许多不同的语言模型，这里使用OpenAI。

pip install -qU langchain-openai
pip install -qU python-dotenv
from dotenv import load_dotenv
# OPENAI_API_KEY, OPENAI_BASE_URL, MODEL_NAME在.env文件中配置
assert load_dotenv()

import os
MODEL_NAME = os.environ.get("MODEL_NAME")
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model=MODEL_NAME)

让我们首先直接使用模型。ChatModels是 LangChain “Runnables” 的实例，这意味着它们提供了一个标准接口用于交互。要简单地调用模型，我们可以将一系列消息传递给.invoke 方法。

from langchain_core.messages import  HumanMessage
model.invoke([HumanMessage(content="Hi! I'm Bob")])
AIMessage(content='Hi Bob! How can I assist you today?', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 10, 'prompt_tokens': 11, 'total_tokens': 21, 'completion_tokens_details': None}, 'model_name': 'gpt-4o-mini', 'system_fingerprint': 'fp_878413d04d', 'finish_reason': 'stop', 'logprobs': None}, id='run-331e102a-b01d-475a-8407-b7e20055eb88-0', usage_metadata={'input_tokens': 11, 'output_tokens': 10, 'total_tokens': 21})

模型本身是无状态的。例如，如果您提出一个后续问题：

model.invoke([HumanMessage(content="What's my name?")])
AIMessage(content='I don’t know your name! But if you’d like to share it, I’d be happy to use it.', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 24, 'prompt_tokens': 11, 'total_tokens': 35, 'completion_tokens_details': None}, 'model_name': 'gpt-4o-mini', 'system_fingerprint': 'fp_878413d04d', 'finish_reason': 'stop', 'logprobs': None}, id='run-e20fdf3c-ed7a-4cbb-8378-bf2e4d487480-0', usage_metadata={'input_tokens': 11, 'output_tokens': 24, 'total_tokens': 35})

我们可以看到，它没有将之前的对话轮次作为上下文，因此无法回答这个问题。这会导致糟糕的聊天机器人体验！

为了克服这个问题，我们需要将整个对话历史传递给模型。让我们看看这样做会发生什么：

from langchain_core.messages import AIMessage

model.invoke(
    [
        HumanMessage(content="Hi! I'm Bob"),
        AIMessage(content="Hello Bob! How can I assist you today?"),
        HumanMessage(content="What's my name?"),
    ]
)
AIMessage(content='Your name is Bob! How can I help you today?', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 12, 'prompt_tokens': 33, 'total_tokens': 45, 'completion_tokens_details': None}, 'model_name': 'gpt-4o-mini', 'system_fingerprint': 'fp_878413d04d', 'finish_reason': 'stop', 'logprobs': None}, id='run-dc043d5e-c0ed-4c0c-9afb-cee6cd387299-0', usage_metadata={'input_tokens': 33, 'output_tokens': 12, 'total_tokens': 45})

现在我们可以看到得到了一个不错的回应！

这就是聊天机器人能够进行对话互动的基本思路。那么我们该如何最佳实现这一点呢？

消息历史(Message History)

我们可以使用一个Message History类来包装我们的模型，使其具有状态。这将跟踪模型的输入和输出，并将它们存储在某个数据存储中。未来的交互将加载这些消息，并将其作为输入的一部分传递给链。让我们看看如何使用这个！

首先，确保安装langchain-community，因为我们将使用其中的一个集成(integration)来存储消息历史。

pip install langchain_community

之后，我们可以导入相关类并设置我们的链，它将模型包装起来并添加消息历史。这里的一个关键部分是我们作为 get_session_history 传入的函数。这个函数应该接收一个 session_id 并返回一个消息历史对象。这个 session_id 用于区分不同的对话，应该在调用新链时作为配置的一部分传入（我们会展示如何做到这一点）。

from langchain_core.chat_history import  BaseChatMessageHistory, InMemoryChatMessageHistory
from langchain_core.runnables.history import  RunnableWithMessageHistory

store = {}

def get_session_history(session_id: str) -> BaseChatMessageHistory:
    if session_id not in store:
        store[session_id] = InMemoryChatMessageHistory()
    return store[session_id]

with_message_history = RunnableWithMessageHistory(model, get_session_history)

API Reference: BaseChatMessageHistory | InMemoryChatMessageHistory | RunnableWithMessageHistory

我们现在需要创建一个配置config，每次都将其传递给Runable的实例。这个配置包含一些不直接作为输入的信息，但仍然很有用。在这种情况下，我们想要包含一个 session_id。这应该看起来像这样：

config = {"configurable": {"session_id": "abc2"}}
response = with_message_history.invoke(
    [HumanMessage(content="Hi! I'm Bob")],
    config=config,
)

response.content
'Hi Bob! How can I assist you today?'
response = with_message_history.invoke(
    [HumanMessage(content="What's my name?")],
    config=config,
)

response.content
'Your name is Bob! How can I help you today?'

太好了！我们的聊天机器人现在能记住关于我们的事情了。如果我们更改配置以引用不同的session_id，我们可以看到它会重新开始一段全新的对话。

config = {"configurable": {"session_id": "abc3"}}

response = with_message_history.invoke(
    [HumanMessage(content="What's my name?")],
    config=config,
)

response.content
"I don't know your name. If you'd like to share it, feel free!"

然而，我们随时可以回到原来的对话（因为我们将其保存在数据库中）

config = {"configurable": {"session_id": "abc2"}}

response = with_message_history.invoke(
    [HumanMessage(content="What's my name?")],
    config=config,
)

response.content
'Your name is Bob! What would you like to talk about?'

这就是我们如何支持聊天机器人与多个用户进行对话的方式！

目前，我们所做的只是在模型周围添加了一个简单的持久化层。我们可以通过添加提示模板来使其变得更复杂和个性化。

提示模板(Prompt templates)

提示模板有助于将原始用户信息转换为语言模型可以处理的格式。在这种情况下，原始用户输入只是一条消息，我们正在将其传递给语言模型。现在让我们稍微复杂化一下。首先，让我们添加一条带有一些自定义指令的系统消息（但仍然以消息作为输入）。接下来，我们将添加更多输入，而不仅仅是消息。

首先，让我们添加一条系统消息。为此，我们将创建一个ChatPromptTemplate。我们将利用MessagesPlaceholder来传递所有的消息。

from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant. Answer all questions to the best of your ability."),
    MessagesPlaceholder(variable_name="messages")
])
chain = prompt | model

API Reference: ChatPromptTemplate | MessagesPlaceholder

请注意，这略微改变了输入类型 - 我们现在不是传入一个消息列表，而是传入一个带有messages键的字典，其中包含一个消息列表。

response = chain.invoke({"messages": [HumanMessage(content="hi! I'm bob")]})

response.content
'Hi Bob! How can I assist you today?'

我们现在可以像之前一样将其包装在相同的Messages History对象中

with_message_history = RunnableWithMessageHistory(chain, get_session_history)

config = {"configurable": {"session_id": "abc5"}}
response = with_message_history.invoke(
    [HumanMessage(content="Hi! I'm Jim")],
    config=config,
)

response.content
'Hi Jim! How can I assist you today?'
response = with_message_history.invoke(
    [HumanMessage(content="What's my name?")],
    config=config,
)

response.content
'Your name is Jim! How can I help you today?'

太棒了！现在让我们把我们的提示模板变得稍微复杂一些。假设提示模板现在看起来像这样：

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant. Answer all questions to the best of your ability in {language}.",
        ),
        MessagesPlaceholder(variable_name="messages"),
    ]
)

chain = prompt | model

请注意，我们已向提示添加了一种新的language输入。现在，我们可以调用链并传入我们选择的语言。

response = chain.invoke(
    {"messages": [HumanMessage(content="hi! I'm bob")], "language": "Spanish"}
)

response.content
'¡Hola, Bob! ¿Cómo puedo ayudarte hoy?'

现在，让我们将这个更复杂的链包装在一个 Message History 类中。这次，由于输入中有多个键，我们需要指定要用于保存聊天历史的正确键。

with_message_history = RunnableWithMessageHistory(
    chain,
    get_session_history,
    input_messages_key="messages",
)

config = {"configurable": {"session_id": "abc11"}}
response = with_message_history.invoke(
    {"messages": [HumanMessage(content="hi! I'm todd")], "language": "Spanish"},
    config=config,
)

response.content
'¡Hola, Todd! ¿En qué puedo ayudarte hoy?'
response = with_message_history.invoke(
    {"messages": [HumanMessage(content="whats my name?")], "language": "Spanish"},
    config=config,
)

response.content
'Tu nombre es Todd. ¿En qué más puedo ayudarte?'

可以通过使用LangSmith跟踪了解内部发生了什么。

管理对话历史(Managing Conversation History)

当构建聊天机器人时，要理解的一个重要概念是如何管理对话历史。如果任其不受管理，消息列表将无限增长并有可能溢出 LLM 的上下文窗口。因此，重要的是添加一个步骤来限制您传入的消息的大小。

重要的是，您将应该在提示模板之前执行此操作，但在您从消息历史中加载以前的消息之后。

我们可以通过在提示前面添加一个简单的步骤来修改 messages 键，然后将该新链包装在 Message History 类中来实现这一点。

LangChain 附带了一些用于管理消息列表的内置助手。在这种情况下，我们将使用 trim_messages 助手来减少我们发送给模型的消息数量。修剪器允许我们指定要保留的token数，以及其他参数，例如是否要始终保留系统消息以及是否允许部分消息：

from langchain_core.messages import SystemMessage, trim_messages

trimmer = trim_messages(
    max_tokens=65,
    strategy="last",
    token_counter=model,
    include_system=True,
    allow_partial=False,
    start_on="human",
)

messages = [
    SystemMessage(content="you're a good assistant"),
    HumanMessage(content="hi! I'm bob"),
    AIMessage(content="hi!"),
    HumanMessage(content="I like vanilla ice cream"),
    AIMessage(content="nice"),
    HumanMessage(content="whats 2 + 2"),
    AIMessage(content="4"),
    HumanMessage(content="thanks"),
    AIMessage(content="no problem!"),
    HumanMessage(content="having fun?"),
    AIMessage(content="yes!"),
]

trimmer.invoke(messages)

API Reference: SystemMessage | trim_messages

[SystemMessage(content="you're a good assistant", additional_kwargs={}, response_metadata={}),
 HumanMessage(content='whats 2 + 2', additional_kwargs={}, response_metadata={}),
 AIMessage(content='4', additional_kwargs={}, response_metadata={}),
 HumanMessage(content='thanks', additional_kwargs={}, response_metadata={}),
 AIMessage(content='no problem!', additional_kwargs={}, response_metadata={}),
 HumanMessage(content='having fun?', additional_kwargs={}, response_metadata={}),
 AIMessage(content='yes!', additional_kwargs={}, response_metadata={})]

要将其用于我们的链中，我们只需要在将 messages 输入传递给我们的提示之前运行修剪器trimmer即可。

现在，如果我们尝试向模型询问我们的名字，它将不知道，因为我们删除了聊天历史中的那一部分：

from operator import itemgetter

from langchain_core.runnables import RunnablePassthrough

chain = (
    RunnablePassthrough.assign(messages=itemgetter("messages") | trimmer)
    | prompt
    | model
)

response = chain.invoke(
    {
        "messages": messages + [HumanMessage(content="what's my name?")],
        "language": "English",
    }
)
response.content

API Reference: RunnablePassthrough

'I don’t know your name. What is it?'

但是如果我们询问最近几条消息中的信息，它就能记住：

response = chain.invoke(
    {
        "messages": messages + [HumanMessage(content="what math problem did i ask")],
        "language": "English",
    }
)
response.content
'You asked, "What\'s 2 + 2?"'

现在让我们将其包装在 Message History 中

with_message_history = RunnableWithMessageHistory(
    chain,
    get_session_history,
    input_messages_key="messages",
)

config = {"configurable": {"session_id": "abc20"}}
response = with_message_history.invoke(
    {
        "messages": messages + [HumanMessage(content="whats my name?")],
        "language": "English",
    },
    config=config,
)

response.content
"I don't know your name. What would you like me to call you?"

如预期，我们声明名字的第一条消息已被删除。此外，聊天历史中现在有两条新消息（我们的最新问题和最新响应）。这意味着更多以前可以在我们的对话历史中访问的信息现在不再可用！在这种情况下，我们的初始数学问题也被从历史中删除了，因此模型不再知道它：

response = with_message_history.invoke(
    {
        "messages": [HumanMessage(content="what math problem did i ask?")],
        "language": "English",
    },
    config=config,
)

response.content
"You haven't asked a math problem yet. If you have one in mind, feel free to share it!"

可以通过使用LangSmith跟踪了解内部发生了什么。

流式传输(Streaming)

现在我们已经有了一个功能完善的聊天机器人。然而，对于聊天应用程序来说，一个非常重要的用户体验考虑因素是流式传输。大语言模型有时可能需要一些时间才能作出响应，因此为了改善用户体验，大多数应用程序会在生成每个令牌时逐步返回。这使用户能够看到进度。

其实这样做非常简单！

所有链都暴露了 .stream 方法，使用消息历史的链也不例外。我们只需使用该方法即可获取流式响应。

config = {"configurable": {"session_id": "abc15"}}
for r in with_message_history.stream(
    {
        "messages": [HumanMessage(content="hi! I'm todd. tell me a joke")],
        "language": "English",
    },
    config=config,
):
    print(r.content, end="|")
|Hi| Todd|!| Here's| a| joke| for| you|:

|Why| did| the| scare|crow| win| an| award|?

|Because| he| was| outstanding| in| his| field|!||

下一步

现在你了解了如何在LangChain中创建聊天机器人的基础知识，可能会感兴趣的一些更高级的教程包括：

如果你想深入了解具体内容，值得查看的内容有：

评论