Blog

OpenAI Function Calling学习笔记02:如何使用聊天模型调用函数

2024-08-18
Aigc

本文是基于OpenAI官方Cookbook中的《How to call functions with chat models》学习笔记。

通过OpenAI的Chat Completions API,结合自定义函数,可以打造更智能、更强大的对话代理。我们将详细介绍如何利用tools参数定义函数规范,并通过实际案例演示如何让模型生成符合规范的函数参数,从而实现与外部数据的交互。当前在function calling使用过程中可能遇到的问题,如模型对系统提示的遵循程度,这很大程度上是由模型能力决定。

...

OpenAI Function Calling学习笔记01

2024-08-18
Aigc

函数调用是OpenAI的 GPT-4 和 GPT-3.5 Turbo 模型的一项高级功能,它允许模型根据用户的指示决定是否调用特定的函数,并以结构化的形式返回信息,而不仅仅是提供文本回答。这种将大型语言模型与外部工具和API整合的能力,大大增强了模型的应用潜力。

例如,大模型本身无法获取实时天气信息,因为它没有实时数据功能。但通过函数调用,AI可以与外部系统互动,如访问信息检索系统、查询实时天气或执行代码等。这使得基于大型语言模型的智能代理能够执行更复杂的任务,显著提高了模型的实用性和应用范围。

...

使用docker部署Xinference

2024-06-04
Aigc

Xorbits Inference (Xinference) 是一个开源平台,用于简化各种AI模型的运行和集成。借助Xinference,可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的AI应用。

准备工作 #

  • Xinference 使用GPU加速推理,该镜像需要在有 GPU 显卡并且安装 CUDA 的机器上运行。
  • 保证CUDA在机器上正确安装。可以使用nvidia-smi检查是否正确运行。
  • 镜像中的CUDA版本为12.4。为了不出现预期之外的问题,请将宿主机的CUDA版本和NVIDIA Driver版本分别升级到12.4550以上。
  • 服务器已经安装docker(>=20.10.5)
  • 服务器已经安装NVIDIA Container Toolkit, 并配置docker的运行时为nvidia-container-runtime

拉取镜像 #

1docker pull xprobe/xinference:v<your_version>

启动容器 #

使用如下方式在容器内启动 Xinference,同时将9997端口映射到宿主机的9998端口:

...

使用huggingface-cli下载模型

2024-06-03
Aigc

Hugging Face 作为目前自然语言处理领域最热门的平台之一,提供了海量预训练模型。本文将介绍如何使用 huggingface-cli 下载各种模型,并通过实例演示其使用方法。

安装huggingface-cli #

安装环境信息如下:

  • 操作系统: Ubuntu 24.04
  • 安装用户: 系统普通用户(非root, 非特权用户)
  • Python版本: 3.11 (注Ubuntu 24.04内置安装了Python 3.12, Python 3.11需额外安装)

安装过程如下:

...

使用kubeadm部署Kubernetes 1.29

2023-12-27
Kubernetes

kubeadm是Kubernetes官方提供的用于快速安部署Kubernetes集群的工具。伴随Kubernetes每个版本的发布,kubeadm可能会对集群配置方面的一些实践做调整,通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。

...

从源码编译安装PostgreSQL 16.x

2023-11-13
Postgresql

PostgreSQL是一个开源的对象-关系数据库系统(ORDBMS),在灵活的BSD许可证下发行。 PostgreSQL事实上不被任何一家公司所掌控,PostgreSQL全球开发小组,是一个松散的组织,BSD许可协议是自由软件中使用最广泛的许可协议之一。 PostgreSQL在可靠性、稳定性上已经十分强大,并且被应用的十分广泛。

...

使用Percona XtraBackup 8.0备份和恢复MySQL 8.0数据库

2023-08-22
Mysql, Percona, Xtrabackup

1.创建备份专用用户 #

Percona XtraBackup需要能够连接到数据库服务器,并在创建备份时、在某些场景下准备备份以及在还原备份时执行操作。为了实现这一点,对其执行所需的Privilege和权限Permissions要求必须得到满足。

  • Privilege:指的是系统用户在数据库服务器中被允许执行的操作。它们在数据库服务器上设置,仅适用于数据库服务器中的用户。
  • Permissions: 允许用户在系统上执行操作,比如在某个目录上读取、写入或执行,或者启动/停止系统服务。它们在系统级别上设置,仅适用于系统用户。

当使用xtrabackup时,涉及到两个用户:

...

© 2024 青蛙小白