初探轻量级LLM应用开发框架ell
2024-09-19
ell是一个全新的开发大语言模型应用框架。
ell的官方文档里将自己称为"大语言模型编程库", “ell是一个轻量级的提示工程库，将提示(prompt)视为函数”。
现在面向LLM的编程框架层出不穷，LangChain几乎为我们封装了所有，但是有些过于重了。ell的特点是"轻量化"。
...
Blog
OpenAI Function Calling学习笔记02：如何使用聊天模型调用函数
2024-08-18
本文是基于OpenAI官方Cookbook中的《How to call functions with chat models》学习笔记。
通过OpenAI的Chat Completions API，结合自定义函数，可以打造更智能、更强大的对话代理。我们将详细介绍如何利用tools参数定义函数规范，并通过实际案例演示如何让模型生成符合规范的函数参数，从而实现与外部数据的交互。当前在function calling使用过程中可能遇到的问题，如模型对系统提示的遵循程度，这很大程度上是由模型能力决定。
...OpenAI Function Calling学习笔记01
2024-08-18
函数调用是OpenAI的 GPT-4 和 GPT-3.5 Turbo 模型的一项高级功能，它允许模型根据用户的指示决定是否调用特定的函数，并以结构化的形式返回信息，而不仅仅是提供文本回答。这种将大型语言模型与外部工具和API整合的能力，大大增强了模型的应用潜力。
例如，大模型本身无法获取实时天气信息，因为它没有实时数据功能。但通过函数调用，AI可以与外部系统互动，如访问信息检索系统、查询实时天气或执行代码等。这使得基于大型语言模型的智能代理能够执行更复杂的任务，显著提高了模型的实用性和应用范围。
...OpenAI Embeddings学习笔记
2024-06-05
这篇博文是基于OpenAI官方Cookbook中的以下四篇示例教程的学习笔记，主要涵盖了如何获取文本嵌入、可视化嵌入、聚类分析以及语义搜索等方面。
- Get embeddings from dataset
- Visualizing the embeddings in 2D
- K-means Clustering in Python using OpenAI
- Semantic text search using embeddings
1.创建项目 #
使用poetry创建一个名称为openai-embedding-sample的项目
使用docker部署Xinference
2024-06-04
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种AI模型的运行和集成。借助Xinference，可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的AI应用。
准备工作 #
- Xinference 使用GPU加速推理，该镜像需要在有 GPU 显卡并且安装 CUDA 的机器上运行。
- 保证CUDA在机器上正确安装。可以使用
nvidia-smi检查是否正确运行。 - 镜像中的CUDA版本为
12.4。为了不出现预期之外的问题，请将宿主机的CUDA版本和NVIDIA Driver版本分别升级到12.4和550以上。 - 服务器已经安装docker（>=20.10.5）
- 服务器已经安装NVIDIA Container Toolkit, 并配置docker的运行时为
nvidia-container-runtime
拉取镜像 #
1docker pull xprobe/xinference:v<your_version>
启动容器 #
使用如下方式在容器内启动 Xinference，同时将9997端口映射到宿主机的9998端口:
...使用huggingface-cli下载模型
2024-06-03
Hugging Face 作为目前自然语言处理领域最热门的平台之一，提供了海量预训练模型。本文将介绍如何使用 huggingface-cli 下载各种模型，并通过实例演示其使用方法。
安装huggingface-cli #
安装环境信息如下:
- 操作系统: Ubuntu 24.04
- 安装用户: 系统普通用户(非root, 非特权用户)
- Python版本: 3.11 (注Ubuntu 24.04内置安装了Python 3.12, Python 3.11需额外安装)
安装过程如下:
...Rook 1.13部署指南: 使用Rook 1.13部署和管理Ceph(Reef) 18.2.1
2023-12-28
Rook是一个开源的云原生存储编排器，为Ceph存储提供平台、框架和支持，使其能够与云原生环境进行本地集成。Ceph是一个分布式存储系统，提供文件(file)、块(block)和对象存储(object storage)，并在大规模生产集群中部署。
...使用kubeadm部署Kubernetes 1.29
2023-12-27
kubeadm是Kubernetes官方提供的用于快速安部署Kubernetes集群的工具。伴随Kubernetes每个版本的发布，kubeadm可能会对集群配置方面的一些实践做调整，通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。
...从源码编译安装PostgreSQL 16.x
2023-11-13
PostgreSQL是一个开源的对象-关系数据库系统(ORDBMS)，在灵活的BSD许可证下发行。 PostgreSQL事实上不被任何一家公司所掌控，PostgreSQL全球开发小组，是一个松散的组织，BSD许可协议是自由软件中使用最广泛的许可协议之一。 PostgreSQL在可靠性、稳定性上已经十分强大，并且被应用的十分广泛。
...Rook 1.12部署指南: 使用Rook 1.12部署和管理Ceph(Reef) 18.2.0
2023-09-02
Rook是一个开源的云原生存储编排器，为Ceph存储提供平台、框架和支持，使其能够与云原生环境进行本地集成。Ceph是一个分布式存储系统，提供文件(file)、块(block)和对象存储(object storage)，并在大规模生产集群中部署。
...