在Xinference中使用Rerank模型BAAI/bge-reranker-v2-m3
📅 2024-10-21
在RAG中，Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术，确保生成模型基于最相关的文档生成回答。通过Rerank，可以剔除不相关的文档，优化检索结果，提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。
...Blog
使用LlamaEdge+WasmEdge在本地运行大模型千问2.5
📅 2024-10-15
本文将使用LlamaEdge+WasmEdge来在本地部署Qwen2.5-0.5B-Instruct-GGUF。
系统环境 #
- Ubuntu 24.04 (无GPU,将部署为在CPU上推理)
安装WasmEdge #
wasmedge版本信息如下：
1wasmedge -v
2wasmedge version 0.14.1
3 (plugin "wasi_logging") version 0.1.0.0
4~/.wasmedge/lib/../plugin/libwasmedgePluginWasiNN.so (plugin "wasi_nn") version 0.10.1.0
下载LlamaEdge API Sserver #
LlamaEdge API Server是一个跨平台的可移植 Wasm 应用，可以在不同CPU和GPU设备上运行。
...安装和开始使用WasmEdge
📅 2024-10-14
安装 #
可以将WasmEdge运行时安装在任何通用Linux和MacOS平台上。如果使用Windows 10或Fedora/Red Hat Linux系统，您可以使用它们的默认包管理器进行安装。
通用的Linux和MacOS平台 #
安装WasmEdge的最简单方法是运行以下命令。需确保系统中应该安装了git。
深入学习和理解LangChain Runnables
📅 2024-10-13
1.LangChain Runnable介绍 #
LangChain的Runnable对象是一种协议(protocol)，它简化创建自定义链(chain)的过程。Runable是使用LangChain开发LLM应用程序的开发人员必须学习的一种抽象。
使用Ruanable协议可以将一系列的任务串联起来，将一个调用的输出作为输入提供给下一个，形成一个完整的流程。
...使用vllm单节点多卡分布式部署Qwen2.5-14B-Instruct
📅 2024-10-08
实验环境 #
- OS: Ubuntu 24.04
- Python: 3.11
- GPU: NVIDIA GeForce RTX 4090 (2个)
- CUDA Version: 12.6
vLLM安装 #
模型下载 #
预先使用huggingface-cli下载Qwen/Qwen2.5-14B-Instruct。
Qwen2.5-14B-Instruct部署 #
启动为兼容OpenAI的API服务。
...初探轻量级LLM应用开发框架ell
📅 2024-09-19
ell是一个全新的开发大语言模型应用框架。
ell的官方文档里将自己称为"大语言模型编程库", “ell是一个轻量级的提示工程库，将提示(prompt)视为函数”。
现在面向LLM的编程框架层出不穷，LangChain几乎为我们封装了所有，但是有些过于重了。ell的特点是"轻量化"。
...OpenAI Function Calling学习笔记02：如何使用聊天模型调用函数
📅 2024-08-18
本文是基于OpenAI官方Cookbook中的《How to call functions with chat models》学习笔记。
通过OpenAI的Chat Completions API，结合自定义函数，可以打造更智能、更强大的对话代理。我们将详细介绍如何利用tools参数定义函数规范，并通过实际案例演示如何让模型生成符合规范的函数参数，从而实现与外部数据的交互。当前在function calling使用过程中可能遇到的问题，如模型对系统提示的遵循程度，这很大程度上是由模型能力决定。
...OpenAI Function Calling学习笔记01
📅 2024-08-18
函数调用是OpenAI的 GPT-4 和 GPT-3.5 Turbo 模型的一项高级功能，它允许模型根据用户的指示决定是否调用特定的函数，并以结构化的形式返回信息，而不仅仅是提供文本回答。这种将大型语言模型与外部工具和API整合的能力，大大增强了模型的应用潜力。
例如，大模型本身无法获取实时天气信息，因为它没有实时数据功能。但通过函数调用，AI可以与外部系统互动，如访问信息检索系统、查询实时天气或执行代码等。这使得基于大型语言模型的智能代理能够执行更复杂的任务，显著提高了模型的实用性和应用范围。
...OpenAI Embeddings学习笔记
📅 2024-06-05
这篇博文是基于OpenAI官方Cookbook中的以下四篇示例教程的学习笔记，主要涵盖了如何获取文本嵌入、可视化嵌入、聚类分析以及语义搜索等方面。
- Get embeddings from dataset
- Visualizing the embeddings in 2D
- K-means Clustering in Python using OpenAI
- Semantic text search using embeddings
1.创建项目 #
使用poetry创建一个名称为openai-embedding-sample的项目
OpenAI Docs Guides Embeddings
📅 2024-06-04
学习如何将文本转换为数字，从而解锁搜索等应用场景。
新的嵌入模型 text-embedding-3-small和text-embedding-3-large是我们最新且性能最强的嵌入模型，现在已经可用，具有更低的成本、更高的多语言性能，以及用于控制整体规模的新参数。
...