2024-11-17
作为Diqus的免费用户，被强制挂上广告，无奈之下只好替代!
下载：
1wget https://github.com/umputun/remark42/releases/download/v1.14.0/remark42.linux-amd64.tar.gz
创建用户和数据目录：
1useradd remark42
2mkdir /home/remark42/data
3chown -R remark42:remark42 /home/remark42/data
安装：
1tar -zxvf remark42.linux-amd64.tar.gz
2mv remark42.linux-amd64 /home/remark42/remark42
创建配置文件：
1vi /home/remark42/remark42.env
1REMARK_URL=https://comments.frognew.com
2SECRET=xxxx
3SITE=frognew
4AUTH_ANON=false
5EMOJI=true
6REMARK_PORT=8083
7REMARK_ADDRESS=127.0.0.1
8AUTH_GITHUB_CID=xxxx
9AUTH_GITHUB_CSEC=xxxx
/etc/systemd/system/remark42.service:
...2024-11-04
TGI简介
#
Text Generation Inference(TGI)是一个用于部署和提供大型语言模型（LLMs）服务的工具包。TGI支持高性能文本生成，适用于最受欢迎的开源大语言模型，包括Llama、Falcon、StarCoder、BLOOM、GPT-NeoX和T5。
...2024-10-21
TEI简介
#
Text Embeddings Inference（TEI）是一个全面的工具包，旨在高效地部署和服务开源文本嵌入模型。它支持对最流行的模型进行高性能提取，包括FlagEmbedding、Ember、GTE和E5。
TEI提供多种功能，旨在优化部署过程并提高整体性能。
...2024-10-21
在RAG中，Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术，确保生成模型基于最相关的文档生成回答。通过Rerank，可以剔除不相关的文档，优化检索结果，提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。
...2024-10-15
本文将使用LlamaEdge+WasmEdge来在本地部署Qwen2.5-0.5B-Instruct-GGUF。
系统环境
#
- Ubuntu 24.04 (无GPU,将部署为在CPU上推理)
安装WasmEdge
#
参考“安装和开始使用WasmEdge”。
wasmedge版本信息如下：
1wasmedge -v
2wasmedge version 0.14.1
3 (plugin "wasi_logging") version 0.1.0.0
4~/.wasmedge/lib/../plugin/libwasmedgePluginWasiNN.so (plugin "wasi_nn") version 0.10.1.0
下载LlamaEdge API Sserver
#
LlamaEdge API Server是一个跨平台的可移植 Wasm 应用，可以在不同CPU和GPU设备上运行。
...2024-10-14
安装
#
可以将WasmEdge运行时安装在任何通用Linux和MacOS平台上。如果使用Windows 10或Fedora/Red Hat Linux系统，您可以使用它们的默认包管理器进行安装。
通用的Linux和MacOS平台
#
安装WasmEdge的最简单方法是运行以下命令。需确保系统中应该安装了git。
...2024-10-13
1.LangChain Runnable介绍
#
LangChain的Runnable对象是一种协议(protocol)，它简化创建自定义链(chain)的过程。Runable是使用LangChain开发LLM应用程序的开发人员必须学习的一种抽象。
使用Ruanable协议可以将一系列的任务串联起来，将一个调用的输出作为输入提供给下一个，形成一个完整的流程。
...2024-10-08
实验环境
#
- OS: Ubuntu 24.04
- Python: 3.11
- GPU: NVIDIA GeForce RTX 4090 (2个)
- CUDA Version: 12.6
vLLM安装
#
见“使用pip安装vLLM”
模型下载
#
预先使用huggingface-cli下载Qwen/Qwen2.5-14B-Instruct。
Qwen2.5-14B-Instruct部署
#
启动为兼容OpenAI的API服务。
...2024-09-19
ell是一个全新的开发大语言模型应用框架。
ell的官方文档里将自己称为"大语言模型编程库", “ell是一个轻量级的提示工程库，将提示(prompt)视为函数”。
现在面向LLM的编程框架层出不穷，LangChain几乎为我们封装了所有，但是有些过于重了。ell的特点是"轻量化"。
...2024-08-18
本文是基于OpenAI官方Cookbook中的《How to call functions with chat models》学习笔记。
通过OpenAI的Chat Completions API，结合自定义函数，可以打造更智能、更强大的对话代理。我们将详细介绍如何利用tools参数定义函数规范，并通过实际案例演示如何让模型生成符合规范的函数参数，从而实现与外部数据的交互。当前在function calling使用过程中可能遇到的问题，如模型对系统提示的遵循程度，这很大程度上是由模型能力决定。
...