Blog | 青蛙小白

Blog

Rook 1.15部署指南: 使用Rook 1.15部署和管理Ceph(Squid) 19.2.0

📅 2024-11-25

Rook是一个开源的云原生存储编排器，为Ceph存储提供平台、框架和支持，使其能够与云原生环境进行本地集成。Ceph是一个分布式存储系统，提供文件(file)、块(block)和对象存储(object storage)，并在大规模生产集群中部署。

...

从Disqus迁移到Remark42

📅 2024-11-17

作为Diqus的免费用户，被强制挂上广告，无奈之下只好替代!

安装Remark42 #

下载：

1wget https://github.com/umputun/remark42/releases/download/v1.14.0/remark42.linux-amd64.tar.gz

创建用户和数据目录：

1useradd remark42
2mkdir /home/remark42/data
3chown -R remark42:remark42 /home/remark42/data

安装：

1tar -zxvf remark42.linux-amd64.tar.gz
2mv remark42.linux-amd64 /home/remark42/remark42

创建配置文件：

1vi /home/remark42/remark42.env

1REMARK_URL=https://comments.frognew.com
2SECRET=xxxx
3SITE=frognew
4AUTH_ANON=false
5EMOJI=true
6REMARK_PORT=8083
7REMARK_ADDRESS=127.0.0.1
8AUTH_GITHUB_CID=xxxx
9AUTH_GITHUB_CSEC=xxxx

/etc/systemd/system/remark42.service:

...

使用Text Generation Inference运行大模型

📅 2024-11-04

TGI简介 #

Text Generation Inference(TGI)是一个用于部署和提供大型语言模型（LLMs）服务的工具包。TGI支持高性能文本生成，适用于最受欢迎的开源大语言模型，包括Llama、Falcon、StarCoder、BLOOM、GPT-NeoX和T5。

...

使用Text Embeddings Inference运行Embeddings模型和Rerank模型

📅 2024-10-21

TEI简介 #

Text Embeddings Inference（TEI）是一个全面的工具包，旨在高效地部署和服务开源文本嵌入模型。它支持对最流行的模型进行高性能提取，包括FlagEmbedding、Ember、GTE和E5。

TEI提供多种功能，旨在优化部署过程并提高整体性能。

...

在Xinference中使用Rerank模型BAAI/bge-reranker-v2-m3

📅 2024-10-21

在RAG中，Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术，确保生成模型基于最相关的文档生成回答。通过Rerank，可以剔除不相关的文档，优化检索结果，提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。

...

使用LlamaEdge+WasmEdge在本地运行大模型千问2.5

📅 2024-10-15

本文将使用LlamaEdge+WasmEdge来在本地部署Qwen2.5-0.5B-Instruct-GGUF。

系统环境 #

Ubuntu 24.04 (无GPU,将部署为在CPU上推理)

安装WasmEdge #

参考“安装和开始使用WasmEdge”。

wasmedge版本信息如下：

1wasmedge -v
2wasmedge version 0.14.1
3 (plugin "wasi_logging") version 0.1.0.0
4~/.wasmedge/lib/../plugin/libwasmedgePluginWasiNN.so (plugin "wasi_nn") version 0.10.1.0