使用LlamaEdge+WasmEdge在本地运行大模型千问2.5

2024-10-15

本文将使用LlamaEdge+WasmEdge来在本地部署Qwen2.5-0.5B-Instruct-GGUF。

系统环境 #

• Ubuntu 24.04 (无GPU,将部署为在CPU上推理)

安装WasmEdge #

参考“安装和开始使用WasmEdge”。

wasmedge版本信息如下：

1wasmedge -v
2wasmedge version 0.14.1
3 (plugin "wasi_logging") version 0.1.0.0
4~/.wasmedge/lib/../plugin/libwasmedgePluginWasiNN.so (plugin "wasi_nn") version 0.10.1.0

下载LlamaEdge API Sserver #

LlamaEdge API Server是一个跨平台的可移植 Wasm 应用，可以在不同CPU和GPU设备上运行。

安装和开始使用WasmEdge

2024-10-14

安装 #

可以将WasmEdge运行时安装在任何通用Linux和MacOS平台上。如果使用Windows 10或Fedora/Red Hat Linux系统，您可以使用它们的默认包管理器进行安装。

通用的Linux和MacOS平台 #

安装WasmEdge的最简单方法是运行以下命令。需确保系统中应该安装了git。