Blog

记一次K8S Flannel VXLAN网络跨节点Pod通信问题排查

2024-12-02
Kubernetes, Flannel

问题 #

今天一个用户的K8S集群出现了问题。用户反馈集群中的业务Pod之间无法通信。在业务Pod中，执行 nslookup 目标Pod的service name时无法解析。

该K8S集群的信息如下：

  • Kubernetes版本：1.29.2
  • 容器网络：Flannel（backend type: VXLAN）

用户检查了CoreDNS的Pod，都正常运行。

...

从Disqus迁移到Remark42

2024-11-17

作为Diqus的免费用户，被强制挂上广告，无奈之下只好替代!

安装Remark42 #

下载：

1wget https://github.com/umputun/remark42/releases/download/v1.14.0/remark42.linux-amd64.tar.gz

创建用户和数据目录：

1useradd remark42
2mkdir /home/remark42/data
3chown -R remark42:remark42 /home/remark42/data

安装：

1tar -zxvf remark42.linux-amd64.tar.gz
2mv remark42.linux-amd64 /home/remark42/remark42

创建配置文件：

1vi /home/remark42/remark42.env

1REMARK_URL=https://comments.frognew.com
2SECRET=xxxx
3SITE=frognew
4AUTH_ANON=false
5EMOJI=true
6REMARK_PORT=8083
7REMARK_ADDRESS=127.0.0.1
8AUTH_GITHUB_CID=xxxx
9AUTH_GITHUB_CSEC=xxxx

/etc/systemd/system/remark42.service:

...

使用Text Generation Inference运行大模型

2024-11-04
Aigc

TGI简介 #

Text Generation Inference(TGI)是一个用于部署和提供大型语言模型（LLMs）服务的工具包。TGI支持高性能文本生成，适用于最受欢迎的开源大语言模型，包括Llama、Falcon、StarCoder、BLOOM、GPT-NeoX和T5。

...

使用Text Embeddings Inference运行Embeddings模型和Rerank模型

2024-10-21
Aigc

TEI简介 #

Text Embeddings Inference（TEI）是一个全面的工具包，旨在高效地部署和服务开源文本嵌入模型。它支持对最流行的模型进行高性能提取，包括FlagEmbedding、Ember、GTE和E5。

TEI提供多种功能，旨在优化部署过程并提高整体性能。

...

在Xinference中使用Rerank模型BAAI/bge-reranker-v2-m3

2024-10-21
Aigc

在RAG中，Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术，确保生成模型基于最相关的文档生成回答。通过Rerank，可以剔除不相关的文档，优化检索结果，提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。

...

使用LlamaEdge+WasmEdge在本地运行大模型千问2.5

2024-10-15
Wasm

本文将使用LlamaEdge+WasmEdge来在本地部署Qwen2.5-0.5B-Instruct-GGUF。

系统环境 #

  • Ubuntu 24.04 (无GPU,将部署为在CPU上推理)

安装WasmEdge #

参考“安装和开始使用WasmEdge”。

wasmedge版本信息如下：

1wasmedge -v
2wasmedge version 0.14.1
3 (plugin "wasi_logging") version 0.1.0.0
4~/.wasmedge/lib/../plugin/libwasmedgePluginWasiNN.so (plugin "wasi_nn") version 0.10.1.0

下载LlamaEdge API Sserver #

LlamaEdge API Server是一个跨平台的可移植 Wasm 应用，可以在不同CPU和GPU设备上运行。

...

安装和开始使用WasmEdge

2024-10-14
Wasm

安装 #

可以将WasmEdge运行时安装在任何通用Linux和MacOS平台上。如果使用Windows 10或Fedora/Red Hat Linux系统，您可以使用它们的默认包管理器进行安装。

通用的Linux和MacOS平台 #

安装WasmEdge的最简单方法是运行以下命令。需确保系统中应该安装了git。

...

深入学习和理解LangChain Runnables

2024-10-13
Aigc

1.LangChain Runnable介绍 #

LangChain的Runnable对象是一种协议(protocol)，它简化创建自定义链(chain)的过程。Runable是使用LangChain开发LLM应用程序的开发人员必须学习的一种抽象。

使用Ruanable协议可以将一系列的任务串联起来，将一个调用的输出作为输入提供给下一个，形成一个完整的流程。

...

© 2024 青蛙小白