Blog

记一次K8S Flannel VXLAN网络跨节点Pod通信问题排查

2024-12-02
Kubernetes, Flannel

问题 #

今天一个用户的K8S集群出现了问题。用户反馈集群中的业务Pod之间无法通信。在业务Pod中,执行 nslookup 目标Pod的service name时无法解析。

该K8S集群的信息如下:

  • Kubernetes版本:1.29.2
  • 容器网络:Flannel(backend type: VXLAN)

用户检查了CoreDNS的Pod,都正常运行。

...

从Disqus迁移到Remark42

2024-11-17

作为Diqus的免费用户,被强制挂上广告,无奈之下只好替代!

安装Remark42 #

下载:

1wget https://github.com/umputun/remark42/releases/download/v1.14.0/remark42.linux-amd64.tar.gz

创建用户和数据目录:

1useradd remark42
2mkdir /home/remark42/data
3chown -R remark42:remark42 /home/remark42/data

安装:

1tar -zxvf remark42.linux-amd64.tar.gz
2mv remark42.linux-amd64 /home/remark42/remark42

创建配置文件:

1vi /home/remark42/remark42.env
1REMARK_URL=https://comments.frognew.com
2SECRET=xxxx
3SITE=frognew
4AUTH_ANON=false
5EMOJI=true
6REMARK_PORT=8083
7REMARK_ADDRESS=127.0.0.1
8AUTH_GITHUB_CID=xxxx
9AUTH_GITHUB_CSEC=xxxx

/etc/systemd/system/remark42.service:

...

使用Text Generation Inference运行大模型

2024-11-04
Aigc

TGI简介 #

Text Generation Inference(TGI)是一个用于部署和提供大型语言模型(LLMs)服务的工具包。TGI支持高性能文本生成,适用于最受欢迎的开源大语言模型,包括Llama、Falcon、StarCoder、BLOOM、GPT-NeoX和T5。

...

使用Text Embeddings Inference运行Embeddings模型和Rerank模型

2024-10-21
Aigc

TEI简介 #

Text Embeddings Inference(TEI)是一个全面的工具包,旨在高效地部署和服务开源文本嵌入模型。它支持对最流行的模型进行高性能提取,包括FlagEmbedding、Ember、GTE和E5。

TEI提供多种功能,旨在优化部署过程并提高整体性能。

...

在Xinference中使用Rerank模型BAAI/bge-reranker-v2-m3

2024-10-21
Aigc

在RAG中,Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术,确保生成模型基于最相关的文档生成回答。通过Rerank,可以剔除不相关的文档,优化检索结果,提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。

...

使用LlamaEdge+WasmEdge在本地运行大模型千问2.5

2024-10-15
Wasm

本文将使用LlamaEdge+WasmEdge来在本地部署Qwen2.5-0.5B-Instruct-GGUF。

系统环境 #

  • Ubuntu 24.04 (无GPU,将部署为在CPU上推理)

安装WasmEdge #

参考“安装和开始使用WasmEdge”

wasmedge版本信息如下:

1wasmedge -v
2wasmedge version 0.14.1
3 (plugin "wasi_logging") version 0.1.0.0
4~/.wasmedge/lib/../plugin/libwasmedgePluginWasiNN.so (plugin "wasi_nn") version 0.10.1.0

下载LlamaEdge API Sserver #

LlamaEdge API Server是一个跨平台的可移植 Wasm 应用,可以在不同CPU和GPU设备上运行。

...

安装和开始使用WasmEdge

2024-10-14
Wasm

安装 #

可以将WasmEdge运行时安装在任何通用Linux和MacOS平台上。如果使用Windows 10或Fedora/Red Hat Linux系统,您可以使用它们的默认包管理器进行安装。

通用的Linux和MacOS平台 #

安装WasmEdge的最简单方法是运行以下命令。需确保系统中应该安装了git

...

深入学习和理解LangChain Runnables

2024-10-13
Aigc

1.LangChain Runnable介绍 #

LangChain的Runnable对象是一种协议(protocol),它简化创建自定义链(chain)的过程。Runable是使用LangChain开发LLM应用程序的开发人员必须学习的一种抽象。

使用Ruanable协议可以将一系列的任务串联起来,将一个调用的输出作为输入提供给下一个,形成一个完整的流程。

...

© 2024 青蛙小白