环境介绍GPU： 4090 24G显存下载模型安装下载工具apt install -y aria2 -i https://mirrors.cloud.tencent.com/pypi/simple下载模型aria2c -x 16 -s 16 -k 1M https://www.modelscope...
模型Qwen2.5-14B-Instruct-AWQ 是阿里云 Qwen2.5 系列中的一个14B（140亿参数）指令微调大语言模型的4bit AWQ量化版本，专为高效推理部署优化，在保持较强的中文、英文理解与生成能力的同时，大幅降低显存占用与计算成本，适合在单卡GPU（如4090/5090）上进行...
前置环境租用4090gpu https://ppio.com cuda12.8.1版本安装conda下载wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh安装安装过程中注意：一路回车看到 Do you ...
本文介绍了如何在消费级显卡上使用SGLang框架推理千问最新发布Qwen3.5-9B版本的小模型，无坑版本，可直接运行，显卡是autodl租的，官网：https://autodl.com配置参数如下：创建虚拟环境SGLang + FlashAttention 在 3.10 最稳conda creat...
部署集群参考文档: https://blog.csdn.net/weixin_32089639/article/details/148162370部署存储SClocal-pathkubectl apply -f https://raw.githubusercontent.com/rancher/lo...
背景一致性哈希（Consistent Hashing）的出现，源于大规模分布式系统中面临的一个核心问题：当我们将数据或缓存分布在多个节点（机器）上时，如何让 key 分布合理、节点可扩缩容，并保持缓存命中率稳定？传统哈希的缺陷（背景问题）nodeIndex = hash(key) % NN 是节点数...
环境信息操作系统：WIndows11mysql版本： mysql8.0开始搭建文件目录如下：C:\mysql-cluster├── docker-compose.yml├── master│ ├── data│ └── my.cnf└── slave ├── data └── m...
go get拉取私有仓库代码在日常开发中，大家可能使用私有仓库路比较多，比如gitlab，我是一名go程序员，当我想使用我gitlab中其他仓库的代码应该怎么做呢？今天下午折腾了一下，也遇到了不少坑，放在这里给自己做笔记，同时为大家提供思路环境假设：你的GITLAb仓库： https://gitla...
1/4
下一页