0%

前言

随着大模型、传统机器学习和深度学习推理业务的大规模落地,企业在实际生产中普遍面临以下运维挑战:

  • 多框架模型(TensorFlow、PyTorch、ONNX、XGBoost、TensorRT、LLM 等)部署方式各异,缺乏统一运维手段;
  • 推理流量波动剧烈,在线服务与离线批处理并存,静态资源分配导致大量浪费;
  • 模型版本管理缺失,灰度发布、A/B 测试、流量切分等高级发布策略难以实现;
  • 推理接口协议不统一,REST/gRPC 接口格式各异,上层业务集成成本高;
  • 可观测性不足,监控、日志、链路追踪等能力需自行开发,无法开箱即用。

原生 Kubernetes 仅提供基础的容器编排能力,无法满足上述 AI 推理场景的专属需求。

阅读全文 »

前言

随着物联网、工业互联网、边缘AI技术的快速普及,海量终端设备产生的数据不再适合全部回传云端处理,传统中心化云计算架构面临网络带宽受限、延迟过高、离线不可用、运维成本高等痛点。边缘计算将计算、存储、网络能力下沉到业务就近的边缘节点,可有效解决上述问题。但边缘节点数量庞大、架构分散、设备异构性强,缺乏统一的编排和管理标准。

阅读全文 »

一、概述

1.1 什么是 GitLab

GitLab 是一个开源的一体化 DevOps 平台,提供 Git 仓库托管、CI/CD、代码评审、Issue 跟踪、Wiki、容器镜像仓库等完整功能。社区版(CE)免费开源,适合个人、小团队及企业内部自建代码托管平台。

阅读全文 »

一、Containerd 简介

Containerd 是一个行业标准的容器运行时,由 CNCF 托管(毕业项目)。它负责管理容器的完整生命周期:镜像拉取/存储、容器的创建/运行/销毁、网络和存储管理等。

提示: Containerd 自 1.24 版本起成为 Kubernetes 默认的容器运行时(取代 Docker)。

阅读全文 »

前言

在云原生与AI大模型快速落地的当下,传统网关难以适配智能流量调度、AI模型服务治理、高弹性云原生业务场景。Higress 作为阿里开源的轻量化云原生API网关,深度适配Kubernetes生态,基于Envoy与Istio架构重构优化,兼具高性能、高扩展性与AI场景适配能力,可完美支撑云原生微服务、AI模型服务的流量管理、安全管控、可观测等核心需求。本文将详细介绍Higress核心能力,并提供低资源测试环境的Helm标准化部署方案。

一、Higress 概述

1.什么是 Higress

Higress 是阿里巴巴开源的云原生一体化API网关,基于Envoy数据面、Istio控制面深度构建,区别于传统网关,针对性优化了AI服务调度、云原生微服务治理场景,具备轻量化、高性能、易扩展、全场景适配的特点,是兼顾微服务网关、Ingress网关、AI网关的一站式流量治理组件。

阅读全文 »

一、为什么需要 Harbor

1.1 Docker Hub 的痛点

Docker Hub 是公共镜像仓库,企业大规模使用时会遇到以下问题:

  • 网络限制:拉取镜像慢、不稳定,生产环境不可控
  • 安全风险:公共镜像来源不明,可能包含漏洞或恶意代码
  • 合规要求:金融、政务等行业要求镜像必须存储在境内或内部
  • 版本管理缺失:无法按项目、团队、环境进行细粒度权限控制
  • 拉取次数限制:Docker Hub 对匿名和免费账户有拉取配额
阅读全文 »

在 K8s 里搞存储,很多人一开始都是手动写 YAML 建 PV,后来才发现动态供给(Dynamic Provisioning) 才是王道。

本文不扯虚的,直接上手两套方案:先搞定轻量级的本地存储 local-path-provisioner,再搭建企业级共享存储 NFS。读完这篇,你就能根据业务需求,灵活搞定 K8s 的持久化存储了。

阅读全文 »

玩 K8s 的朋友肯定都有过这种体验:部署一个微服务,Deployment、Service、ConfigMap、Ingress…… 一堆 YAML 文件写得头晕眼花。换个环境还得挨个改配置,一旦升级出错,回滚更是噩梦。

这时候,你就需要 Helm 了。

阅读全文 »

在我们电脑上,我们大部分使用 Clash 桌面版和订阅链接轻松访问外网,但当需求迁移到 Linux 服务器时,桌面客户端便无法直接使用。此时,Mihomo 作为一款轻量、稳定且资源占用极低的 Clash 内核,完美适配绝大多数 Linux 发行版,是服务器代理的理想选择。本文将从零开始,详细记录完整的部署流程,你只需逐条执行命令,无需任何额外复杂操作,即可一次跑通,快速拥有稳定可靠的代理服务。

阅读全文 »

Spring-AI 集成 Skills

一、概述

现在一聊到 AI,无论是在地铁上还是和朋友闲谈,耳边总会飘过几个“洋词儿”,比如 RAG、Skill、MCP。这些词到底是什么意思,又有什么作用?我们这就来唠唠。

阅读全文 »