自信创新 — 在运行时优化和保护大语言模型（LLM）
正在构建由 GenAI 驱动的应用？ 加速 AI 采用，并针对大语言模型实施安全护栏。FortiAIGate 提供保护、可见性和成本控制。
下载解决方案简报概述
优化和保护 AI 工作负载和 LLM
对于构建专有生成式 AI 驱动应用的企业，FortiAIGate 将 应用交付与 AI 运行时安全功能相结合，旨在保护大型语言模型 (LLM) 免受安全风险。它部署在应用和模型之间，管理流量并对模型的输入和输出应用护栏，以防止模型操纵、提示注入、过度消耗和数据泄露。
功能与优势
FortiAIGate 关键功能
安全实施
运行时 AI 安全
自定义防护机制用于检查进入每个 LLM 端点的用户输入，可准确检测提示词注入、越狱、模型投毒和过度消耗企图。
关键路径中的上下文感知防数据泄露引擎可监控入站和出站流量，以防止 PII 和敏感数据泄露以及模型窃取。
LLM 防火墙
AI 防火墙的兴起
企业正在将 LLM 和 GenAI 快速集成到面向客户的 Web 应用程序、聊天机器人和内部工具中。这些 AI 服务通常会暴露 API 和模型，由于其动态、非结构化的特性以及更高的滥用成本和风险，因此需要专门的保护。传统的 API 网关或 WAF 并非为检查和保护此类流量而设计，因此需要一种新型解决方案。
- 易于管理内置 GUI，无需手动配置 YAML 或编写 Python 代码
- 全面的可见性可疑流量可见性，并清晰映射到 OWASP LLM 应用十大安全风险列表
- 安全代理广泛的 LLM 代理和安全功能，包括 API 网关和 DDoS 攻击防护
服务交付
优化模型性能
容器化的本地部署可实现轻量级占用、高可扩展性和智能 LLM 流量转向。FortiAIGate 充当应用和模型之间的代理，优化交付。此外，输出缓存可从模型中卸载重复任务，从而减少令牌消耗和计算成本，同时改善用户体验。
动态 AI 工作负载
保护和扩展动态 AI 工作负载
动态 AI 工作负载在不同模型和环境之间切换，因此平台必须能够弹性扩展、保持性能并尽可能减少阻力，从而保障运营安全。FortiAIGate 使其能够自动适应需求、智能路由流量并防范模型滥用，从而确保 AI 应用程序快速、可靠且安全。
- 可扩展且灵活的部署内置 K8s Ingress 控制器和负载均衡器
- 高性能多 GPU 和 SmartNIC 加速，实现低延迟代理卸载。
- 端到端 AI 运行时安全在输入和输出上应用护栏，以净化进入模型的流量并消除泄露的 PII
FortiAIGate 常见问题解答
FortiAIGate 可以防范哪些威胁？
FortiAIGate 保护 LLM 免受提示注入、数据泄露、模型中毒、资源过度消耗以及其他新兴的 AI 特定风险的侵害。
FortiAIGate 与传统防火墙或 WAF 有何不同？
与检查网络或 Web 流量的传统工具不同，FortiAIGate 能够理解自然语言交互，并在应用程序和模型之间直接应用 AI 特定的运行时保护。
FortiAIGate 是否支持本地和基于云的 LLM 部署？
当然。FortiAIGate 为私有和混合 AI 环境提供灵活、可扩展的部署选项，包括容器化和基于 Kubernetes 的架构。
FortiAIGate 如何帮助管理 AI 成本？
通过检测和缓解导致计算消耗增加的过多或恶意查询，FortiAIGate 有助于优化 GPU 利用率并降低总体运营成本。