Canonical x Lenovo: 在边缘运行 AI workloads
by Canonical on 4 December 2024
携手 Canonical 和 Lenovo，在边缘运行 AI 工作负载
从制造业中的预测性维护，到医疗保健行业中的虚拟助手，再到最偏远地区的电信路由器优化，AI 正在各种边缘环境中掀起新浪潮，带来新机遇。但为了支持这些几乎随处运行的 AI 工作负载，公司需要具备快速、安全且高度可扩展的边缘基础架构。
开源工具 —— 例如用于轻量级 Kubernetes 编排的 MicroK8s 和用于 ML 机器学习工作流的 Charmed Kubeflow —— 可以为边缘 AI 部署提供更高的灵活性和安全性。如果配合加速计算堆栈使用，这些解决方案可以帮助专业人员更快地交付项目，降低运营成本，以及确保更可预测的结果。
今天这篇博客探讨为什么企业正逐渐在边缘 AI 领域转向开放式基础架构解决方案，并介绍如何部署一个专门构建的优化版堆栈，以大规模交付变革性的智能项目。
开放式基础架构堆栈为何适合边缘 AI
世界各地的企业组织都拥有大量的边缘数据，但是将 AI 功能应用到偏远崎岖基地数据源的最佳方式又是什么呢？Canonical、英伟达 NVIDIA 和 联想 Lenovo 可以提供帮助。
为了确保边缘 AI 的专用性能，可以考虑开源解决方案架构，其中包含在 Lenovo ThinkEdge 服务器上运行的 Canonical Ubuntu、用于轻量级 Kubernetes 编排的 MicroK8s，以及用于 ML 工作流管理的 Charmed Kubeflow。NVIDIA EGX 平台为该架构提供了基础，可以实现用于 AI 工作负载的强大 GPU 加速计算能力。
使用这种经预先验证的架构具有以下主要优点：
- 更快的迭代和试验速度：数据科学家可以更快地迭代 AI/ML 模型并加快试验过程。
- 可扩展性：该架构已经完成了各种 MLOps 工具选项测试，从而能够快速扩展 AI 项目。
- 安全性：AI 工作负载受益于 Canonical Ubuntu 提供的安全基础架构和定期更新，从而确保持续的保护和可靠性。
- AI 工作负载优化：该架构专为满足 AI 工作负载的特定需求而构建，这意味着它可以在优化的硬件和软件堆栈上高效处理大型数据集。
- 端到端堆栈：该架构利用 NVIDIA EGX 产品和 Charmed Kubeflow 来简化整个机器学习生命周期。
- 再现性：该解决方案提供了明确的指南，供整个组织的专业人员使用，以望得到一致的结果。
Canonical 的开源基础架构堆栈
对于边缘计算，Canonical 与 Lenovo 共同致力于堆栈，让认证硬件具备最佳性能。每个云基础架构都有非常明确的实现选择方案。不过，这些选择方案中的多数都可以标准化和自动化，以帮助降低操作风险。
经预先验证的基础架构则是以 Ubuntu 操作系统为基础。Ubuntu 已然受到 AI/ML 开发人员的接纳，因此它为生产环境增加了熟悉度和效率。Ubuntu Pro 对标准的 Ubuntu 发行版进行了扩展，提供来自 Canonical 的 10 年安全维护，以及选择性的企业级支持。
Canonical MicroK8s 是由云原生计算基金会（CNCF）认证的 Kubernetes 发行版。其提供简化的 Kubernetes 容器管理方法，这些容器对于可重复云部署而言至关重要。MicroK8s 会安装 NVIDIA GPU 操作符，实现对 GPU 资源的高效管理和利用。
Charmed Kubeflow 是 Kubeflow 的企业级发行版，Kubeflow 则是专为 Kubernetes 环境构建的热门开源 ML 工具包。Canonical 开发的 Charmed Kubeflow 可以简化 AI 工作流的部署和管理，提供对整个工具和框架生态系统的访问。
最后，Canonical 基础架构与众不同的地方在于通过 Juju 实现的自动化，Juju 是一个用于将基础架构组件和应用程序供应、管理和维护自动化的开源编排引擎。
用于边缘 AI 的 Lenovo ThinkEdge 服务器
如果没有合适的硬件，即使是最好的开源基础架构软件也无法充分发挥其潜能。使用 NVIDIA EGX 平台的Lenovo ThinkEdge 服务器 可以在边缘实现针对 AI 工作负载的强大性能。
特别是专门为狭小空间设计的 ThinkEdge SE450 服务器，非常适合部署在传统数据中心之外的位置。这些服务器旨在虚拟化传统 IT 应用程序以及新的变革性 AI 系统，为最新的边缘工作负载提供所需的处理能力、存储、加速和网络技术。
从边缘 AI 的验证设计开启入门之旅
Canonical、联想 Lenovo 和 英伟达 NVIDIA 正在共同努力，确保所有行业都可以使用数据科学技术。借助经预先验证的参考架构，开发人员和研究人员可以快速实现其 AI 项目的价值。
部署过程从在 ThinkEdge SE450 服务器上安装 Canonical 软件组件开始。用户通过 Charmed Kubeflow 仪表板，可以获取并使用 NVIDIA Triton 推理服务器创建一个 AI 实验。Triton 为高效且有效的模型服务提供一个专用环境。这种端到端的 AI 工作流在成本和性能方面都进行了优化。
如需深入了解参考架构和关于在边缘运行 AI 的分步指南，请点击下方按钮阅读 Lenovo 的白皮书。
订阅博客文章
查看更多内容
使用 MAAS 部署 VMware 虚拟机管理程序
多数现代数据中心本身均为异构架构。VMware 环境常与容器平台、数据库及其他裸机业务负载共存，多年运行于同一套硬件之上。服务器一次性采购，但会随业务需求变化调整承载业务。 然而，ESXi（VMware 虚拟机管理程序）的配置通常由独立流程负责。主机通过 VMware 工具、自定义脚本或专为将部署 ESXi 到机器中开发的自动化程序完成安装。这些工作流单独运行虽行之有效，却未必能与物理基础设施的其他部分实现统一的追踪与管理。 由此导致了脱节：即便归属同一硬件资源池，ESXi 主机的管理方式仍与数据中心其他设备脱离。随着环境规模扩大、架构日趋多元化，这种割裂式管理会形成业务瓶颈。 将 ESXi 纳入统一裸机平台进行统筹管理将是更具扩展性的方案。这使得 ESXi 的配置流程， […]
什么是 Ubuntu Pro？与标准版有不同吗？功能及内容详解
Ubuntu Pro 是 Canonical 推出的全方位订阅服务，提供开源安全防护、技术支持与合规保障。从长达 15 年的安全维护、全天候技术支持，到面向 IT 管理员的自动化加固工具，深入了解 Ubuntu Pro 订阅包含的全部服务。 Ubuntu Pro 具备哪些功能？ Ubuntu Pro 是一套安全合规订阅服务，可为操作系统、应用程序及 IT 运维各层级及时提供补丁与安全维护。它助力企业及其工程师保障软件与系统安全，并通过加固工具、自动化流程及一系列其他功能，为企业满足安全标准合规铺平道路。 了解关于 Ubuntu Pro 的更多信息 › Ubuntu Pro 与标准版 Ubuntu 有何不同？ 很多人存在误区，误以为 Ubuntu Pro 是独立版本或全新操 […]
代码热风险 – 软件供应链视角下，容器交付前要先“冷却”
已遭遇的安全漏洞，与即将到来的威胁 2025 年 9 月，npm 软件仓库中包括 chalk 和 debug 在内的数十个热门 JavaScript 软件包遭入侵。这些软件包应用极为广泛，几乎无处不在：前端应用、后端微服务以及 CI 工具中均有使用。开发人员并无任何失误操作，他们只是执行了一贯使用的命令：npm install chalk。但恶意软件却悄无声息地侵入了。 这并非操作系统中的漏洞。也不是某台笔记本电脑上的病毒。这是一次供应链攻击：攻击者在开发者构建软件所使用的组件中植入了恶意代码。手段并不复杂，仅仅是一名开发者遭到钓鱼攻击、一次恶意发布，数百万下游用户便因看似是合法更新而将恶意代码引入系统。 而这确实是一次合法的更新。发布者并非有意植入恶意软件，也对此毫不知 […]