从Devops到MLOps再到LLMOps
由ChatGPT翻译自原网址
从 CI/CD 开始
网上有很多关于 CI/CD(持续集成/持续交付)的定义,但其实所有和 XXXOps 相关的东西,都是基于 CI/CD 的。
在我的理解中,CI/CD 是一种开发和运维的实践,通过自动化构建、测试和部署流程,提升软件交付的效率和质量。
举个例子,想象你平时是怎么用 GitHub 和 Docker 的。当你把代码提交到远程仓库,代码会被自动编译、构建并测试,这些过程就属于 CI。而当你把代码部署到测试环境,最后上线到生产环境,这些步骤就属于 CD。
换句话说:
- CI(持续集成): 专注于代码的构建和测试,确保代码改动能够可靠地集成。
- CD(持续交付): 专注于部署,确保代码能顺利从测试环境交付到生产环境。
由此可以看出,DevOps(开发和运维)本质上就是 CI/CD 流程的具体实现,让软件工程师的工作更简单高效。
MLOps:比 DevOps 更进一步
MLOps 包含了 DevOps 的所有概念,但它的扩展范围还包括对数据、模型训练、分析和部署的管理。
此时,你可以想象,不仅需要管理代码版本,还需要管理数据版本(比如很多平台支持数据版本控制,像 Hopsworks,甚至只是用 Git 也行)以及模型版本(比如 MLflow 就能做到)。
总的来说,MLOps 就是在 DevOps 的基础上,专门针对机器学习的整个流程。
LLMOps:一个又潮又长的新名词
好吧,我不得不说,每次有新东西出来,人们就会喜欢创造新词来形容它。LLMOps(大语言模型运维)其实和 MLOps 没什么本质区别,唯一的不同是它专注于管理大语言模型,而不是传统的机器学习模型。
三者之间的关系
ChatGPT 生成
- DevOps 是基础: DevOps 提供了 CI/CD 管道和基础设施自动化的标准流程,是 MLOps 和 LLMOps 的基石。
- MLOps 是扩展: MLOps 将 DevOps 的实践扩展到机器学习领域,包括数据管理、模型训练和部署。
- LLMOps 是细化: LLMOps 专注于大语言模型的复杂训练、优化和部署,进一步细化了 MLOps 的实践,用于生成式 AI。
接下来呢?
酷,这篇文章只是对 XXXOps 的一个概述。我写它的原因是因为我这学期上了一门叫“MLOps”的课。一开始我以为它很高大上,后来发现其实就是教你怎么用各种工具把机器学习模型部署出来……
当然,这还不是唯一的原因。另一个原因是过去几个月“消失”的时候,我发现了一个很有意思的平台,叫 Dify。它可以让你自己创建 LLM 应用,有点像 LLMOps,非常酷!
下次见,我会和大家分享更多最近我在做的事情。😊