一文看懂 2021 机器学习项目完整的生命周期（附论文原文）-FlyAI

一文看懂 2021 机器学习项目完整的生命周期（附论文原文）

深度学习

最后更新 2021-03-18 13:57 阅读 7197

最后更新 2021-03-18 13:57

阅读 7197

深度学习

论文原文：The Machine Learning Lifecycle in 2021

论文地址：https://towardsdatascience.com/the-machine-learning-lifecycle-in-2021-473717c633bc

现在机器学习几乎成为了人人向往，同时又人手必备的知识（当然也包括了母亲们）。几乎所有在收集数据的公司都或多或少地想在他们的业务中运用到AI或者机器学习，来提供自动化的方案。

>机器学习的市场价值在2027年时将达到1170亿美元 —— 财富商业洞察 (Fortune Business Insights)

机器学习领域有着大量人员的涌入，而其中许多新进者并没有在这个领域的正式知识背景。尽管越来越多的人对机器学习感兴趣并来学习是件好事，但有一点需要明确：把一个机器学习项目和生产环境结合起来可不是一个简单的工作。

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscNBeRCmThgibZ5IlG2xkDBXTM2unLdcbh0sRQpPHx5VojA7gPPpF8HxAA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

配图：2020年机器学习模型成熟程度

从左到右：评估用例阶段，模型开始开发阶段，开发好的模型正在投入实际运用，模型早期阶段（1-2年运营时间），模型中期阶段（2-4年运营时间），成熟模型（5年以上运营））

根据 机器学习运营平台Algorithmia 收集750份机器学习业务完成的 2020年企业级机器学习运营状态报告：

55%的机器学习业务模型目前还没有实际投入运营 —— Algorithmia 很多人似乎觉得如果自己有足够的数据和足以训练模型的计算资源，就意味着机器学习项目应该就会很好开展。他们大错特错了。这些错误的假设导致在模型实际上线之前，大量的时间和金钱就已经投入进去了。

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscNNE1PJQ1ibY2ZK4Znq3Su1R72P1CPUqAfXd6dXW2vWNFgfBJyTB2noTA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

作者配图：机器学习开发流程中的天真假设

从左到右：

收集数据阶段：找到大量的原始数据然后给 MTurk (Amazon Mechanical Turk是一个数据收集标注平台，译者按) 标注。

建立模型：用TensorFlow/PyTorch来为这个项目设计一个模型。

训练模型：用不同的超参数组合来训练模型，找到最优模型。

模型上线：把最优模型投入运营，之后就永远地在数据流上运营下去）

我将在本文中告诉读者机器学习项目开发流程的实际样貌，以及在这个过程中能帮助我们的一些工具。

##### 机器学习开发周期

事实上，机器学习项目并不简单。这是一个在数据，模型，和模型评估之间迭代的周期，而这个周期永远不会真正结束。这个周期循环对于机器学习模型的重要之处在于它聚焦于使用模型结果和模型评估来优化你的数据。一个高质量的数据集才是能帮助你训练出高质量模型的最重要的材料。开发周期迭代的速度决定了你的投入，不过我们幸而我们有一些能够在不牺牲质量的情况下加速开发的工具。

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscN4sdHxkX0HgcCYjhFtic7ckaWAwiaog9gJMGmP0iaPiavpicmcOZBzS4aibxg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

作者配图：一个机器学习开发周期的实际例子

和其他任何系统一样，开发机器学习模型也需要监控，维护，和更新。不可能你的模型上线以后你就甩下不管，还指望它可以以后一直在现实世界中有着在和你的测试数据上一样优秀的表现。在实际运营时，你需要更新你的机器学习模型，因为你会在模型里发现偏见，你要加入新的数据源，你会需要其他的特征，等等。这时，你又需要回到数据，模型，评估这个开发循环。

到了2021年，深度学习已经异军突起超过十年了，深度学习也帮助机器学习成为了市场的焦点。整个机器学习产业也经历了一场爆发式的增长，许多能够辅助机器学习开发的产品也如雨后春笋般被开发出来。在机器学习开发循环中的每一步，你都可以用上一些帮的上忙的工具，免得你的机器学习项目永远落不了地。

下一个部分，将会深挖机器学习生命周期的每一个阶段，也会重点提到一些广受欢迎的开发工具。

##### 第一阶段：数据

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscNdGNZhHS4ibicAILwUTeu4ytsY3OJC5wDcnKK0Z3pk2fq1RTDJzZpv01A/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

机器学习生命周期中的数据

当目标结果是一个高质量的模型时，训练一个好的模型的命脉就在于使用的数据数量以及更重要的质量。

在机器学习生命周期中与基础数据相关联的步骤有：

数据收集——收集尽可能多的原始数据，无论最终的质量如何，只有一小部分数据会得到注释，而这正是大部分成本的来源。

定义你的注释模式——这是生命周期数据阶段中最重要的部分之一，并且常常被忽视。构建不良的注释模式将导致模棱两可的类和边缘案例，使其更加困难的训练模型。

比如，对象探测模型的性能很多程度上取决于想尺寸、定位、方向、截断。因此，在注释过程中包括对象大小、密度和遮挡等属性可以提供创建高质量的培训数据集所需的关键元数据，模型可以从中学习。

Matplotlib, Plotly——数据绘制库

Tableau——更好地理解数据的分析平台

数据注释——注释是一个乏味的过程，一次执行相同的任务数小时，这就是为什么注释服务是一个蓬勃发展的业务。这也意味着注释起可能会犯很多错误。虽然大多数注释公司保证最大误差百分比（除2%的最大误差外），但更大的问题是定义不当的注释模式导致注释器决定以不同的方式标记样本。注释公司的QA团队很难发现，因此你需要自查自纠。

Scale, Labelbox, Prodigy ——流行注释服务商

Mechannical Turk ——外包注释

CVAT ——DIY计算机视觉注释

Doccano ——自然语言处理（NLP）特定注释工具

Centaur Labs ——医疗数据标签服务

提升数据集和注释——你可能会花绝大多数时间来提升模型性能。如果你的模型正在学习，但表现不佳，罪魁祸首几乎总是一个包含偏差和错误的培训数据集正在为模型创建性能上限（例证文章需外网）。提升模型一般需要大量的样本挖掘（新增与模型不匹配的相似其他样本），再平衡已经基于偏差数据学习过的数据集，并且更新新标签和完善已经存在的注释和模式。

DAGsHUb ——数据集版本

FiftyOne ——可视化数据集和发现错误

##### 第二阶段：模型

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscN71Mu2hErkj3VUQOdoTzIL3CPXOWBfeWpjb5amS4q7k0mLpCZSuYeUA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

配图：机器学习生命周期中的模型

即使此过程的输出是一个模型，您最想在此循环中花费最少的时间。

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscNbJfVW3ic2fbfCvN6xbzFBupVq9IvDjcicehfTvoICLgAvuNLQazGvqVg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

在Andrej Karpathy看来，在工业中，花费在数据集上的时间比模型多.

探索现有的预训练的模型——目的在于重复使用尽可能多的可用资源让模型生产有个最好的开头。在这个时代转移学习成为深度学习的一个核心租户。你将不太可能会使用scratch创造一个模型，而是在一个关联任务中预训练的现有模型。例如，如果你想做出一个口罩探测模型，你可能会从Github上下载一个预处理的面部探测模型，因为(口罩探测模型)是一个带有前期成果的受欢迎的话题。

FiftyOne model zoo——一行代码下载并运行模型

TensorFlow Hub——已训练的机器学习模型库

modelzoo.co——针对多样任务和库的预训练深度学习模型

构建训练循环——数据在某些方面可能会与被用作预训练模型的有些不同。对于图像数据集，为模型设置培训路线时，需要考虑对象大小等输入分辨率。你也会需要调整模型的输出结构来匹配标签的类和结构。Pytorch lighting为有限代码提供一个简单的方法来扩展模型训练。

Scikit Learn——创建和可视化古典机器学习系统

PyTorch, PyTorch Lighting, TensorFlow, TRAX——流行的深度学习Python库

Sagemaker——在Sagemaker开发环境中创建和训练机器学习系统

实验跟踪——整个圈可能会经过多次的迭代。你最终以训练很多不同模型，一丝不苟地跟踪不同版本的模型、超参数以及数据，它能在让事物有序这方面帮大忙。

Tensorboard, Weights & Biases, MLFlow——可视化和跟踪模型超参数

附注：如果你想使你的任务十分独特，这里有一些预训练技巧可以考虑。我会建议寻找方法使用无监督或半监督的方式来预训练模型，仍然只使用原始数据的一小部分进行微调。取决于任务本身，你还可以寻找合成数据来预训练你的数据。目的只是为了得到一个学会了数据的良好表现的模型，以便微调数据集只需要用于训练几层模型参数。

##### 第三阶段：评估

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscN1pomlvSo70ibo2oz6XZFCPI4CWxibj1ftb13OULoAsueGVJX26ZBgT4Q/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

机器学习生命周期中的评估（作者配图）

当你设法得到一个已经学会了训练数据的模型时，也是深入挖掘看看它能在新数据上执行情况的时候。

评估一个机器学习模型的关键步骤：

可视化模型输出——只要你有一个训练过的模型，你就需要立即用它运行一些样例并且查看输出。这是在对整个测试集进行评估之前，在培训/评估管道中查找是否有任何错误的最佳方法。这个方法也会展示是否有任何明显的错误，比如两个类已被错误标记了。

OpenCV, Numpy, Matplotlib —— 编写自定义可视化脚本

FiftyOne —— 可视化图像和视频上计算机视觉任务的输出

选择正确的指标—— 提出一个或几个指标可以帮助比较模型的整体表现。为了确保为您的任务选择最佳模型，您应该根据您的最终目标制定指标。当您找到要跟踪的其他重要质量时，您还应更新指标。例如，如果你想开始跟踪锄以及你的对象检测模型执行的小对象，使用mAP的对象与边界框<0.05作为您的指标之一。

虽然总数据集指标可用于比较多个模型的表现，但它们很少有助于理解如何提高模型的表现。

Scikit Learn —— 提供通用指标

Python, Numpy —— 开发自定义指标

查看失败案例——你的模型所做的每件事都基于他被训练的数据。那么假设它能学习到一些东西，如果它表现低于你的预期，你则需要检查数据。检查数据在你的模型表现良好时非常有用，但当你的模型预测出错时，查看假阳性和假阴性的误判结果非常重要。在查看了足够的这些样本后，你将会看到模型中的失败模式。

例如，下图展示了公开图像数据集的一个样例，一个误报提示了后轮，这个假阳性最终成为一个缺失的注释。验证数据集里所有轮胎注释并且修正其他相似错误能够提升模型在轮胎上的表现。

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscNlqyotR5rGhnLyfUSuBZNhWyAxxoIxHQKsYZlEBYll1j2ncyTbdhulA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

图片源自Tyler Ganter

FiftyOne, Aquarium, Scale Nucleus —— 数据集调试以查找错误

制定解决方案 —— 识别失败案例是找出改进模型表现的方法的第一步。在大多数情况下，它可以追溯到添加类似于您的模型失败的培训数据，但它也可以包括诸如更改流程中的预处理或处理后步骤或修复注释之类的内容。不论解决方案是什么，你只能通过了解模型失败的地方来解决它的问题。

##### 第四阶段：生产

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscNHndyYzHaTtAweuvibIiaic666IAxxDSZAZcVTYGlIAaqTnsXGMiadBEaEQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

配图：部署一个模型

最后！你得到了一个在各种边缘情况下没有重大错误，在评估指标上表现良好的模型。

现在你将需要：

监测模型——为确保模型在测试数据上依然按预期执行，测试您的部署与评估指标和参考速度有关。

Pachyderm，Algorithmia，Datarobot，Kubeflow，MLFlow —— 部署和监测模型以及流程

Amazon Web Services，Google AutoML，Microsoft Azure —— 基于云的机器学习模型解决方案

评估新数据——在生产环境下使用模型意味着你讲频繁地运行之前模型没有被测试过的全新数据。执行评估并深入到特定样本以查看模型在遇到任何新数据上的表现非常重要。

继续理解模型——模型中的一些错误和偏差可能根深蒂固，需要很长时间才能发现。你需要持续性地测试和验证你的模型，以发现各种边缘案例和趋势，如果客户发现这些可能会导致问题。

扩展能力——即使一切都进行地完美，但模型有可能并不如你所愿增加利润。从增加新的类，开发新的数据流，以及还有无数的方法来使模型更有效率来扩展当前模型的功能，使其更好。任何时候你想要提升你的系统，你都将需要重启机器学习生命周期来更新你的数据，模型和整体评估，以确保新特征如预期一样运行。

以上信息都是常规且公认的，但我想要告诉你更多我一直在使用的工具。

机器学习生命周期的各个部分都存在着大量的工具。然而，有一个相当稀缺的工具帮助我在这篇文章中强调一些关键点。诸如像将复杂数据（像图像或视频）可视化和标记或编写查询以查找模型表现不佳的特定情况，而这些通常通过手动脚本完成。

我一直在Voxel51公司开发51，它是一个开源的数据可视化工具用来帮助调试数据集和模型，并且填充空白。51可以让你在可视化界面中以本地或远程可视化你的图像和视频数据集和模型预测。它还提供了强大的功能来评估模型和编写高级查询数据集或模型输出的任何方面。

51可以在笔记本里运行，所以来试试用你的浏览器访问Colab Notebook吧。或者你可以使用pip命令来安装。

![](https://mmbiz.qpic.cn/mmbiz_png/OAibRPbfvrI7LXEN4xKeIG2iaUX6nRsscNricmicrPOQefWzPCia2wiaxV9rQ6WnLr5VkD46jGPrBH2HRGnvIr9QabCQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)

配图：来自51上对象检测模型和数据集的样本

##### 总结

只有一小部分公司试图将机器学习（缩写：ML）纳入其业务，设法将模型实际部署到生产中。一个机器学习模型的生命周期不是笔直向前的，而是需要在数据和标注、模型和训练流程、样本级评价等方面持续性迭代以提升。如果您知道您所从事的操作，此周期最终可能导致生产就绪模型，但还需要随着时间的推移进行维护和更新。幸运地是，有不计其数的工具开发来援助这个进程中的每一步。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/844

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除