使用组织增量学习开发深度学习系统

简介：协作学习和数据共享的重要性

近年来，人工智能取得了长足发展。算力和图形处理单元的大幅进步使人工智能得以走向大众。

构建人工智能系统一直是一项颇具挑战性的任务。尽管今天的组织正在探索采用人工智能的路径，但他们经常需要作出决策，判断投资某项人工智能计划是否是正确的做法。

这往往会让我们设法围绕组织的需求构建一个实验性的人工智能系统，使我们可以在加大投资力度之前对其进行评估。在这里，系统应该以“实现”为中心。我们可以利用加速原型开发的可用工具和框架来做到这一点。

这种场景是有很大挑战性的，因为构建一个人工智能系统需要解决以下方面的问题：

数据收集/注释：第一个重要的考虑因素是如何获取带注释的数据来训练机器学习模型。与此同时数据还不能泄露。匿名数据是一种替代方法，但需要相当大的投入。

使用合适的算法训练模型：获得正确的算法来训练模型。

与参与的合作伙伴共享模型：这解决了数据共享问题，因为我们共享的是模型而不是数据。

向用户提供模型以获取反馈：训练模型后，需要有一种机制让用户可以评估和感受模型。简而言之，就是具备评估模型的能力。

重用：使用先前训练的模型来快速学习。为了解决上述挑战，协作机器学习方法可以发挥很大作用。在本文中，我将讨论如何在数据共享起来非常困难的情况下使用协作机器学习方法，这种背景下可以使用模型共享和组织增量学习（Institutional Incremental Learning，IIL）来构建更好的模型。

这里的关键词是模型共享，而不是数据共享。重点是以最优化的方式使用资源，以足够快的速度构建深度学习模型系统，与此同时也需要解决围绕数据的安全问题。

在协作学习场景中，协作可以通过以下方式实现：

多个参与者/组织基于可用的私有数据训练模型，并将训练的参数传递给中央服务器。我们将其称为联邦学习。

多个参与者/组织逐步训练模型并将模型传递给下一个参与者。这一过程可以反复发生。这就是组织增量学习。

什幺是组织增量学习？

这是模型训练中的一种协作方式。组织增量学习是指在称为节点的多个设备/服务器上训练机器学习（或深度学习）模型。以下是其主要特点：

节点有它们的本地数据样本版本。

算法对节点可用，而不是将数据发送到一台服务器。

解决数据隐私、安全问题。

参与者可以为生态系统发布他们的模型。

适用于多个领域，包括国防、电信、物联网、制药和医疗。组织增量学习是解决数据共享问题的很有前途的方法之一。使用这种方法，组织可以在安全的环境中训练模型，并且可以共享模型而无需共享宝贵的数据。

组织增量学习不同于联邦学习。在联邦学习中，所有参与者同时进行训练。这是存在挑战的，因为中心化服务器需要更新和维护模型，导致复杂的技术和通信需求。

图 3：模型提供每个像素的输出，然后在 skimage 库的帮助下将其转换为边界框

原始信息：当真实信息可用时，推理脚本会生成带有标签和边界框的图像。

图 4：带有原始信息的图像

适用性：

此应用程序通过仅共享模型来支持组织增量学习。当协作者训练并与协作者共享模型时，他们无需共享数据。通过这一模型，信息会与协作者共享，允许后者获取与图像关联的标签信息。这样学习就能持续下去。这里的另一个优点是任何人都不会强迫协作者使用特定的模型。他们可以灵活地

使用默认模型上可用的数据训练他们的模型。

加载其他用户提供的模型并得出结论。

加载其他用户提供的模型并使用他们的数据集对其进行微调。这在分片模型非常常用的医学领域特别有用，并且这种方法有可能解决数据隐私问题。

增量学习的好处：

我们观察到了组织增量学习的各种好处，例如：

解决数据安全问题。

在不共享数据的情况下实现协作。无需访问所有数据即可获得更好的模型。

易于实现。与另一种称为联合学习的方法相比，这种方法更容易实践。

灵活选择模型。在这里，参与者不需要局限于特定的模型，他们可以选择自己想要的模型。与联邦学习系统相比，这种方法实现起来很简单。前者有一个复杂的技术要求，需要一个中央服务器扮演裁判的角色，并确保模型随着参与节点的更新而保持更新。这带来了复杂的工程挑战。

因此我们可以看到，在使用组织增量学习解决数据共享问题的同时，我们可以很容易地构建目标检测系统并提供给用户。这个项目已经准备就绪，并支持组织增量学习。借助 fastai 库，我们可以轻松开发支持其他架构的模型，例如 resnet50。

组织增量学习在某些情况下是很有用的，尤其是在医学领域。该框架可以支持以下用例：

脑肿瘤检测

胸部 X 光片中的肺炎检测

腹部扫描

作者介绍：

Ritesh Sinha 是一位首席数据科学家，在交付涉及制造和医疗保健领域的 AI 端到端项目方面拥有丰富经验。除了计算机视觉之外，他还拥有自然语言处理方面的经验，并且他设计了一个高效的搜索系统，可以使用 spacy 挖掘医学期刊数据。他是一名导师，定期举办网络研讨会和大师班。他还撰写了有关制造分析挑战的白皮书。他目前在 HCL Technologies Ltd.工作。

原文链接：

Developing Deep Learning Systems Using Institutional Incremental Learning