Press "Enter" to skip to content

语言可解释性工具 (LIT):NLP 模型的交互式探索和分析

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

随着自然语言处理 (NLP) 模型变得更加强大并部署在更真实的环境中,了解它们的行为变得越来越重要。虽然建模的进步为许多 NLP 任务带来了前所未有的性能,但许多研究问题仍然不仅涉及这些模型在域转移和对抗性设置下的行为,还涉及它们根据社会偏见或浅层启发式行为的倾向。

 

对于任何新模型,人们可能想知道模型在哪些情况下表现不佳,为什幺模型会做出特定预测,或者模型在不同输入(例如文本样式或代词性别的变化)下的行为是否一致。但是,尽管最近在模型理解和评估方面的工作呈爆炸式增长,但还没有分析的“灵丹妙药”。从业者必须经常试验多种技术,查看输入的局部解释、汇总指标和反事实变化,以更好地理解模型行为,其中每一种技术通常都需要自己的软件包或定制工具。我们之前发布的假设分析工具旨在通过启用分类和回归模型的黑盒探测来应对这一挑战,从而使研究人员能够更轻松地调试性能并通过交互和可视化分析机器学习模型的公平性。但是仍然需要一个工具包来解决 NLP 模型特有的挑战。

 

考虑到这些挑战,我们构建并开源了语言可解释性工具(LIT),这是一个用于 NLP 模型理解的交互式平台。LIT 建立在从What-If 工具中汲取的经验教训之上,具有极大的扩展能力,涵盖了广泛的 NLP 任务,包括序列生成、跨度标记、分类和回归,以及可定制和可扩展的可视化和模型分析。

 

LIT 支持局部解释,包括显着图、注意力和模型预测的丰富可视化,以及包括度量、嵌入空间和灵活切片的聚合分析。它允许用户轻松地在可视化之间跳转以测试本地假设并通过数据集验证它们。LIT 为反事实生成提供支持,其中可以动态添加新数据点,并立即可视化它们对模型的影响。并排比较允许同时可视化两个模型或两个单独的数据点。

 

 

可定制性

 

为了更好地满足我们希望使用 LIT 的具有不同兴趣和优先级的广泛用户的需求,我们从一开始就构建了易于定制和扩展的工具。在特定的 NLP 模型和数据集上使用 LIT 只需要编写一小段 Python 代码。自定义组件,例如特定于任务的指标计算或反事实生成器,可以用 Python 编写并通过我们提供的 API 添加到 LIT 实例。此外,前端本身可以自定义,新模块直接集成到 UI 中。

 

演示

 

为了说明 LIT 的一些功能,我们使用预先训练的模型创建了一些演示。完整列表可在 LIT网站上找到,我们在此处描述其中的两个:

 

情感分析:在此示例中,用户可以探索基于BERT的二元分类器,该分类器可以预测句子是否具有正面或负面情绪。该演示使用来自电影评论的句子的斯坦福情绪树库来演示模型行为。可以使用由各种技术(例如LIME和集成梯度)提供的显着图来检查局部解释,并且可以使用诸如反向翻译之类的技术通过扰动(反事实)示例测试模型行为、词替换或对抗性攻击。这些技术可以帮助确定模型在哪些情况下会失败,以及这些失败是否具有普遍性,然后可以用来告知如何最好地改进模型。

 

 

掩码预测:掩码语言建模是一项“填空”任务,其中模型预测可以完成句子的不同单词。例如,给定提示“我带着我的 ___ 去散步”,该模型可能会预测“狗”的高分。在 LIT 中,人们可以通过输入句子或从预加载的语料库中进行选择来交互式地探索这一点,然后单击特定的标记以查看像 BERT 这样的模型对语言或世界的理解。

 

 

LIT 的实践和未来工作

 

虽然 LIT 是一种新工具,但我们已经看到了它可以为模型理解提供的价值。它的可视化可用于查找模型行为中的模式,例如嵌入空间中的外围集群,或对预测具有极大重要性的单词。LIT 中的探索可以测试模型中的潜在偏差,正如我们在 LIT 探索共同指代模型中的性别偏差的案例研究中所证明的那样。这种类型的分析可以为改进模型性能的后续步骤提供信息,例如应用 MinDiff 来减轻系统偏差。它还可以用作为任何 NLP 模型创建交互式演示的简单快捷方式。

 

通过我们提供的演示或通过为您自己的模型和数据集启动 LIT 服务器来查看该工具。LIT 的工作才刚刚开始,并且有许多新功能和改进计划,包括从前沿 ML 和 NLP 研究中添加新的可解释性技术。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注