不要写代码!Google推出机器学习模型分析神器,代号What-If

原标题:测试机器学习模型不用写代码!Google“what-if”工具轻松搞定

原标题:无需写代码!Google生产机器学习模型解析神器,代号What-If

图片 1

铜灵 编译整理

倒计时**8**天

后日,Google推出了已开源的TensorFlow可视化工具TensorBoard中一项新职能:What-If
Tool,用户可在不编写程序代码的状况下分析机器学习(ML)模型。

新智元将于十月20日在新加坡国家会议中央开设AI WORLD
2018社会风气人工智能峰会,MIT物理讲师、将来生命探究所创办者、《生命3.0》作者MaxTegmark,将揭橥演讲《大家怎么着行使AI,而不是被其压制》,讨论怎样面对AI军事化和杀人武器的面世,欢迎到现场互换!

不用写代码?

正确,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交到一个可用来探索模型结果的可相互的视觉界面。

来源:Google AI

图片 2

编辑:大明

250张人脸和在模型中检测微笑后的结果

【新智元导读】Google AI推出“what-if
”工具,用户完全不需要编制代码就能分析机器学习模型。该工具提供交互式可视化界面,用户可以探索并相比模型结果,可以高速地意识模型中的错误。

What-If
Tool里功效很多,包括活动用Facets将数据集可视化,也有从数量集中手动编辑示例并查看更改效果的效果,还是能自动生成部分关系图,显示模型预测随着单个特征的变动而改变的可行性。

构建便捷的机械学习连串,需要提议并解决许多题目。仅仅训练模型然后就放着不管是远远不够的。卓越的机器学习从业者要像侦探一样,时刻留意探索咋样更好地明白构建的模型:数据点的更动将对模型的展望结果造成咋样震慑?同一个模子对不同的部落会有怎么样不同的显现?用来测试模型的数据集的多样化程度怎么着等等。

而是,这还不是What-If Tool的整整实力。

要回答那些题材并不易于。要回答这多少个“如若”问题,通常要编制自定义的三次性代码来分析特定模型。那多少个过程不仅效能低下,再就是除了程序员,其外人很难参预立异机器学习模型的过程。

7大功能

Google AI
PAIR计划的一个重大就是让更常见的人群可以更有利于地对机械学习连串开展自我批评、评估和调剂。

What-If Tool重要有七大效果,不了然有没有您需要的那一款:

明日,我们专业发表What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新职能,它同意用户在不编写代码的事态下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

效果一:可视化估摸结果

图片 3

据悉臆度结果的例外,你的示范会被分成不同的颜料,之后可用混淆矩阵和此外自定义情势开展拍卖,从不同特色的角度显示猜度结果。

What-If工具突显一组250张面部图片及其检测微笑模型的结果

图片 4

What-If工具效能强大,可以利用Facets自动突显数据集,从数额集手动编辑示例并查看更改的效益,仍可以自动生成部分依赖图(partial
dependence
plots),展现模型的臆想结果随任何单个效能的改观而变更的意况。

效果二:编辑一个数据点,看模型表现怎么着

图片 5

您可以编写、添加或删除任何选定数据点的特征或特色值,然后运行估算来测试模型性能,也可上传全新示例。

追究数据点上的What-if情景

图片 6

下面详细介绍What-If工具的三个职能。

效益三:发掘单个特征的效益

只需一键,自动相比数据点与模型预测最相似点

可以用来研讨为当选数据点中的单个特征自动生成的图,显示特征使得值不同时推测结果的变动。

用户只需单击一个按钮,就足以将数据点与模型预测不同结果的最相似点举行相比。我们称这么些点为“Counterfactuals”,可以显得出预测模型的决定边界。用户也足以手动编辑数据点,并探索模型预测的变型。

图片 7

在下边的截图中,该工具用于二进制分类模型,该模型遵照美利坚合众国人口普查数据集的公物人口普查数据,预测一个人的年收入是否超越5万日币。这是机械学习商量人口拔取的原则预测任务,尤其是在分析算法的公平性时。

功用四:探索反事实示例

在这种情景下,对于选定的数据点,模型预测该人年收入超越5万比索的信度为73%。该工具自动定位数据汇总最相似的人,模型预测其年收入低于5万日元,然后将选定数据点和与之最相似、但估摸结果反而的数据点举行并排相比较。如下图所示,二者只有在年纪和生意上设有微小的歧异,但模型的预测结果早就完全相反了。

轻轻一点,你就能相比较数据点与模型预测出不同结果的最相似点。我们将这个点称为“反事实”(Counterfactuals),可以反映出模型的裁定边界。

图片 8

图片 9

对Counterfactuals的相比。二人只有在年纪和生意上设有微小的反差,但模型的预测结果早就完全相反

功能五:按相似度排列示例

模型性能和算法公平性分析

用L1或L2距离从选定的数据点创立距离特性,并将其可视化举行更加分析。

用户还是可以够追究不同分类阈值的震慑,同时考虑不同数值公平性标准等约束规范。下图所示为微笑探测器模型的结果,该模型在开源CelebA数据集上练习,数据集是已标记的球星面部图像。

图片 10

下图所示数据集中的面庞图像遵照头发是否为粉色分开,多少个图像中的每一组都建立一条ROC曲线和一个展望结果的混淆矩阵,再设置一个置信度滑块,设定模型必须在跨越某一置信度时才能判定目的的脸部是微笑的。本例中,What-If工具自动安装两组的置信度阈值,以优化模型,实现机会均等。

效用六:查看混淆矩阵和ROC曲线

图片 11

对此富含描述真实标签特性的二分类模型和演示,使用阈值、ROC曲线、数值混淆矩阵和资本比交互式地琢磨模型性能。

采纳What-if工具对微笑检测模型两片段数据的预测表现的比较,其中臆度模型分类阈值设置满足“机会公平”

图片 12

检测错误分类、评估模型公平性、调查模型不同数据集

功能七:测试算法公平性限制

为了验证What-if工具的职能,大家拔取预先操练的模子发表了一组Demo:

对于二分类模型来说,这个工具得以将您的多少集分成子数据集,继而探索不同算法公平性约束(fairness
constraints)的影响。

检测错误分类:多类分类模型,模型遵照对植物的花的一遍观测来预测植物的品种。What-if工具有助于展现模型的仲裁边界,弄清导致错误分类的原因。

图片 13

评估二元分类模型的公平性:地点提到的用来微笑表情检测的图像分类模型。What-if工具有助于评估不同子图像组的算法公平性。在该模型的练习中,有意没有提供来自特定人群的以身作则,目的是为着表现What-if工具如何可以披露模型中的这种偏向。对模型预测公平性的评估需要仔细考虑全体背景,可是What-if工具是一个实惠的量化起点。

传送门

查证模型在不同子群体中的表现:回归模型可以用来依照人口普查消息预测受试者的年龄。What-if工具能显得出模型在不同子群体中的相对表现,以及不同特色如何独立影响预测结果。该模型使用美利哥人口普查数据集举行训练。

在Google官方博客上,研讨人员还宣布了用预锻炼模型举行的一组演示,比如检测错误分类的案由,评估二元分类模型的公平性和考察不同子数据集中模型的显示等。能够活动官方博客查看更多,博客地址:

What-If工具的实实在在应用

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

咱俩将What-If工具在Google内部协会中开展了测试,该工具在测试中显现出了平素价值。有团体飞快发现他们的模型错误地忽视了数据集的总体特征,修复了此前未察觉的代码错误。
还有团队应用该工具将模型示例按性质高到低排列出来,并发现表现欠好的模子示例的周转格局。

What-If Tool介绍主页:

我们愿意Google内外的人们都来利用What-If工具,以更好地理解机器学习模型,并起头评估预测模型的公平性。
我们的代码是开源的,欢迎对该工具继续添砖加瓦。

https://pair-code.github.io/what-if-tool/

Github:

归来新浪,查看更多

https://pair-code.github.io/what-if-tool/

责任编辑:

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

倒计时 8

http://www.aiworld2018.com/

回去新浪,查看更多

责任编辑:

发表评论

电子邮件地址不会被公开。 必填项已用*标注