无需写代码!Google生产机器学习模型分析神器,代号What-If

原标题:无需写代码!Google生产机器学习模型解析神器,代号What-If

原标题:测试机器学习模型不用写代码!Google“what-if”工具轻松搞定

铜灵 编译整理

图片 1

前日,Google生产了已开源的TensorFlow可视化工具TensorBoard中一项新功效:What-If
Tool,用户可在不编写程序代码的气象下分析机器学习(ML)模型。

倒计时**8**天

不用写代码?

新智元将于10月20日在时尚之都国家会议中央设置AI WORLD
2018世界人工智能峰会,MIT物理助教、未来生命钻探所创办人、《生命3.0》作者马克斯Tegmark,将发表演讲《大家怎么利用AI,而不是被其制止》,琢磨如何面对AI军事化和杀人武器的出现,欢迎到现场交换!

科学,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交付一个可用来探索模型结果的可互相的视觉界面。

图片 2

来源:Google AI

250张人脸和在模型中检测微笑后的结果

编辑:大明

What-If
Tool里功效很多,包括电动用Facets将数据集可视化,也有从数量集中手动编辑示例并查看更改效果的功力,仍能自动生成部分关系图,显示模型预测随着单个特征的变更而改变的大势。

【新智元导读】Google AI推出“what-if
”工具,用户完全不需要编制代码就能分析机器学习模型。该工具提供交互式可视化界面,用户可以探索并相比模型结果,可以高速地意识模型中的错误。

可是,这还不是What-If Tool的凡事实力。

构建高速的机器学习系统,需要提议并缓解许多题材。仅仅训练模型然后就放着不管是遥远不够的。出色的机械学习从业者要像侦探一样,时刻放在心上探索怎样更好地精通构建的模子:数据点的转移将对模型的展望结果导致咋样震慑?同一个模型对不同的群体会有什么样不同的变现?用来测试模型的数据集的多样化程度怎么样等等。

7大功能

要回应这么些问题并不易于。要回答这多少个“尽管”问题,平常要编制自定义的四次性代码来分析特定模型。那个历程不仅功用低下,再就是除了程序员,其别人很难参加立异机器学习模型的进程。

What-If Tool首要有七大功用,不了然有没有你需要的那一款:

Google AI
PAIR计划的一个关键就是让更宽广的人流能够更有利于地对机械学习连串进行反省、评估和调节。

效用一:可视化推测结果

明日,大家规范公告What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新功效,它同意用户在不编写代码的图景下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

遵照揣度结果的不等,你的演示会被分成不同的颜料,之后可用混淆矩阵和其它自定义形式举行处理,从不同特色的角度显示预计结果。

图片 3

图片 4

What-If工具显示一组250张面部图片及其检测微笑模型的结果

效率二:编辑一个数据点,看模型表现如何

What-If工具功用强大,可以应用Facets自动突显数据集,从数据集手动编辑示例并查阅更改的职能,仍能自动生成部分依赖图(partial
dependence
plots),呈现模型的展望结果随任何单个功用的更改而生成的情形。

您可以编写、添加或删除任何选定数据点的表征或特色值,然后运行估摸来测试模型性能,也可上传全新示例。

图片 5

图片 6

深究数据点上的What-if情景

意义三:发掘单个特征的职能

下边详细介绍What-If工具的三个职能。

可以用来探索为当选数据点中的单个特征自动生成的图,显示特征使得值不同时估摸结果的转移。

只需一键,自动比较数据点与模型预测最相似点

图片 7

用户只需单击一个按钮,就可以将数据点与模型预测不同结果的最相似点举办比较。我们称这么些点为“Counterfactuals”,可以彰显出预测模型的决策边界。用户也足以手动编辑数据点,并追究模型预测的变迁。

效益四:探索反事实示例

在下边的截图中,该工具用于二进制分类模型,该模型遵照美利坚合众国人口普查数据集的国有人口普查数据,预测一个人的年收入是否领先5万欧元。这是机器学习研讨人士利用的规范预测任务,尤其是在条分缕析算法的公平性时。

轻度一点,你就能相比较数据点与模型预测出不同结果的最相似点。我们将这多少个点称为“反事实”(Counterfactuals),可以显示出模型的表决边界。

在这种情状下,对于选定的数据点,模型预测该人年收入超过5万加元的信度为73%。该工具自动定位数据汇总最相似的人,模型预测其年收入低于5万日元,然后将选定数据点和与之最相似、但预计结果反而的数据点举办并排相比较。如下图所示,二者只有在年龄和职业上存在微小的歧异,但模型的预计结果已经完全相反了。

图片 8

图片 9

成效五:按相似度排列示例

对Counterfactuals的比较。二人唯有在年纪和生意上设有微小的出入,但模型的预测结果已经完全相反

用L1或L2距离从选定的数据点创制距离特性,并将其可视化举行更加分析。

模型性能和算法公平性分析

图片 10

用户还足以探索不同分类阈值的影响,同时考虑不同数值公平性标准等自律原则。下图所示为微笑探测器模型的结果,该模型在开源CelebA数据集上操练,数据集是已标记的球星面部图像。

效率六:查看混淆矩阵和ROC曲线

下图所示数据集中的面部图像遵照头发是否为褐色分开,六个图像中的每一组都创制一条ROC曲线和一个估摸结果的混淆矩阵,再设置一个置信度滑块,设定模型必须在抢先某一置信度时才能判断目的的面孔是微笑的。本例中,What-If工具自动安装两组的置信度阈值,以优化模型,实现机会均等。

对此富含描述真实标签特性的二分类模型和演示,使用阈值、ROC曲线、数值混淆矩阵和本金比交互式地讨论模型性能。

图片 11

图片 12

动用What-if工具对微笑检测模型两有些数据的前瞻表现的相比较,其中估计模型分类阈值设置满意“机会公平”

效率七:测试算法公平性限制

检测错误分类、评估模型公平性、调查模型不同数据集

对于二分类模型来说,那个工具得以将您的数目集分成子数据集,继而探索不同算法公平性约束(fairness
constraints)的震慑。

为了证实What-if工具的意义,我们应用预先训练的模型发表了一组Demo:

图片 13

检测错误分类:多类分类模型,模型按照对植物的花的五遍考察来预测植物的门类。What-if工具有助于彰显模型的仲裁边界,弄清导致错误分类的原由。

传送门

评估二元分类模型的公平性:地方提到的用来微笑表情检测的图像分类模型。What-if工具有助于评估不同子图像组的算法公平性。在该模型的锻练中,有意没有提供来自特定人群的演示,目的是为了表现What-if工具如何可以披露模型中的这种过错。对模型预测公平性的评估需要细致考虑全体背景,不过What-if工具是一个灵光的量化起源。

在谷歌官方博客上,探讨人口还揭发了用预磨炼模型举行的一组演示,比如检测错误分类的原故,评估二元分类模型的公平性和调查不同子数据汇总模型的显示等。可以运动官方博客查看更多,博客地址:

检察模型在不同子群体中的表现:回归模型可以用来依据人口普查音讯预测受试者的岁数。What-if工具能显示出模型在不同子群体中的相对表现,以及不同特色怎么着独立影响预测结果。该模型使用美国人口普查数据集举行练习。

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

What-If工具的可靠应用

What-If Tool介绍主页:

我们将What-If工具在Google内部社团中开展了测试,该工具在测试中显现出了第一手价值。有团体神速发现她们的模子错误地忽视了数据集的漫天特征,修复了原先未发现的代码错误。
还有团队利用该工具将模型示例按性质高到低排列出来,并发现表现欠好的模型示例的运转格局。

https://pair-code.github.io/what-if-tool/

我们希望Google内外的众人都来利用What-If工具,以更好地精晓机器学习模型,并先导评估预测模型的公平性。
我们的代码是开源的,欢迎对该工具继续添砖加瓦。

回到今日头条,查看更多

Github:

责任编辑:

https://pair-code.github.io/what-if-tool/

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

倒计时 8

http://www.aiworld2018.com/

回来知乎,查看更多

责任编辑:

发表评论

电子邮件地址不会被公开。 必填项已用*标注