无需写代码!Google推出机器学习模型分析神器,代号What-If

原标题:测试机器学习模型不用写代码!Google“what-if”工具轻松搞定

原标题:无需写代码!Google生产机器学习模型分析神器,代号What-If

图片 1

铜灵 编译整理

倒计时**8**天

今日,Google生产了已开源的TensorFlow可视化工具TensorBoard中一项新效用:What-If
Tool,用户可在不编写程序代码的动静下分析机器学习(ML)模型。

新智元将于二月20日在新加坡国家会议中央设置AI WORLD
2018社会风气人工智能峰会,MIT物理讲师、未来生命琢磨所创办人、《生命3.0》作者马克斯Tegmark,将发布演说《我们咋样利用AI,而不是被其制止》,研讨怎样面对AI军事化和杀人武器的出现,欢迎到现场交换!

不用写代码?

毋庸置疑,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交付一个可用来探究模型结果的可互相的视觉界面。

来源:Google AI

图片 2

编辑:大明

250张人脸和在模型中检测微笑后的结果

【新智元导读】Google AI推出“what-if
”工具,用户完全不需要编制代码就能分析机器学习模型。该工具提供交互式可视化界面,用户可以追究并比较模型结果,可以高速地意识模型中的错误。

What-If
Tool里效率很多,包括活动用Facets将数据集可视化,也有从数额集中手动编辑示例并查阅更改效果的服从,还是可以自动生成部分关系图,呈现模型预测随着单个特征的更动而变更的来头。

构建快速的机械学习类别,需要指出并解决许多题目。仅仅训练模型然后就放着不管是远远不够的。优秀的机器学习从业者要像侦探一样,时刻放在心上探索如何更好地领略构建的模型:数据点的生成将对模型的预测结果造成咋样震慑?同一个模子对不同的部落会有什么样不同的显示?用来测试模型的数据集的多样化程度怎么样等等。

不过,这还不是What-If Tool的全套实力。

要回应那一个问题并不便于。要回应那些“假若”问题,通常要编写自定义的一遍性代码来分析特定模型。这一个历程不仅功效低下,同时除了程序员,其外人很难参加革新机器学习模型的经过。

7大功能

Google AI
PAIR计划的一个重要就是让更宽广的人群可以更有利地对机械学习体系开展自我批评、评估和调节。

What-If Tool重要有七大功能,不清楚有没有你需要的那一款:

先天,我们专业颁发What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新职能,它同意用户在不编写代码的图景下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

效果一:可视化揣度结果

图片 3

按照测算结果的例外,你的以身作则会被分为不同的颜色,之后可用混淆矩阵和其他自定义形式展开处理,从不同风味的角度显示估算结果。

What-If工具展现一组250张面部图片及其检测微笑模型的结果

图片 4

What-If工具功用强大,可以利用Facets自动显示数据集,从数额集手动编辑示例并查看更改的成效,还是能自动生成部分看重图(partial
dependence
plots),显示模型的估摸结果随任何单个效用的转移而转变的状态。

职能二:编辑一个数据点,看模型表现怎么着

图片 5

你可以编制、添加或删除任何选定数据点的表征或特色值,然后运行预计来测试模型性能,也可上传全新示例。

钻探数据点上的What-if情景

图片 6

下面详细介绍What-If工具的五个效用。

效率三:发掘单个特征的成效

只需一键,自动比较数据点与模型预测最相似点

可以用来啄磨为当选数据点中的单个特征自动生成的图,呈现特征使得值不同时推测结果的变化。

用户只需单击一个按钮,就可以将数据点与模型预测不同结果的最相似点举办相比。我们称这么些点为“Counterfactuals”,可以来得出预测模型的核定边界。用户也足以手动编辑数据点,并探索模型预测的扭转。

图片 7

在下边的截图中,该工具用于二进制分类模型,该模型遵照花旗国人口普查数据集的公共人口普查数据,预测一个人的年收入是否超越5万新币。这是机械学习钻研人口选拔的规则预测任务,尤其是在解析算法的公平性时。

效益四:探索反事实示例

在这种气象下,对于选定的数据点,模型预测该人年收入领先5万加元的信度为73%。该工具自动定位数据汇总最相似的人,模型预测其年收入低于5万美金,然后将选定数据点和与之最相似、但预计结果相反的数据点举办并排相比较。一般来说图所示,二者唯有在年龄和生意上设有微小的反差,但模型的预测结果已经完全相反了。

轻轻一点,你就能比较数据点与模型预测出不同结果的最相似点。我们将这些点称为“反事实”(Counterfactuals),能够彰显出模型的决策边界。

图片 8

图片 9

对Counterfactuals的可比。二人唯有在年纪和事情上存在微小的区别,但模型的前瞻结果早就完全相反

功用五:按相似度排列示例

模型性能和算法公平性分析

用L1或L2距离从选定的数据点创制距离特性,并将其可视化举行进一步分析。

用户还足以探索不同分类阈值的影响,同时考虑不同数值公平性标准等约束原则。下图所示为微笑探测器模型的结果,该模型在开源CelebA数据集上锻练,数据集是已标记的球星面部图像。

图片 10

下图所示数据集中的面孔图像按照头发是否为黄色分开,五个图像中的每一组都创立一条ROC曲线和一个展望结果的混淆矩阵,再设置一个置信度滑块,设定模型必须在超过某一置信度时才能判定目标的脸部是微笑的。本例中,What-If工具自动安装两组的置信度阈值,以优化模型,实现机会均等。

效用六:查看混淆矩阵和ROC曲线

图片 11

对于富含描述真实标签特性的二分拣模型和示范,使用阈值、ROC曲线、数值混淆矩阵和资金比交互式地探索模型性能。

行使What-if工具对微笑检测模型两局部数据的展望表现的相比,其中揣测模型分类阈值设置满意“机会公平”

图片 12

检测错误分类、评估模型公平性、调查模型不同数据集

职能七:测试算法公平性限制

为了求证What-if工具的法力,大家使用预先磨炼的模子发表了一组Demo:

对此二分拣模型来说,那些工具得以将你的数码集分成子数据集,继而探索不同算法公平性约束(fairness
constraints)的影响。

检测错误分类:多类分类模型,模型遵照对植物的花的四遍观测来预测植物的品类。What-if工具有助于显示模型的裁定边界,弄清导致错误分类的来头。

图片 13

评估二元分类模型的公平性:上边提到的用于微笑表情检测的图像分类模型。What-if工具有助于评估不同子图像组的算法公平性。在该模型的教练中,有意没有提供来自特定人群的示范,指标是为着表现What-if工具如何能够披露模型中的这种偏向。对模型预测公平性的评估需要密切考虑全部背景,不过What-if工具是一个管用的量化起源。

传送门

查证模型在不同子群体中的表现:回归模型能够用来按照人口普查音信预测受试者的岁数。What-if工具能显示出模型在不同子群体中的相对表现,以及不同特点怎么着独立影响预测结果。该模型使用美利坚合众国人口普查数据集举行训练。

在谷歌官方博客上,探究人口还揭橥了用预练习模型举行的一组演示,比如检测错误分类的缘由,评估二元分类模型的公平性和调查不同子数据集中模型的变现等。可以运动官方博客查看更多,博客地址:

What-If工具的的确应用

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

咱俩将What-If工具在谷歌内部组织中展开了测试,该工具在测试中显现出了一贯价值。有团体急迅发现他们的模型错误地忽视了数据集的方方面面特征,修复了原先未发现的代码错误。
还有团队运用该工具将模型示例按性质高到低排列出来,并发现表现欠好的模型示例的运作形式。

What-If Tool介绍主页:

咱俩盼望Google内外的众人都来使用What-If工具,以更好地了解机器学习模型,并最先评估预测模型的公平性。
我们的代码是开源的,欢迎对该工具继续添砖加瓦。

https://pair-code.github.io/what-if-tool/

Github:

回来博客园,查看更多

https://pair-code.github.io/what-if-tool/

责任编辑:

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

倒计时 8

http://www.aiworld2018.com/

回到知乎,查看更多

责任编辑:

发表评论

电子邮件地址不会被公开。 必填项已用*标注