不要写代码!Google生产机器学习模型解析神器,代号What-If

原标题:无需写代码!Google生产机器学习模型分析神器,代号What-If

原标题:测试机器学习模型不用写代码!Google“what-if”工具轻松搞定

铜灵 编译整理

图片 1

前日,Google推出了已开源的TensorFlow可视化工具TensorBoard中一项新效率:What-If
Tool,用户可在不编写程序代码的气象下分析机器学习(ML)模型。

倒计时**8**天

不用写代码?

新智元将于六月20日在日本东京国家会议主题设置AI WORLD
2018世界人工智能峰会,MIT物理教师、将来生命商讨所开创者、《生命3.0》作者马克斯(Max)Tegmark,将刊登演说《大家怎样利用AI,而不是被其压制》,研究如何面对AI军事化和杀人武器的出现,欢迎到实地互换!

毋庸置疑,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交付一个可用来探索模型结果的可相互的视觉界面。

图片 2

来源:Google AI

250张人脸和在模型中检测微笑后的结果

编辑:大明

What-If
Tool里效能很多,包括机关用Facets将数据集可视化,也有从数据汇总手动编辑示例并查阅更改效果的效益,仍是可以自动生成部分关系图,呈现模型预测随着单个特征的改观而更改的自由化。

【新智元导读】Google AI推出“what-if
”工具,用户完全不需要编制代码就能分析机器学习模型。该工具提供交互式可视化界面,用户能够探索并相比较模型结果,可以长足地窥见模型中的错误。

而是,那还不是What-If Tool的整个实力。

构建连忙的机械学习连串,需要提议并解决许多问题。仅仅训练模型然后就放着不管是远远不够的。优良的机器学习从业者要像侦探一样,时刻放在心上探索如何更好地知道构建的模型:数据点的变迁将对模型的预测结果造成什么震慑?同一个模型对不同的群体会有哪些不同的变现?用来测试模型的数据集的多样化程度怎么着等等。

7大功能

要应对这个题目并不便于。要回应这多少个“即使”问题,通常要编制自定义的两遍性代码来分析特定模型。这一个进程不仅效用低下,并且除了程序员,其外人很难参与立异机器学习模型的长河。

What-If Tool首要有七大效率,不亮堂有没有你需要的那一款:

Google AI
PAIR计划的一个生死攸关就是让更宽广的人流可以更便民地对机器学习系列开展检查、评估和调剂。

效益一:可视化估量结果

前几日,我们正式宣布What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新效率,它同意用户在不编写代码的事态下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

据悉测算结果的两样,你的示范会被分成不同的颜料,之后可用混淆矩阵和另外自定义形式开展拍卖,从不同风味的角度彰显预计结果。

图片 3

图片 4

What-If工具展现一组250张面部图片及其检测微笑模型的结果

意义二:编辑一个数据点,看模型表现如何

What-If工具效率强大,可以拔取Facets自动突显数据集,从数据集手动编辑示例并查阅更改的职能,还可以自动生成部分倚重图(partial
dependence
plots),显示模型的估算结果随任何单个功能的改观而变更的景色。

您可以编制、添加或删除任何选定数据点的特性或特色值,然后运行估算来测试模型性能,也可上传全新示例。

图片 5

图片 6

深究数据点上的What-if情景

功能三:发掘单个特征的机能

下边详细介绍What-If工具的六个功效。

可以用来研商为当选数据点中的单个特征自动生成的图,展现特征使得值不同时估算结果的变迁。

只需一键,自动相比较数据点与模型预测最相似点

图片 7

用户只需单击一个按钮,就足以将数据点与模型预测不同结果的最相似点举办相比。大家称那些点为“Counterfactuals”,可以显得出预测模型的决定边界。用户也足以手动编辑数据点,并追究模型预测的浮动。

功用四:探索反事实示例

在下边的截图中,该工具用于二进制分类模型,该模型按照美利哥人口普查数据集的国有人口普查数据,预测一个人的年收入是否领先5万先令。这是机械学习研究人士使用的标准预测任务,尤其是在条分缕析算法的公平性时。

轻轻地一点,你就能相比较数据点与模型预测出不同结果的最相似点。我们将那些点称为“反事实”(Counterfactuals),可以显示出模型的表决边界。

在这种状态下,对于选定的数据点,模型预测该人年收入超越5万日币的信度为73%。该工具自动定位数据汇总最相似的人,模型预测其年收入低于5万比索,然后将选定数据点和与之最相似、但臆度结果相反的数据点举办并排相比较。如下图所示,二者唯有在年纪和生意上设有微小的歧异,但模型的预测结果已经完全相反了。

图片 8

图片 9

效能五:按相似度排列示例

对Counterfactuals的可比。二人只有在年纪和工作上存在微小的出入,但模型的展望结果早就完全相反

用L1或L2距离从选定的数据点创建距离特性,并将其可视化举办更进一步分析。

模型性能和算法公平性分析

图片 10

用户还足以追究不同分类阈值的震慑,同时考虑不同数值公平性标准等约束原则。下图所示为微笑探测器模型的结果,该模型在开源CelebA数据集上训练,数据集是已标记的球星面部图像。

效率六:查看混淆矩阵和ROC曲线

下图所示数据集中的面庞图像按照头发是否为红色分开,六个图像中的每一组都建立一条ROC曲线和一个预测结果的混淆矩阵,再设置一个置信度滑块,设定模型必须在超过某一置信度时才能判定目的的脸部是微笑的。本例中,What-If工具自动安装两组的置信度阈值,以优化模型,实现机会均等。

对此富含描述真实标签特性的二分类模型和示范,使用阈值、ROC曲线、数值混淆矩阵和资产比交互式地探索模型性能。

图片 11

图片 12

运用What-if工具对微笑检测模型两有些数据的猜想表现的可比,其中估量模型分类阈值设置满足“机会公平”

效能七:测试算法公平性限制

检测错误分类、评估模型公平性、调查模型不同数据集

对此二分拣模型来说,这个工具得以将你的多少集分成子数据集,继而探索不同算法公平性约束(fairness
constraints)的震慑。

为了证实What-if工具的功用,我们利用预先训练的模子宣布了一组Demo:

图片 13

检测错误分类:多类分类模型,模型依据对植物的花的三回考察来预测植物的品类。What-if工具有助于彰显模型的裁决边界,弄清导致错误分类的缘故。

传送门

评估二元分类模型的公平性:地方提到的用来微笑表情检测的图像分类模型。What-if工具有助于评估不同子图像组的算法公平性。在该模型的磨练中,有意没有提供来自特定人群的演示,目的是为了表现What-if工具如何可以披露模型中的这种偏向。对模型预测公平性的评估需要细致考虑全部背景,然则What-if工具是一个实用的量化起源。

在Google官方博客上,探讨人口还发布了用预训练模型举办的一组演示,比如检测错误分类的来头,评估二元分类模型的公平性和调研不同子数据集中模型的表现等。可以移动官方博客查看更多,博客地址:

查证模型在不同子群体中的表现:回归模型可以用于依据人口普查音信预测受试者的年纪。What-if工具能突显出模型在不同子群体中的相对表现,以及不同特点怎么样独立影响预测结果。该模型使用美利坚同盟国人口普查数据集进行操练。

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

What-If工具的活生生应用

What-If Tool介绍主页:

大家将What-If工具在Google内部协会中举行了测试,该工具在测试中显现出了一向价值。有集体高效发现他们的模型错误地忽视了数据集的所有特征,修复了以前未察觉的代码错误。
还有团队行使该工具将模型示例按性质高到低排列出来,并发现表现不好的模子示例的周转情势。

https://pair-code.github.io/what-if-tool/

俺们愿意谷歌内外的人们都来采取What-If工具,以更好地知道机器学习模型,并开端评估预测模型的公平性。
我们的代码是开源的,欢迎对该工具继续添砖加瓦。

归来网易,查看更多

Github:

责任编辑:

https://pair-code.github.io/what-if-tool/

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

倒计时 8

http://www.aiworld2018.com/

回去今日头条,查看更多

责任编辑:

发表评论

电子邮件地址不会被公开。 必填项已用*标注