使用Weka在几分钟内建立决策树

点击蓝字

!

关注我们

对于非技术背景的人来说,机器学习可能会令人生畏。所有机器学习工作似乎都需要对Python有良好的了解。

那么非程序员如何获得编码经验呢?这不是小菜一碟!

这是个好消息-有很多工具可以让我们无需编写代码即可执行机器学习任务。您可以在漂亮的图形界面中轻松地从头开始构建算法,例如决策树。那不是梦吗?这些工具可帮助我们主要处理两件事:

快速建立机器学习模型,并了解算法的性能。以后可以对其进行修改和构建

这是向客户/您的领导团队展示您正在使用什么的理想选择

本文将向您展示如何在没有任何编程知识的情况下使用Weka中的决策树解决分类和回归问题!

但是,如果您热衷于编程和机器学习,那么我建议您参加以下精心策划的课程:

数据科学用Python

应用机器学习

目录

机器学习中的分类与回归

了解决策树

在Weka中探索数据集

在Weka中使用决策树进行分类

Weka中的决策树参数

在Weka中可视化决策树

在Weka中使用决策树进行回归

机器学习中的分类与回归

首先让我快速总结一下机器学习中的分类和回归。在深入决策树之前了解这些概念很重要。

一个分类 的问题是关于教你的机器学习模型如何将数据值归类到许多类之一。它通过学习每种类型的班级的特征来做到这一点。例如,为了预测图像是猫还是狗,模型会在训练数据上学习猫和狗的特征。

一个回归 问题是关于教你的机器学习模型如何预测连续量的未来价值。它通过了解过去受不同变量影响的数量模式来做到这一点。例如,试图预测公司未来股价的模型就是一个回归问题。

您可以在我们的DataHack平台上找到大量这两个问题。

现在,让我们学习解决两个问题的算法-决策树!

了解决策树

决策树也称为分类和回归树。他们通过学习对导致决策的if / else问题层次结构的答案进行工作。这些问题形成了树状结构,因此也就形成了名称。

例如,假设我们要预测一个人是否会点菜。我们可以为此可视化以下决策树:

使用Weka在几分钟内建立决策树

树中的每个节点代表一个从数据集中存在的要素派生的问题。根据这些问题拆分数据集,直到达到树的最大深度。最后一个节点不问问题,但代表该值属于哪个类。

决策树中的最高节点称为Root节点

最底层的节点称为大号电炉节点

分为子节点的节点称为父节点。子节点称为子节点

如果您想详细了解决策树,建议您阅读以下资源:

决策树入门

基于树的算法:从头开始的完整教程

什么是维卡?为什么要使用Weka进行机器学习?

” Weka是一款免费的开源软件,具有一系列内置的机器学习算法,您可以通过图形用户界面进行访问!“

WEKA代表怀卡托知识分析环境,由新西兰怀卡托大学开发。

Weka具有多种内置功能,可用于实现从线性回归到神经网络的各种机器学习算法。这使您只需单击一下按钮就可以在数据集上部署最复杂的算法!不仅如此,Weka还支持访问一些最常用的Python和R机器学习库算法!

使用Weka,您可以预处理数据,对数据分类,对数据进行聚类甚至可视化数据!您可以对不同格式的数据文件执行此操作。Weka甚至允许您向数据集中添加过滤器,通过该过滤器,您可以对数据进行规范化,标准化,在名义值和数字值之间交换特征,而不能!

我可以继续讲一下Weka的奇迹,但是在本文的范围内,让我们尝试通过创建决策树来实际探索Weka。现在继续从其官方网站下载Weka !

使用Weka在几分钟内建立决策树

在Weka中探索数据集

我将从UCI机器学习存储库中获取乳腺癌数据集。我建议您在继续之前阅读有关该问题的信息。

使用Weka在几分钟内建立决策树

让我们首先在Weka中加载数据集。为此,请按照以下步骤操作:

打开Weka GUI

选择“资源管理器”选项。

选择“打开文件”,然后选择您的数据集。

现在,您的Weka窗口应如下所示:

您可以在左侧查看数据集中的所有要素。Weka会自动为您的功能创建绘图,在浏览功能时您会注意到。

如果单击“全部可视化”按钮,甚至可以一起查看所有图。

现在让我们训练我们的分类模型!

在Weka中使用决策树进行分类

在Weka中实施决策树非常简单。只需完成以下步骤:

点击顶部的“分类”标签

点击“选择”按钮

从下拉列表中选择“树”,这将打开所有树算法

最后,选择“ RepTree”决策树

“减少错误修剪树是一种快速的决策树学习器,它使用信息增益作为划分标准来构建决策/回归树,并使用减少错误修剪算法对其进行修剪。”

你可以阅读关于这个错误减少修剪技术的研究论文。

使用Weka在几分钟内建立决策树

“决策树在所有可用变量上拆分节点,然后选择拆分,从而生成最相似的子节点。”

信息增益用于计算拆分时样品的均质性。

您可以从“开始”按钮上方的下拉菜单中选择目标功能。如果您不这样做,则WEKA会自动选择最后一个功能作为您的目标。

在“百分比分配的”指定用多少你的数据,你要保持训练的分类。其余数据将在测试阶段用于计算模型的准确性。

使用“交叉验证折叠”,您可以从训练数据集中创建多个样本。如果决定创建N个折叠,则该模型将迭代运行N次。每次保留其中一个折叠以进行验证,而其余的N-1个折叠用于训练模型。将所有折叠的结果取平均值,以得出交叉验证的结果。

您使用的交叉验证折叠的数量越多,您的模型就会变得越好。这使得模型可以对随机选择的数据进行训练,从而使其更健壮。

最后,按“开始”按钮使分类器发挥其魔力!

我们的分类器的准确性为92.4%。Weka甚至会为您打印混淆矩阵,从而提供不同的指标。您可以在此处详细研究混淆矩阵和其他指标。

Weka中的决策树参数

决策树有很多参数。我们可以对其进行调整以改善模型的整体性能。在这里,决策树的工作知识才真正发挥关键作用。

您可以通过单击顶部的决策树算法来访问这些参数:

让我们简要讨论一下主要参数:

maxDepth –它确定决策树的最大深度。默认情况下,它是-1,这意味着算法将自动控制深度。但是您可以手动调整此值以获得最佳数据结果

noPruning –修剪意味着自动削减不包含太多信息的叶节点。这使决策树变得简单易懂

numFolds –指定的数据倍数将用于修剪决策树。其余的将用于制定规则

minNum –每个叶的最小实例数。如果未提及,则树将继续分裂,直到所有叶节点都只有一个与之关联的类

您始终可以为这些参数尝试不同的值,以在数据集上获得最佳准确性。

在Weka中可视化您的决策树

Weka甚至允许您轻松可视化基于数据集构建的决策树:

转到“结果列表”部分,然后右键单击您训练有素的算法

选择“可视化树”选项

您的决策树如下所示:

解释这些值可能有点吓人,但是一旦掌握了它,实际上就很容易了。

连接节点的线上的值表示基于父节点要素中的值的分割标准

在叶节点中:

括号前的值表示分类值

第一个括号中的第一个值是该叶子中训练集中的实例总数。第二个值是该叶子中错误分类的实例数

第二个括号中的第一个值是该叶子中修剪集的实例总数。第二个值是该叶子中错误分类的实例数

在Weka中使用决策树进行回归

就像我之前说过的那样,决策树用途广泛,可以用于分类以及回归问题。为此,我将使用Analytics Vidhya的DataHack平台中的“ 预测投票数 ”问题。

在这里,我们需要预测用户在问答平台上提出的问题的评分。

和往常一样,我们将从加载数据文件开始。但是这次,数据还为数据集中的每个用户包含一个“ ID”列。这在预测中将无用。因此,我们将通过选择列名称下方的“删除”选项来删除此列:

我们可以像处理乳腺癌问题那样对数据集进行预测。RepTree将自动检测回归问题:

黑客马拉松中提供的评估指标是RMSE得分。我们可以看到,该模型在没有任何特征工程的情况下,RMSE非常差。这是您介入的地方–继续进行实验并完善最终模型!

尾注

就像这样,您无需进行任何编程就可以创建决策树模型!这对于您掌握机器学习模型的工作将大有帮助。

版权声明:本文源自 网络, 于,由 楠木轩 整理发布,共 3105 字。

转载请注明: 使用Weka在几分钟内建立决策树 - 楠木轩