当前位置: www.hg294.com > www.hg2768.com >

? 用同样的方式获得H战F的消息增益别离是: –

更新时间:2019-10-09点击次数:

  逻辑式法式设想言语_设想/艺术_人文社科_专业材料。逻辑式法式设想言语,布局化法式设想的三种根基逻辑布局,c言语法式设想参考谜底,逻辑法式设想,产物设想言语,《c言语法式设想》下载,《c言语法式设想》谜底,法式设想的根基逻辑布局,《c言语法式设想》,c言语法式设想(第二版)

  操纵R言语进行机械进修 操纵R言语进行机械进修 1. R言语简介 2. R言语特征 3. 机械进修根基概念取一般步调 4. R言语对机械进修的支撑 5. 操纵R言语进行机械进修实例 1. R言语简介 ? R言语是从S言语演变而来的。 ? S言语是二十世纪70年代降生于贝尔尝试室,由Rick Becker, John Chambers, Allan Wilks开辟。 ? 基于S言语开辟的贸易软件Splus,能够便利的编写函数、建 立模子,具有优良的扩展性,取得了庞大成功。 ? 1995年由Auckland大学统计系的Robert Gentleman和 Ross Ihaka,编写了一种能施行S言语的软件,并将该软件的 源代码全数公开,这就是R软件,其号令统称为R言语。 言语特征 ? R言语具有一些很是值得保举的特征: – 多范畴的统计资本; – 跨平台 ? R可正在多种操做系统下运转; – 号令行驱动 ? R立即注释:输入号令,即可获得响应的成果; – R具有浩繁的东西包 ? 涵盖统计模子,机械进修,数据可视化,数据 导入和导出以及数据拾掇各个方面。 3. 机械进修根基概念取一般步调 ? 人是怎样样进修的? – – – – – – 回忆——理解 讲授——自学 察看、仿照、类比、归纳、注释 思虑以获取学问 频频以获得技术 长年累月的进修 3. 机械进修根基概念取一般步调 ? 机械如何进修? – 仿照人类? – 有教师进修——无教师进修——强化进修 – 进修的方式 ? 回忆进修 ? 示例进修 ? 推理进修 ? 归纳进修 ? 类别进修 3. 机械进修根基概念取一般步调 ? (1) 收集数据 ? (2) 摸索数据和预备数据 ? (3) 基于数据锻炼模子 ? (4) 评价模子的机能 ? (5) 改良模子的机能 4. R言语对机械进修的支撑 操纵R言语进行机械进修实例 ? 决策树手艺 – 用于分类和预测; – 以实例为根本的归纳进修算法; – 它着眼于从一组无次序、无法则的事例中 推理出决策树暗示形式的分类法则。 5. 操纵R言语进行机械进修实例 ? 决策树手艺 – 决策树进修通过包罗三个步调:特征选择、决策 树的生成、决策树的剪枝; ? 决策树算法 – ID3、C4.5、CART 5. 操纵R言语进行机械进修实例 ? 决策树 – 输入:进修集 – 输出:分类法则(决策树) 决 策 树 的 表 示 5. 操纵R言语进行机械进修实例 ? 用社区网址中不实正在账号检测的例子来申明 若何利用ID3算法构制决策树。 ? 为了简单起见,我们假设锻炼调集中包含10 个元素,此中:s, m和l别离暗示小、中和大 。 5. 操纵R言语进行机械进修实例 日记密度 s s l m l m m l m s 老友密度 s l m m m l s m s s 能否利用实正在头像 no yes yes yes yes no no no no yes 账号能否实正在 no yes yes yes yes yes no yes yes no 5. 操纵R言语进行机械进修实例 ? 消息增益是特征选择中的一个主要目标: – 它定义为一个特征可以或许为分类系统带来几多消息 ,带来的消息越多,该特征越主要。 – 那么若何权衡一个特征为分类系统带来的消息多 少呢? – 对一个特征而言,系统有它和没它时消息量将发 生变化,而前后消息量的差值就是这个特征给系 统带来的消息量。所谓消息量,其实就是熵。 5. 操纵R言语进行机械进修实例 ? 消息增益 –熵 ? 有这么一个变量X,它可能的取值有n多种, 别离是x1,x2,……,xn,每一种取到的概率 别离是P1,P2,……,Pn,那么X的熵就定义 为: H ( X ) ? ?? pi log pi i ?1 n 5. 操纵R言语进行机械进修实例 ? 消息增益 – 前提熵 ? 设有随机变量(X, Y),其结合概率分布为: P ? X ? xi ,Y ? yi ? ? pij , i ? 1,2, , n; j ? 1,2, , m ? 前提熵H(YX)暗示正在已知随机变量X的前提下 随机变量Y的不确定性。 5. 操纵R言语进行机械进修实例 ? 消息增益 – 前提熵 ? 随机变量X给定的前提下随机变量Y的前提熵 H(YX),就定义为X给定前提下Y的前提概率 分布的熵对X的数学期望 H (Y X ) ? ? pi H ?Y X ? xi ? i ?1 n 5. 操纵R言语进行机械进修实例 ? 消息增益 – 特征A对锻炼数据集D的消息增益g(D,A),定义 为调集D的经验熵H(D)取特征A给定前提下D的经 验前提熵H(DA)之差,即: g ? D, A ? ? H ? D ? ? H ? D A ? 5. 操纵R言语进行机械进修实例 ? 设L、F、H和R暗示日记密度、老友密度、是 否利用实正在头像和账号能否实正在; ? 下面计较各属性的消息增益: entrogy ? D? ? ?0.7log2 0.7 ? 0.3log2 0.3 ? 0.879 0 3 3? 1 2 ? 0 ? 1 entrogy ? L ? ? 0.3 ? ? ? log 2 ? log 2 ? ? 0.3 ? ? ? log 2 ? log 2 3 3 3? 3 3 ? 3 ? 3 1 3 3? ? 1 ?0.3 ? ? ? log 2 ? log 2 ? ? 0 ? 0.326 ? 0.2777 ? 0.603 4 4 4? ? 4 2? ? 3? gain ? L? ? 0.879 ? 0.603 ? 0.276 5. 操纵R言语进行机械进修实例 ? 因而,日记密度的消息增益是0.276。 ? 用同样的方式获得H和F的消息增益别离是: – 0.033和0.553 ? 由于F具有最大的消息增益,所以第一次 选择F为属性,后的成果如下图所示 : 5. 操纵R言语进行机械进修实例 5. 操纵R言语进行机械进修实例 ? 利用R言语中供给的rpart库 ? iris数据集 – 萼片长、萼片宽、花瓣长、花瓣宽、混名 数 据 示 例 5. 操纵R言语进行机械进修实例 ? 输入预备 ? 模子锻炼 5. 操纵R言语进行机械进修实例 ? 可视化决策树 5. 操纵R言语进行机械进修实例 ? 对测试数据进行预测 – 将预测的成果取源数据对比,就能够获得预测的精确性 – 这里写一个小的法式,将预测成果同实正在值比力一下, 看准确率有几多 5. 操纵R言语进行机械进修实例 ? 对测试数据进行预测 ? 查看缘由 新 5. 操纵R言语进行机械进修实例 ? 添加锻炼数据的量 5. 操纵R言语进行机械进修实例 ? 对测试数据进行预测 ? 预测的精确度提高 第四次功课放置 ? 基于R言语,使用决策树的阐发方式,阐发 银行的用户账户消息Bank数据,给出阐发过 程及分类的成果。 数据下载的网址: 第四次功课放置 ? 基于Python言语,使用从成分阐发的阐发方 法,将数据集data降维,给出阐发过程和结 果。 数据下载的网址: