当前位置:

首页 > 业界资讯 > 在机器学习的工具箱里,藏着六种重要的算法

在机器学习的工具箱里,藏着六种重要的算法

1、线性回归法国数学家勒让德(Adrien-MarieLegendre),一直痴迷于预测彗星的未来位置,鉴于彗星以前的几个位置,他准备创建一种计算其轨迹的方法。在尝试了几种方法后,终于有了进展。勒让德从猜测彗星的未来位置开始,通过记录数据、分析,最后通过数据验证了自己的猜测,以减少平方误差的总和。这便是线性回归的种子。普及的两个步骤:该算法立即帮助航海者追踪星星,以及帮助后来的生物学家(尤其是查尔斯·达尔文的堂兄FrancisGalton)识别植物和动物的可遗传特征。这两项深入发展释放了线性回归的

本文目录

    1、线性回归

    在机器学习的工具箱里,藏着六种重要的算法

    法国数学家勒让德 (Adrien-Marie Legendre) ,一直痴迷于预测彗星的未来位置,鉴于彗星以前的几个位置,他准备创建一种计算其轨迹的方法。

    在尝试了几种方法后,终于有了进展。

    勒让德从猜测彗星的未来位置开始,通过记录数据、分析,最后通过数据验证了自己的猜测,以减少平方误差的总和。

    这便是线性回归的种子。

    普及的两个步骤:该算法立即帮助航海者追踪星星,以及帮助后来的生物学家(尤其是查尔斯·达尔文的堂兄Francis Galton)识别植物和动物的可遗传特征。这两项深入发展释放了线性回归的广泛潜力。1922 年,英国统计学家 Ronald Fisher 和 Karl Pearson 展示了线性回归如何适应相关性和分布的一般统计框架,使其在所有科学中都有用。而且,近一个世纪后,计算机的出现提供了数据和处理能力,可以更大程度地利用它。

    应对歧义:当然,数据永远不会被完美地衡量,有些变量比其他变量更重要。这些生活事实激发了更复杂的变体。例如,带有正则化的线性回归(也称为「岭回归」,ridge regression)鼓励线性回归模型不要过多地依赖于任何一个变量,或者更确切地说,均匀地依赖于最重要的变量。如果为了简单起见,另一种形式的正则化(L1 而不是 L2)会产生 lasso(压缩估计),鼓励尽可能多的系数为零。换句话说,它学会选择具有高预测能力的变量并忽略其余的。弹性网络结合了这两种类型的正则化。当数据稀疏或特征看起来相关时,它很有用。

    在每个神经元中:现在,简单的版本仍然非常有用。神经网络中最常见的神经元类型是线性回归模型,随后是非线性激活函数,使线性回归成为深度学习的基本组成部分。

    2、逻辑回归

    曾经有一段时间,逻辑回归只用于对一件事进行分类:如果你喝了一瓶毒药,你可能会被贴上的标签是“活着”还是“死去”呢?

    而现在,不仅打电话给急救中心可以为这个问题提供更好的答案,而且逻辑回归也成了深度学习的核心。

    这个函数可以追溯到 1830 年代,当时比利时统计学家 P.F. Verhulst 发明它来描述人口动态:随着时间的推移,指数增长的初始爆炸随着它消耗可用资源而趋于平缓,从而产生特征逻辑曲线。

    一个多世纪过去后,美国统计学家 E. B. Wilson 和他的学生 Jane Worcester 又设计了逻辑回归来计算给定有害物质有多少是致命的。

    3、梯度下降法

    想象一下,黄昏过后,在山上徒步旅行,发现除了脚外,你什么也看不见。

    你的手机没电了,所以你不能用 GPS 找到回家的路。

    也许你会通过梯度下降法找到最快的路径,但当心,别掉下悬崖。

    1847年,法国数学家Augustin-Louis Cauchy发明了近似恒星轨道的算法。

    60 年后,他的同胞 Jacques Hadamard 独立开发了它来描述薄而灵活的物体(如地毯)的变形,这可能会使膝盖向下徒步更容易。

    然而,在机器学习中,它最常见的用途是找到学习算法损失函数的最低点。

    太糟糕了,你的手机没电了,因为算法可能没有把你推到凸山的底部。

    你可能会陷入由多个山谷(局部最小值)、山峰(局部最大值)、鞍点(鞍点)和高原组成的非凸面景观中。

    事实上,图像识别、文本生成和语音识别等任务都是非凸的,并且已经出现了梯度下降的许多变体来处理这种情况。

    例如,该算法可能具有帮助它放大小幅上涨和下跌的动量,从而使其更有可能到达底部。

    研究人员设计了如此多的变体,以至于看起来优化器的数量与局部最小值一样多。

    幸运的是,局部最小值和全局最小值往往大致相等。

    梯度下降是寻找任一函数的最小值的明确选择。在可以直接计算精确解的情况下,例如具有大量变量的线性回归任务中——它可以逼近一个值,而且通常速度更快、成本更低。

    但它确实在复杂的非线性任务中发挥了作用。

    凭借梯度下降和冒险精神,你可能可以及时赶出山区吃晚饭。

    4、神经网络

    先弄清楚一个问题, 大脑不是一组图形处理单元,如果它是的话,它运行的软件会比典型的人工神经网络复杂得多。

    然而,神经网络的灵感来自大脑的结构: 层层相互连接的神经元,每个神经元根据其邻居的状态计算自己的输出。由此产生的一连串活动形成了一个想法ーー或者说认出了一张猫的照片。

    从生物到人工:大脑通过神经元之间相互作用来学习的想法可以追溯到 1873 年,但直到 1943 年,美国神经科学家 Warren McCulloch 和 Walter Pitts 才利用简单的数学规则建立了生物神经网络模型。

    1958 年,美国心理学家Frank Rosenblatt开发出感测器——这是一种在打卡机上实现的单层视觉网络,旨在为美国海军建立一个硬件版本。

    Rosenblatt 的发明只能识别单线分类。

    之后,乌克兰数学家 Alexey Ivakhnenko 和 Valentin Lapa 通过在任意层数中堆叠神经元网络,克服了这一限制。

    1985 年,独立工作的法国计算机科学家 Yann LeCun、David Parker 和美国心理学家 David Rumelhart 及其同事,描述了使用反向传播来有效训练此类网络。

    在新千年的第一个十年中,包括 Kumar Chellapilla、Dave Steinkraus 和 Rajat Raina(与吴恩达合作)在内的研究人员通过使用图形处理单元进一步推动了神经网络的发展,这使得越来越大的神经网络能从互联网生成的海量数据中得到学习。

    在报道 Rosenblatt 于1958年发明的感测器时,《纽约时报》开辟了人工智能炒作的道路,报道中提到“美国海军期望拥有一台会走路、说话、看、写、自我复制和意识到自己存在的电子计算机雏形。”

    虽然当时的感测器没有达到这个要求,但它产生了许多令人印象深刻的模型:用于图像的卷积神经网络;文本的循环神经网络;以及用于图像、文本、语音、视频、蛋白质结构等的transformers。

    它们已经做出了令人惊叹的事情,像下围棋时的表现超过了人类水平,在诊断X射线图像等实际任务中也接近人类水平。

    然而,它们在常识和逻辑推理方面的问题仍然较难应对。

    5、决策树

    亚里士多德是一个什么样的「野兽」?这位哲学家的追随者、第三世纪期间生活在叙利亚的 Porphyry 想出了一个合乎逻辑的方法来回答这个问题。

    他将亚里士多德提出的“存在类别”从一般到具体组合起来,将亚里士多德依次归入到每个分类中:

    亚里士多德的存在是物质的而不是概念或精神;他的身体是有生命的而不是无生命的;他的思想是理性的而不是非理性的。

    因此,他的分类是人类。

    中世纪的逻辑教师将这个序列绘制为垂直流程图:一个早期的决策树。

    快进到 1963 年,密歇根大学社会学家John Sonquist和经济学家James Morgan在将调查的受访者分组时,首次在计算机中实行了决策树。

    随着自动训练算法软件的出现,这种工作变得很普遍,如今包括 scikit-learn 等在内的各种机器学习库也已经使用决策树。

    这套代码是由斯坦福大学和加州大学伯克利分校的四位统计学家花费了10 年时间开发的。到今天,从头开始编写决策树已经成为了《机器学习 101》中的一项家庭作业。

    决策树可以执行分类或回归。它向下生长,从根部到树冠,将一个决策层次结构的输入示例分类为两个(或更多)。

    想到德国医学家和人类学家Johann Blumenbach的课题:大约在 1776 年,他首先将猴子与猿(撇开人类除外)区分开来,在此之前,猴子和猿是被归为一类的。

    这种分类取决于各种标准,例如是否有尾巴、胸部狭窄或宽阔、是直立还是蹲伏、还有智力的高低。使用经训练的决策树来为这类动物贴上标签,逐一考虑每个标准,最终将这两组动物分开。

    鉴于 Blumenbach 的结论(后来被Charles Darwin推翻),即人类与猿的区别在于宽阔的骨盆、手和紧牙的牙齿,如果我们想扩展决策树以不仅分类猿和猴子,而是对人类进行分类,那会怎么样呢?

    澳大利亚计算机科学家 John Ross Quinlan 在 1986 年通过 ID3 实现了这一可能,它扩展了决策树,以支持非二元结果。

    2008 年, 在IEEE国际数据挖掘会议策划的数据挖掘十大算法名单中,一项命名为 C4.5 的扩展细化算法名列前茅。

    美国统计学家 Leo Breiman 和新西兰统计学家 Adele Cutler 将这一特征转化为优势,于 2001 年开发了随机森林(random forest)——这是一个决策树的集合,每个决策树会处理不同的、重叠的示例选择,并对最终结果进行投票。

    随机森林和它的表亲XGBoost不太容易过度拟合,这有助于使它们成为最受欢迎的机器学习算法之一。

    这就像让亚里士多德、Porphyry、Blumenbach、Darwin、 Jane Goodall、Dian Fossey和其他 1000 位动物学家一起在房间里,确保你的分类是最好的。

    6、K 平均算法

    如果你在聚会上与其他人站得很近,那么你们很可能有一些共同点,这就是使用 k 均值聚类将数据点分组的想法。

    无论是通过人类机构还是其他力量形成的群体,这个算法都会找到它们。

    从爆炸到拨号音:美国物理学家 Stuart Lloyd 是贝尔实验室标志性创新工厂和发明原子弹的曼哈顿计划的校友,他于 1957 年首次提出 k-means 聚类,以在数字信号中分配信息,但直到 1982 年才发表这个工作。

    与此同时,美国统计学家 Edward Forgy 在 1965 年描述了一种类似的方法,导致了它的替代名称为「Lloyd-Forgy 算法」。

    寻找中心:考虑将聚类分成志同道合的工作组。给定房间中参与者的位置和要形成的组数,k-means 聚类可以将参与者分成大小大致相等的组,每个组都聚集在一个中心点或质心周围。

    在训练期间,算法最初通过随机选择 k 人来指定 k 个质心。(K 必须手动选择,找到一个最优值有时非常重要。)然后它通过将每个人与最近的质心相关联来增长 k 个集群。

    对于每个集群,它计算分配到该组的所有人的平均位置,并将该平均位置指定为新的质心。每个新的质心可能都没有被一个人占据,但那又如何呢?人们倾向于聚集在巧克力和火锅周围。

    计算出新的质心后,算法将个体重新分配到离他们最近的质心。然后它计算新的质心,调整集群,等等,直到质心(以及它们周围的组)不再移动。之后,将新成员分配到正确的集群就很容易。让他们在房间里就位并寻找最近的质心。

    预先警告:鉴于最初的随机质心分配,你可能最终不会与你希望与之相处的以数据为中心的可爱 AI 专家在同一组中。该算法做得很好,但不能保证找到最佳解决方案。

    不同的距离:当然,聚类对象之间的距离不需要很大。两个向量之间的任何度量都可以。例如,k-means 聚类可以根据他们的服装、职业或其他属性来划分他们,而不是根据物理距离对参加派对的人进行分组。在线商店使用它根据客户的喜好或行为来划分客户,天文学家也可以将相同类型的星星分在一组。

    数据点的力量:这个想法产生了一些显着的变化:

    K-medoids 使用实际数据点作为质心,而不是给定集群中的平均位置。中心点是可以将到集群中所有点的距离最小化的点。这种变化更容易解释,因为质心始终是数据点。

    Fuzzy C-Means Clustering 使数据点能够不同程度地参与多个集群。它根据与质心的距离,用集群的度来代替硬簇分配。

    n 维狂欢:尽管如此,原始形式的算法仍然广泛有用——特别是因为作为一种无监督算法,它不需要收集昂贵的标记数据。它的使用速度也越来越快。例如,包括 scikit-learn 在内的机器学习库受益于 2002 年添加的 kd-trees,这些 kd-trees 可以非常快速地划分高维数据。​

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 机器学习
    相关文章 更多
    python 工具环境配置与排错:从虚拟环境到依赖验证的实操指南
    python 工具环境配置与排错:从虚拟环境到依赖验证的实操指南

    详解 python 工具的核心操作流程,包括虚拟环境创建、依赖安装与路径验证。提供基于官方文档的排错决策图与命令示例,帮助开发者解决环境冲突问题。

    机器学习之父MichaelJordan:AGl是炒作,AI的下一个战场是经济学
    机器学习之父MichaelJordan:AGl是炒作,AI的下一个战场是经济学

    机器学习奠基人MichaelJordan认为AGI是公关炒作,AI的真正挑战在于让系统学会协调。他主张机器学习必须与经济学结合,关注不确定性、激励机制和数据流动等社会系统性问题,而非单纯追求模型能力。

    “异算方舟”国产计算系统软件生态全栈平台发布
    “异算方舟”国产计算系统软件生态全栈平台发布

    6月29日,中科院计算机网络信息中心等单位发布“异算方舟”国产计算系统软件生态全栈平台。该平台针对算法供给不足、代码迁移困难、智能应用落地慢三大痛点,打造九衍枢算法库、无界BoundX代码转换大模型、Agent-HiReFlow自动化仿真智能体三大能力,提供从底层算法到代码适配再到智能应用的一体化解决方案。

    手写线程池,对照学习ThreadPoolExecutor线程池实现原理!
    手写线程池,对照学习ThreadPoolExecutor线程池实现原理!

    持续坚持原创输出,点击蓝字关注我吧 ❝ 沉淀、分享、成长,让自己和他人都能有所收获! ❞ 目录 一、前言二、面试题三、线程池讲解1. 先看个例子2. 手写一个线程池3. 线程池源码分析四、总结五、系列推荐一、前言人看手机,机器学习!正好是2020年,看到这张图还是蛮有意思的。以前小时候总会看到一些科

    苹果手机使用教程
    苹果手机使用教程

    新机到手第一步,自然是激活Apple ID、设置面容ID和锁屏密码;之后可以把主屏幕精简到只剩最常用的几个App,其余的都交给“App资源库”打理;至于隐私,给App授权照片时,现在有了“仅限选定照片”这个更精细的选择;如果觉得主屏幕页面太多,还可以把不常用的隐藏起来,既清爽又不影响功能。 刚拿到一

    蓝海书屋怎么查看阅读时长
    蓝海书屋怎么查看阅读时长

    蓝海书屋查看阅读时长的五种专业方法 “蓝海书屋的阅读时长到底在哪看?”最近这个问题确实被问得挺多。其实,掌握阅读时长不仅能帮你回顾自己的阅读旅程,更是管理阅读习惯、完成目标的好帮手。下面,咱们就系统梳理一下在蓝海书屋查看阅读时长的五种方式,操作清晰,一目了然。 官方入口在这里,有需要的可以先行访问:

    126邮箱网页版入口在线
    126邮箱网页版入口在线

    126邮箱网页版登录入口与使用全攻略 还在到处搜索126邮箱的登录入口?其实答案很简单:官方登录地址就是 https://mail.126.com。记住这个网址,通过浏览器直接访问,就能进入我们熟悉的登录界面了。 下面,就为大家详细拆解一下从登录到高效使用的完整流程,无论是电脑还是手机,都能轻松搞定

    如何进入百度地图网页版
    如何进入百度地图网页版

    百度地图网页版官网入口是https://map.baidu.com;支持全国街道级矢量底图、680万+POI、实时路况、多方式路线规划、自然语言检索及深度工具集成。 要使用百度地图的网页版,入口在哪里?其实答案很简单,直接访问 https://map.baidu.com 即可。这个链接背后,是一个功

    阿里巴巴1688商家登录入口
    阿里巴巴1688商家登录入口

    如果您正在寻找阿里巴巴1688的官方商家登录入口,请认准这个唯一的官方网址:https://www.1688.com。这里是所有商家进行采购、店铺管理与批发交易的核心官方通道。通过此入口,您可以安全、高效地开启数字贸易之旅。 网络上可能充斥着各种引导链接,例如“阿里巴巴批发网1688入口☜☜☜点击进

    PS网页版直接使用
    PS网页版直接使用

    PS网页版免费官方入口为https://www.adobe.com/products/photoshop/web.html,支持PSD编辑、实时协作、多色彩空间、智能抠图、AI修复、跨端同步、中文引导及SVG/PSD兼容等核心功能。 对于很多设计新手,或者只是偶尔需要处理图片的朋友来说,直接在线、免

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。