当前位置:

首页 > 业界资讯 > 深度学习必须掌握的13种概率分布

深度学习必须掌握的13种概率分布

一.概率分布概述共轭意味着它有共轭分布的关系。在贝叶斯概率论中,如果后验分布p(θx)与先验概率分布p(θ)在同一概率分布族中,则先验和后验称为共轭分布,先验称为似然函数的共轭先验。共轭先验维基百科在这里(https://en.wikipedia.org/wiki/Conjugate_prior)。多分类表示随机方差大于2。n次意味着我们也考虑了先验概率p(x)。为了进一步了解概率,我建议阅读[patternrecognitionandmachinelearning,Bishop2

本文目录

    深度学习必须掌握的13种概率分布

    一. 概率分布概述

    深度学习必须掌握的13种概率分布

    • 共轭意味着它有共轭分布的关系。
    • 在贝叶斯概率论中,如果后验分布 p(θx)与先验概率分布 p(θ)在同一概率分布族中,则先验和后验称为共轭分布,先验称为似然函数的共轭先验。共轭先验维基百科在这里(https://en.wikipedia.org/wiki/Conjugate_prior)。
    • 多分类表示随机方差大于 2。
    • n 次意味着我们也考虑了先验概率 p(x)。
    • 为了进一步了解概率,我建议阅读 [pattern recognition and machine learning,Bishop 2006]。

    二. 分布概率与特征

    1.均匀分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

    均匀分布在 [a,b] 上具有相同的概率值,是简单概率分布。

    深度学习必须掌握的13种概率分布

    2.伯努利分布(离散)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py

    • 先验概率 p(x)不考虑伯努利分布。因此,如果我们对最大似然进行优化,那么我们很容易被过度拟合。
    • 利用二元交叉熵对二项分类进行分类。它的形式与伯努利分布的负对数相同。图片

    3.二项分布(离散)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py  

    • 参数为 n 和 p 的二项分布是一系列 n 个独立实验中成功次数的离散概率分布。
    • 二项式分布是指通过指定要提前挑选的数量而考虑先验概率的分布。

    深度学习必须掌握的13种概率分布

    4.多伯努利分布,分类分布(离散)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py

    • 多伯努利称为分类分布。
    • 交叉熵和采取负对数的多伯努利分布具有相同的形式。

    深度学习必须掌握的13种概率分布

    5.多项式分布(离散)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py

    多项式分布与分类分布的关系与伯努尔分布与二项分布的关系相同。

    深度学习必须掌握的13种概率分布

    6.β分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py

    • β分布与二项分布和伯努利分布共轭。
    • 利用共轭,利用已知的先验分布可以更容易地得到后验分布。
    • 当β分布满足特殊情况(α=1,β=1)时,均匀分布是相同的。

    深度学习必须掌握的13种概率分布

    7.Dirichlet 分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py  

    • dirichlet 分布与多项式分布是共轭的。
    • 如果 k=2,则为β分布。

    深度学习必须掌握的13种概率分布

    8.伽马分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py

    • 如果 gamma(a,1)/gamma(a,1)+gamma(b,1)与 beta(a,b)相同,则 gamma 分布为β分布。
    • 指数分布和卡方分布是伽马分布的特例。

    深度学习必须掌握的13种概率分布

    9.指数分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py

    指数分布是 α 为 1 时 γ 分布的特例。

    深度学习必须掌握的13种概率分布

    10.高斯分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py

    高斯分布是一种非常常见的连续概率分布。

    深度学习必须掌握的13种概率分布

    11.正态分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py

    正态分布为标准高斯分布,平均值为 0,标准差为 1。

    深度学习必须掌握的13种概率分布

    12.卡方分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py

    • k 自由度的卡方分布是 k 个独立标准正态随机变量的平方和的分布。
    • 卡方分布是 β 分布的特例

    深度学习必须掌握的13种概率分布

    13.t 分布(连续)

    代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py

    t 分布是对称的钟形分布,与正态分布类似,但尾部较重,这意味着它更容易产生远低于平均值的值。

    深度学习必须掌握的13种概率分布

    via:https://github.com/graykode/distribution-is-all-you-needa

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 深度学习
    相关文章 更多
    幻方与DeepSeek:萤火二号算力积累和V3训练硬件怎么区分?
    幻方与DeepSeek:萤火二号算力积累和V3训练硬件怎么区分?

    理清幻方量化与DeepSeek的发展脉络,关键在于区分早期萤火二号的A100集群积累与DeepSeek-V3的H800训练配置。本文解析软硬件协同工程在其中的作用,避免将资金投入简单等同于模型能力。

    在Kubernetes上弹性深度学习训练利器--ElasticTrainingOperator
    在Kubernetes上弹性深度学习训练利器--ElasticTrainingOperator

    背景由于云计算在资源成本和弹性扩容方面的天然优势,越来越多客户愿意在云上构建 AI 系统,而以容器、Kubernetes 为代表的云原生技术,已经成为释放云价值的最短路径, 在云上基于 Kubernetes 构建 AI 平台已经成为趋势。在面对较为复杂的模型训练或者大量数据时,单机的计算能力往往难以

    微博怎么发私信
    微博怎么发私信

    在数字化办公成为标配的今天,选对工具,往往就是掌控效率的第一步。下面这份精挑细选的工具指南,将从核心功能到适用场景,为您深度解析三款当红的生产力应用,助您精准匹配需求,打造流畅的工作流。 一、2025年度热门生产力工具榜单 首先登场的,是三位在不同赛道上表现出色的选手。 1、Notion,一款将笔记

    夸克浏览器网页版直达入口
    夸克浏览器网页版直达入口

    轻量化浏览器的崛起:当极简主义成为生产力 这些年,浏览器的战场早已不再局限于功能和扩展的堆砌。一股轻量、高效的“清流”正在改变用户的上网习惯,而夸克浏览器无疑是这股潮流中的佼佼者。它以清爽的界面和高效的核心性能,成功在移动端圈粉无数。好消息是,这股清爽之风如今也吹到了电脑桌面上——通过官方网页版入口

    学习通网页版账号快捷登录入口
    学习通网页版账号快捷登录入口

    学习通网页版登录入口:通往数字课堂的便捷通道 作为师生获取在线教育资源的关键门户,学习通网页版登录入口的设计直接影响到数字化学习体验的流畅度。下面这份指南将带你系统掌握官方认证通道的使用要领,让每次登录都成为高效学习的开端。 官方登录入口:直达学习核心区 超星官方指定的入口地址始终是最可靠的选择:点

    喵趣漫画下载入口安卓最新版
    喵趣漫画下载入口安卓最新版

    漫画爱好者的掌上宝库:喵趣漫画官方下载全解析 对于漫画迷而言,找到合适的阅读平台至关重要。喵趣漫画官方下载入口恰好提供了这样的解决方案——这里不仅是海量正版资源的聚集地,更打造了一站式的跨终端阅读体验。应用内覆盖了热血、恋爱、悬疑等主流题材,配合智能设备适配技术,让阅读真正实现无缝衔接。界面设计简洁

    豆包网页版翻译入口-豆包AI翻译器网页版直达
    豆包网页版翻译入口-豆包AI翻译器网页版直达

    高效语言转换工具的选择直接影响跨文化交流效果 选对翻译工具,往往能让跨文化交流事半功倍。今天我们就来详细解析豆包AI翻译网页版的核心功能与操作要点,帮你快速掌握这个实用工具的使用诀窍。 豆包AI翻译网页版入口: 访问地址再简单不过:https://www.doubao.com/ch@t/transl

    初学者入门 PADDLEX,你需要知道的一切
    初学者入门 PADDLEX,你需要知道的一切

    PaddleX是基于百度飞桨的一站式视觉开发套件,封装了模型训练、压缩与部署流程,显著降低开发门槛。它支持图像分类、目标检测等任务,提供图形界面与PythonAPI双模式,便于从可视化操作平滑过渡到代码开发。典型工作流程包括数据准备、模型选择、训练评估及部署。

    河南首台5T超高场磁共振启用
    河南首台5T超高场磁共振启用

    河南省首台5T超高场磁共振在河南中医药大学第一附属医院启用,搭载AI智能加速与深度学习技术,提升图像信噪比与分辨率,助力早期微小病灶检出,实现早发现、早诊断、早治疗。同期引进西门子Cima.X介观核磁,实现微米级高清成像,支持脑科学等前沿研究。

    Caffe项目头文件与库调用怎么解析-Caffe项目头文件与库调用详细解析
    Caffe项目头文件与库调用怎么解析-Caffe项目头文件与库调用详细解析

    Caffe 头文件找不到与库链接冲突的排查方法 在使用 Caffe 进行深度学习开发或二次编译时,经常遇到两类问题:头文件找不到导致编译失败,以及库链接冲突导致链接错误。本指南针对这些常见问题,提供从基础检查到解决方案的逐步排查流程。 问题现象 编译时提示“fatal error: caffe/ca

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。