当前位置:

首页 > 业界资讯 > 深度学习必须掌握的13种概率分布

深度学习必须掌握的13种概率分布

一.概率分布概述共轭意味着它有共轭分布的关系。在贝叶斯概率论中,如果后验分布p(θx)与先验概率分布p(θ)在同一概率分布族中,则先验和后验称为共轭分布,先验称为似然函数的共轭先验。共轭先验维基百科在这里(https://en.wikipedia.org/wiki/Conjugate_prior)。多分类表示随机方差大于2。n次意味着我们也考虑了先验概率p(x)。为了进一步了解概率,我建议阅读[patternrecognitionandmachinelearning,Bishop2

深度学习必须掌握的13种概率分布

一. 概率分布概述

深度学习必须掌握的13种概率分布

  • 共轭意味着它有共轭分布的关系。
  • 在贝叶斯概率论中,如果后验分布 p(θx)与先验概率分布 p(θ)在同一概率分布族中,则先验和后验称为共轭分布,先验称为似然函数的共轭先验。共轭先验维基百科在这里(https://en.wikipedia.org/wiki/Conjugate_prior)。
  • 多分类表示随机方差大于 2。
  • n 次意味着我们也考虑了先验概率 p(x)。
  • 为了进一步了解概率,我建议阅读 [pattern recognition and machine learning,Bishop 2006]。

二. 分布概率与特征

1.均匀分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

均匀分布在 [a,b] 上具有相同的概率值,是简单概率分布。

深度学习必须掌握的13种概率分布

2.伯努利分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py

  • 先验概率 p(x)不考虑伯努利分布。因此,如果我们对最大似然进行优化,那么我们很容易被过度拟合。
  • 利用二元交叉熵对二项分类进行分类。它的形式与伯努利分布的负对数相同。图片

3.二项分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py  

  • 参数为 n 和 p 的二项分布是一系列 n 个独立实验中成功次数的离散概率分布。
  • 二项式分布是指通过指定要提前挑选的数量而考虑先验概率的分布。

深度学习必须掌握的13种概率分布

4.多伯努利分布,分类分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py

  • 多伯努利称为分类分布。
  • 交叉熵和采取负对数的多伯努利分布具有相同的形式。

深度学习必须掌握的13种概率分布

5.多项式分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py

多项式分布与分类分布的关系与伯努尔分布与二项分布的关系相同。

深度学习必须掌握的13种概率分布

6.β分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py

  • β分布与二项分布和伯努利分布共轭。
  • 利用共轭,利用已知的先验分布可以更容易地得到后验分布。
  • 当β分布满足特殊情况(α=1,β=1)时,均匀分布是相同的。

深度学习必须掌握的13种概率分布

7.Dirichlet 分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py  

  • dirichlet 分布与多项式分布是共轭的。
  • 如果 k=2,则为β分布。

深度学习必须掌握的13种概率分布

8.伽马分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py

  • 如果 gamma(a,1)/gamma(a,1)+gamma(b,1)与 beta(a,b)相同,则 gamma 分布为β分布。
  • 指数分布和卡方分布是伽马分布的特例。

深度学习必须掌握的13种概率分布

9.指数分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py

指数分布是 α 为 1 时 γ 分布的特例。

深度学习必须掌握的13种概率分布

10.高斯分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py

高斯分布是一种非常常见的连续概率分布。

深度学习必须掌握的13种概率分布

11.正态分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py

正态分布为标准高斯分布,平均值为 0,标准差为 1。

深度学习必须掌握的13种概率分布

12.卡方分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py

  • k 自由度的卡方分布是 k 个独立标准正态随机变量的平方和的分布。
  • 卡方分布是 β 分布的特例

深度学习必须掌握的13种概率分布

13.t 分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py

t 分布是对称的钟形分布,与正态分布类似,但尾部较重,这意味着它更容易产生远低于平均值的值。

深度学习必须掌握的13种概率分布

via:https://github.com/graykode/distribution-is-all-you-needa

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯 深度学习
相关文章 更多
在Kubernetes上弹性深度学习训练利器--ElasticTrainingOperator
在Kubernetes上弹性深度学习训练利器--ElasticTrainingOperator

背景由于云计算在资源成本和弹性扩容方面的天然优势,越来越多客户愿意在云上构建 AI 系统,而以容器、Kubernetes 为代表的云原生技术,已经成为释放云价值的最短路径, 在云上基于 Kubernetes 构建 AI 平台已经成为趋势。在面对较为复杂的模型训练或者大量数据时,单机的计算能力往往难以

微博怎么发私信
微博怎么发私信

在数字化办公成为标配的今天,选对工具,往往就是掌控效率的第一步。下面这份精挑细选的工具指南,将从核心功能到适用场景,为您深度解析三款当红的生产力应用,助您精准匹配需求,打造流畅的工作流。 一、2025年度热门生产力工具榜单 首先登场的,是三位在不同赛道上表现出色的选手。 1、Notion,一款将笔记

夸克浏览器网页版直达入口
夸克浏览器网页版直达入口

轻量化浏览器的崛起:当极简主义成为生产力 这些年,浏览器的战场早已不再局限于功能和扩展的堆砌。一股轻量、高效的“清流”正在改变用户的上网习惯,而夸克浏览器无疑是这股潮流中的佼佼者。它以清爽的界面和高效的核心性能,成功在移动端圈粉无数。好消息是,这股清爽之风如今也吹到了电脑桌面上——通过官方网页版入口

学习通网页版账号快捷登录入口
学习通网页版账号快捷登录入口

学习通网页版登录入口:通往数字课堂的便捷通道 作为师生获取在线教育资源的关键门户,学习通网页版登录入口的设计直接影响到数字化学习体验的流畅度。下面这份指南将带你系统掌握官方认证通道的使用要领,让每次登录都成为高效学习的开端。 官方登录入口:直达学习核心区 超星官方指定的入口地址始终是最可靠的选择:点

喵趣漫画下载入口安卓最新版
喵趣漫画下载入口安卓最新版

漫画爱好者的掌上宝库:喵趣漫画官方下载全解析 对于漫画迷而言,找到合适的阅读平台至关重要。喵趣漫画官方下载入口恰好提供了这样的解决方案——这里不仅是海量正版资源的聚集地,更打造了一站式的跨终端阅读体验。应用内覆盖了热血、恋爱、悬疑等主流题材,配合智能设备适配技术,让阅读真正实现无缝衔接。界面设计简洁

豆包网页版翻译入口-豆包AI翻译器网页版直达
豆包网页版翻译入口-豆包AI翻译器网页版直达

高效语言转换工具的选择直接影响跨文化交流效果 选对翻译工具,往往能让跨文化交流事半功倍。今天我们就来详细解析豆包AI翻译网页版的核心功能与操作要点,帮你快速掌握这个实用工具的使用诀窍。 豆包AI翻译网页版入口: 访问地址再简单不过:https://www.doubao.com/ch@t/transl

初学者入门 PADDLEX,你需要知道的一切
初学者入门 PADDLEX,你需要知道的一切

PaddleX是基于百度飞桨的一站式视觉开发套件,封装了模型训练、压缩与部署流程,显著降低开发门槛。它支持图像分类、目标检测等任务,提供图形界面与PythonAPI双模式,便于从可视化操作平滑过渡到代码开发。典型工作流程包括数据准备、模型选择、训练评估及部署。

河南首台5T超高场磁共振启用
河南首台5T超高场磁共振启用

河南省首台5T超高场磁共振在河南中医药大学第一附属医院启用,搭载AI智能加速与深度学习技术,提升图像信噪比与分辨率,助力早期微小病灶检出,实现早发现、早诊断、早治疗。同期引进西门子Cima.X介观核磁,实现微米级高清成像,支持脑科学等前沿研究。

Caffe项目头文件与库调用怎么解析-Caffe项目头文件与库调用详细解析
Caffe项目头文件与库调用怎么解析-Caffe项目头文件与库调用详细解析

Caffe 头文件找不到与库链接冲突的排查方法 在使用 Caffe 进行深度学习开发或二次编译时,经常遇到两类问题:头文件找不到导致编译失败,以及库链接冲突导致链接错误。本指南针对这些常见问题,提供从基础检查到解决方案的逐步排查流程。 问题现象 编译时提示“fatal error: caffe/ca

Python 基础(一):入门必备知识
Python 基础(一):入门必备知识

学习Python,从基础语法开始是最稳妥的路径。这篇文章整理了Python入门阶段必须掌握的核心概念,包括标识符、关键字、引号、编码、输入输出、缩进、多行、注释、数据类型以及运算符等,后面还整理了基础进阶、爬虫、自动化、数据分析、小游戏、趣味项目以及自学路线等系列内容,方便你按需查阅。 目录 1 标

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。