当前位置:

首页 > 系统应用 > 从I/O多路复用到Netty,还要跨过JavaNIO包

从I/O多路复用到Netty,还要跨过JavaNIO包

本文是Netty系列第4篇上一篇文章我们深入了解了I/O多路复用的三种实现形式,select/poll/epoll。那Netty是使用哪种实现的I/O多路复用呢?这个问题,得从Ja va NIO包说起。Netty实际上也是一个封装好的框架,它的网络I/O本质上还是使用了Ja va的NIO包(New

本文目录

    本文是Netty系列第4篇

    上一篇文章我们深入了解了I/O多路复用的三种实现形式,select/poll/epoll。

    那Netty是使用哪种实现的I/O多路复用呢?这个问题,得从Ja va NIO包说起。

    Netty实际上也是一个封装好的框架,它的网络I/O本质上还是使用了Ja va的NIO包(New IO,不是网络I/O模型的NIO,Nonblocking IO)包。所以,从网络I/O模型到Netty,我们还需要了解下Ja va NIO包。

    本文预计阅读时间 5 分钟,将重点回答以下几个问题:

    • 如何用Ja va NIO包实现一个服务端

    • Ja va NIO包如何实现I/O多路复用模型

    • 有了Ja va NIO包,为什么还要封装一个Netty?

    1.先来看一个Ja va NIO服务端的例子

    上一篇文章我们已经了解了I/O多路复用的实现形式。
    就是多个的进程的IO可以注册到一个复用器(selector)上,然后用一个进程调用select,select会监听所有注册进来的IO。

    NIO包做了对应的实现。如下图所示。

    存在一个统一的selector,负责对所有Channel进行监听。只要这些channel中有任何一个发生了IO动作,都能通过Selector.select()方法检测到。然后,利用selectedKeys就能获取到这些发生IO的channel,进而对它们执行相应的IO操作。

    我们来个简单的demo做一下演示。如何使用NIO中三个核心组件(Buffer缓冲区、Channel通道、Selector选择器)来编写一个服务端程序。

    public class NioDemo {
    public static void main(String[] args) {
    try {
    //1.创建channel
    ServerSocketChannel socketChannel1 = ServerSocketChannel.open();
    //设置为非阻塞模式,默认是阻塞的
    socketChannel1.configureBlocking(false);
    socketChannel1.socket().bind(new InetSocketAddress("127.0.0.1", 8811));

    ServerSocketChannel socketChannel2 = ServerSocketChannel.open();
    socketChannel2.configureBlocking(false);
    socketChannel2.socket().bind(new InetSocketAddress("127.0.0.1", 8822));

    //2.创建selector,并将channel1和channel2进行注册。
    Selector selector = Selector.open();
    socketChannel1.register(selector, SelectionKey.OP_ACCEPT);
    socketChannel2.register(selector, SelectionKey.OP_ACCEPT);

    while (true) {
    //3.一直阻塞直到有至少有一个通道准备就绪
    int readChannelCount = selector.select();
    Set selectionKeys = selector.selectedKeys();
    Iterator iterator = selectionKeys.iterator();
    //4.轮训已经就绪的通道
    while (iterator.hasNext()) {
    SelectionKey key = iterator.next();
    iterator.remove();
    //5.判断准备就绪的事件类型,并作相应处理
    if (key.isAcceptable()) {
    // 创建新的连接,并且把连接注册到selector上,并且声明这个channel只对读操作感兴趣。
    ServerSocketChannel serverSocketChannel = (ServerSocketChannel)key.channel();
    SocketChannel socketChannel = serverSocketChannel.accept();
    socketChannel.configureBlocking(false);
    socketChannel.register(selector, SelectionKey.OP_READ);
    }
    if (key.isReadable()) {
    SocketChannel socketChannel = (SocketChannel) key.channel();
    ByteBuffer readBuff = ByteBuffer.allocate(1024);
    socketChannel.read(readBuff);
    readBuff.flip();
    System.out.println("received : " + new String(readBuff.array()));
    socketChannel.close();
    }
    }
    }
    } catch (IOException e) {
    e.printStackTrace();
    }
    }
    }

    通过这个代码示例,我们能清楚地了解如何用Ja va NIO包实现一个服务端:

    • 1)创建channel1和channel2,分别监听特定端口。

    • 2)创建selector,并将channel1和channel2进行注册。

    • 3)selector.select()一直阻塞,直到有至少有一个通道准备就绪。

    • 4)轮训已经就绪的通道

    • 5)并根据事件类型做出相应的响应动作。

    程序启动后,会一直阻塞在selector.select()。
    通过浏览器调用localhost:8811 或者 localhost:8822就能触发我们的服务端代码了。

    2.Ja va NIO包如何实现I/O多路复用模型

    上文演示的Ja va NIO服务端已经比较清楚地展示了使用NIO编写服务端程序的过程。

    那这个过程中如何实现了I/O多路复用的呢?

    我们得深入看下selector的实现。

    //2.创建selector,并将channel1和channel2进行注册。
    Selector selector = Selector.open();

    从open这里开始吧。

    这里用了一个SelectorProvider来创建selector。

    进入SelectorProvider.provider(),看到具体的provider是由
    sun.nio.ch.DefaultSelectorProvider创建的,对应的方法是:

    咦?原来不同的操作系统会提供不同的provider对象。这里包括了PollSelectorProvider、EPollSelectorProvide等。

    名字是不是有点眼熟?

    没错,跟我们上一篇文章分析过的I/O多路复用的不同实现方式poll/epoll有关。

    我们选择默认的
    sun.nio.ch.PollSelectorProvider往下看看。

    OK,找到了实现类PollSelectorImpl。

    然后,通过以下调用:

    找到最终的native方法poll0。

    是不是仍然很眼熟?

    没错!跟我们上一篇文章分析过的poll函数是一致的。

    int poll (struct pollfd *fds, unsigned int nfds, int timeout);

    绕了这么久,到最后,还是找到了我们聊过I/O多路复用的 poll 实现。

    至此,我们终于把Ja va NIO和 I/O多路复用模型串联起来了。

    Ja va NIO包使用selector,实现了I/O多路复用模型。

    同时,在不同的操作系统中,会有不同的poll/epoll选择。

    3.为什么还需要Netty呢?

    那既然已经有了NIO包了,我们可以自己手动编写服务框架了,为什么还需要封装一个Netty框架呢?有什么好处呢?

    好处当然是有很多了!我们从一开始实现的demo说起。

    3.1 设计模式的优化

    我们的demo确实已经能够工作了,但是还是有比较明显的问题。第4步(轮询已经就绪的通道)和第5步(对事件作相应处理)是在同一个线程中的,当事件处理比较耗时甚至阻塞时,整个流程就会阻塞了。

    我们使用的实际上就是“单Reactor单线程”设计模式。

    这种模型在Reactor中负责监听端口、接收请求,如果是连接事件交给acceptor处理,如果是读写事件和业务处理就交给handler处理,但始终只有一个线程执行所有的事情。

    为了提高性能,我们理所当然相当可以把事件处理交给线程池,那就可以演进为“单Reactor多线程”设计模式。

    这种模型和第一种模型的主要区别是把业务处理从之前的单一线程脱离出来,换成线程池处理。Reactor线程只处理连接事件、读写事件,所有业务处理都交给线程池,充分利用多核机器的资源,提高性能。

    但是这仍然不够!

    我们可以发现,一个Reactor线程承担了所有的网络事件,例如监听和响应,高并发场景下单线程存在性能问题。

    为了充分利用多核能力,可以构建两个 Reactor,主 Reactor 单独监听server socket,accept新连接,然后将建立的 SocketChannel 注册给指定的从 Reactor,从Reactor再执行事件的读写、分发,把业务处理就扔给worker线程池完成。这就演进为”主从Reactor模式“设计模式。

    所以,如果有人直接帮我们封装好这样的设计模式,是不是太好了?

    没错,Netty就是这样的“活雷锋”!
    Netty就使用了主从Reactor模式封装了Ja va NIO包的使用,大大提高了性能。

    3.2 其他优点 (以后的核心知识点)

    除了封装了高性能的设计模式外,Netty还有许多其他优点:

    • 稳定性。Netty 更加可靠稳定,修复和完善了 JDK NIO 较多已知问题,包括 select 空转导致 CPU 消耗 100%、keep-alive 检测等问题。

    • 性能优化方面,对象池复用技术功不可没。Netty通过复用对象,避免了频繁创建和销毁所带来的开销。还有零拷贝技术,除了操作系统级别的,Netty还提供了面向用户态的零拷贝技术,在I/O读写时直接使用DirectBuffer,这样就避免了数据在堆内存和堆外内存之间的拷贝。

    • 便捷性。Netty 提供了很多常用的工具,例如行解码器、长度域解码器等。如果我们使用JDK NIO包,那么这些常用工具都需要自己进行实现。

    正是因为 Netty 做到了高性能、高稳定性、高易用性,完美弥补了 Ja va NIO 的不足,所以在我们在网络编程时,首选Netty,而不是自己直接使用Ja va NIO。

    回顾一下前几章内容,到目前为止,我们从网络I/O模型出发,一步步了解到了Netty的网络I/O模型。

    对于I/O多路复用、Ja va NIO包 和 Netty 的关系也有了全面的认识。

    有了这些知识基础,我们初步了解了Netty是什么,为什么使用Netty。

    后面的文章,我们将逐步展开Netty框架的核心知识点,敬请期待。

    往期热门笔记合集推荐:

    • HBase原理与实战笔记合集

    • MySQL实战笔记合集

    • Canal/Otter源码与实战笔记合集

    • Ja va实战技巧笔记合集

    扫描下方二维码可以关注我哦~

    觉得不错,就点个 再看吧

    如果有任何疑问或者建议,欢迎写留言或者 微信 和我联系哦~

    本文分享自微信公众号 - 阿丸笔记(aone_note)。
    如有侵权,请联系 support@oschina.cn 删除。
    本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    悟空浏览器怎么彻底清理浏览器配置文件
    悟空浏览器怎么彻底清理浏览器配置文件

    彻底清理悟空浏览器的数据,通常有三个路径:通过手机系统设置能一次性清除所有配置和用户信息;利用浏览器内置功能,可以只清理缓存而保留个性化设置;最彻底的则是卸载重装,让应用回到初始状态。 悟空浏览器用久了,是不是偶尔会感觉变慢,或者出现一些难以解释的小毛病?有时候,与其一个个排查问题,不如来一次彻底的

    漫蛙漫画官网首页登录入口
    漫蛙漫画官网首页登录入口

    漫蛙漫画首页登录入口https://www.manwamh.top/:一触即达的漫画世界核心枢纽 对于漫画迷而言,找到那个可靠的资源门户至关重要。漫蛙漫画的首页登录入口,正是这样一个核心渠道。通过它,你可以直接跳转到漫蛙2漫画APP的下载页面,轻松几步完成安装,马上就能投入到精彩纷呈的漫画之旅中。 漫蛙漫画首页登录入口: 官方入口地址已经为你备好

    漫蛙漫画官方入口
    漫蛙漫画官方入口

    漫蛙漫画官方入口与核心功能解析 寻找一个稳定、资源丰富的漫画在线阅读平台,是许多漫画爱好者的共同需求。其中,漫蛙漫画官方入口及其免费全集服务,受到了不少关注。那么,这个平台究竟如何?下面,我们就来深入了解一下它的具体信息与特色功能。 平台的官方访问地址是:https://www.manwa123.c

    漫蛙动漫APP最新版本下载
    漫蛙动漫APP最新版本下载

    对于动漫爱好者而言,找到一个资源全、体验佳的追番平台,常常是件头疼事。漫蛙动漫APP的定位很明确:就是要打造一个聚合全球正版动漫资源的专属乐园。无论是当季火爆的日漫新番、值得回味的经典国创,还是那些小众却精彩的优质动画,在这里基本都能一网打尽。平台底层采用了智能缓冲技术,最大程度保证了播放的流畅度,

    漫蛙官网入口免费下载最新版
    漫蛙官网入口免费下载最新版

    想要获取正版manwa漫蛙APP?官方指定下载渠道就是漫蛙官网入口。 对于漫画迷而言,找到一款心仪的阅读神器至关重要。漫蛙APP正是这样一款专为全球漫画爱好者打造的平台,它汇聚了从日韩人气连载到本土原创精品的海量资源。说它“应有尽有”毫不为过。更重要的是,其界面设计清爽直观,搭配智能检索功能,能让用

    漫蛙漫画在线观看入口
    漫蛙漫画在线观看入口

    想要畅享海量正版漫画资源?漫蛙漫画平台不容错过 对于漫画迷来说,找到一个资源丰富、体验流畅的正版平台实属幸事。漫蛙漫画凭借其优质的在线阅读服务,已经成为了许多资深读者的心头好。今天,我们就来详细拆解一下平台的访问方法与实用技巧,助你轻松开启漫画之旅。 漫蛙漫画网页入口页面指南 想立刻体验?官方在线观

    漫蛙如何下载最新版本
    漫蛙如何下载最新版本

    漫蛙漫画网APP官方下载方法全解析 对于资深漫画迷来说,找到一个资源全、更新快、体验佳的阅读平台,就像淘到了宝藏。漫蛙漫画网APP,正是这样一个专为爱好者打造的精品集散地。它汇聚了全球优质的正版漫画,从火爆的日漫连载到崛起的国创佳作,平台都能做到实时同步更新。当然,第一步得先把它装到设备上。接下来,

    漫蛙漫画APP最新版本下载
    漫蛙漫画APP最新版本下载

    漫蛙漫画APP:专业漫画阅读工具的全面革新 作为一款专业的漫画阅读工具,漫蛙漫画APP整合了全球优质漫画资源,其升级版漫蛙2在功能与体验上可谓全面革新。这款应用不仅囊括日漫经典与国漫新作,更通过简洁直观的界面设计和流畅操作,为用户打造沉浸式阅读环境,充分满足各类漫画爱好者的多样化需求。 漫蛙漫画特色

    卖茶叶妈妈3d漫蛙安卓版下载
    卖茶叶妈妈3d漫蛙安卓版下载

    当下动漫圈热议的卖茶叶妈妈3d漫蛙下载,凭借其突破性的3D视觉技术成为焦点 最近动漫爱好者们都在讨论一个现象级产品——卖茶叶妈妈3d漫蛙下载。这款由漫蛙漫画平台倾力打造的3D作品专区,用立体建模与动态分镜彻底颠覆了传统二维漫画的阅读模式。你猜怎么着?现在只需通过专区提供的便捷下载通道,无论是热血冒险

    漫蛙下载最新版本
    漫蛙下载最新版本

    漫蛙APP:资深漫画迷的移动图书馆与阅读利器 对于漫画爱好者来说,找到一个资源全、体验好的阅读平台,从来都不是件容易的事。而漫蛙APP,恰恰就是为这个需求而生的。它凭借海量的正版漫画库和极其便捷的离线下载功能,在圈内积累了相当不错的口碑。更重要的是,从经典的日本热血漫到新兴的国产原创作品,它几乎一网

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。