IO多路复用，IO多路复用（select，poll，epoll）详解

2023-09-25 阅读 21 评论 0

摘要：前言学习多路复用之前，搞清楚同步，异步，阻塞非阻塞。点击见详情清楚一些概念：（1） fd全称是file descriptor,是进程独有的文件描述符表的索引（2）recv： int recv(int sockfd,void* buf,int len,unsigned i

前言

学习多路复用之前，搞清楚同步，异步，阻塞非阻塞。点击见详情
清楚一些概念：
（1） fd全称是file descriptor,是进程独有的文件描述符表的索引
（2）recv：
int recv(int sockfd,void* buf,int len,unsigned int flags);
第一个参数是要读取的套接口文件描述符。
第二个参数是保存读入信息的地址。
第三个参数是缓冲区的最大长度。第四个参数设置为0。
系统调用recv()返回实际读取到缓冲区的字节数，如果出错则返回-1。
这样使用上面的系统调用，你可以通过数据流套接口来发送和接受信息。

IO多路复用，流程图：在这里插入图片描述

一、IO多路复用是什么？

1.定义

IO多路复用是一种同步 IO模型，实现一个线程可以监视多个文件句柄；一旦某个文件句柄就绪，就能够通知应用程序进行相应的读写操作；没有文件句柄就绪时会阻塞应用程序，交出cpu。多路是指网络连接，复用指的是同一个线程。

2.IO多路复用场景：

（1）当客户处理多个描述字时（一般是交互式输入和网络套接口），必须使用I/O复用。

（2）当一个客户同时处理多个套接口时，而这种情况是可能的，但很少出现。

（3）如果一个TCP服务器既要处理监听套接口，又要处理已连接套接口，一般也要用到I/O复用。

（4）如果一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用。

（5）如果一个服务器要处理多个服务或多个协议，一般要使用I/O复用。

3.优势

与多进程和多线程技术相比，I/O多路复用技术的最大优势是系统开销小，系统不必创建进程/线程，也不必维护这些进程/线程，从而大大减小了系统的开销。

4.实现方式

select
poll
epoll
select，poll，epoll都是IO多路复用的机制。select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间

5，工作方式

服务器端采用单线程通过select/epoll等系统调用获取fd列表，遍历有事件的fd进行accept/recv/send，使其能支持更多的并发连接请求
代码逻辑：

fds = [listen_fd]
// 伪代码描述
while(1) {// 通过内核获取有读写事件发生的fd，只要有一个则返回，无则阻塞// 整个过程只在调用select、poll、epoll这些调用的时候才会阻塞，accept/recv是不会阻塞for (fd in select(fds)) {if (fd == listen_fd) {client_fd = accept(listen_fd)fds.append(client_fd)} elseif (len = recv(fd) && len != -1) { // logic}}  
}

二、select

1.select函数接口

#include <sys/select.h>
#include <sys/time.h>#define FD_SETSIZE 1024
#define NFDBITS (8 * sizeof(unsigned long))
#define __FDSET_LONGS (FD_SETSIZE/NFDBITS)// 数据结构 (bitmap)
typedef struct {unsigned long fds_bits[__FDSET_LONGS];
} fd_set;// API
int select(int max_fd, fd_set *readset, fd_set *writeset, fd_set *exceptset, struct timeval *timeout
)                              // 返回值就绪描述符的数目FD_ZERO(int fd, fd_set* fds)   // 清空集合
FD_SET(int fd, fd_set* fds)    // 将给定的描述符加入集合
FD_ISSET(int fd, fd_set* fds)  // 判断指定描述符是否在集合中 
FD_CLR(int fd, fd_set* fds)    // 将给定的描述符从文件中删除

2.select使用示例

int main() {/** 这里进行一些初始化的设置，* 包括socket建立，地址的设置等,*/fd_set read_fs, write_fs;struct timeval timeout;int max = 0;  // 用于记录最大的fd，在轮询中时刻更新即可// 初始化比特位FD_ZERO(&read_fs);FD_ZERO(&write_fs);int nfds = 0; // 记录就绪的事件，可以减少遍历的次数while (1) {// 阻塞获取// 每次需要把fd从用户态拷贝到内核态nfds = select(max + 1, &read_fd, &write_fd, NULL, &timeout);// 每次需要遍历所有fd，判断有无读写事件发生for (int i = 0; i <= max && nfds; ++i) {if (i == listenfd) {--nfds;// 这里处理accept事件FD_SET(i, &read_fd);//将客户端socket加入到集合中}if (FD_ISSET(i, &read_fd)) {--nfds;// 这里处理read事件}if (FD_ISSET(i, &write_fd)) {--nfds;// 这里处理write事件}}}

3.优缺点

优点：select目前几乎在所有的平台上支持，具有良好跨平台支持。
缺点：
（1）单个进程所打开的FD是有限制的，通过FD_SETSIZE设置，默认1024
（2）每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大
（3）对socket扫描时是线性扫描，采用轮询的方法，效率较低（高并发时）

三、poll

1.poll函数接口

与select的不同：使用三个位图来表示三个fdset的方式，poll使用一个 pollfd的指针实现。
没有fd的限制

#include <poll.h>
// 数据结构
struct pollfd {int fd;                         // 需要监视的文件描述符short events;                   // 需要内核监视的事件short revents;                  // 实际发生的事件
};// API
int poll(struct pollfd fds[], nfds_t nfds, int timeout);

2.poll使用示例

// 先宏定义长度
#define MAX_POLLFD_LEN 4096  int main() {/** 在这里进行一些初始化的操作，* 比如初始化数据和socket等。*/int nfds = 0;pollfd fds[MAX_POLLFD_LEN];memset(fds, 0, sizeof(fds));fds[0].fd = listenfd;fds[0].events = POLLRDNORM;int max  = 0;  // 队列的实际长度，是一个随时更新的，也可以自定义其他的int timeout = 0;int current_size = max;while (1) {// 阻塞获取// 每次需要把fd从用户态拷贝到内核态nfds = poll(fds, max+1, timeout);if (fds[0].revents & POLLRDNORM) {// 这里处理accept事件connfd = accept(listenfd);//将新的描述符添加到读描述符集合中}// 每次需要遍历所有fd，判断有无读写事件发生for (int i = 1; i < max; ++i) {     if (fds[i].revents & POLLRDNORM) { sockfd = fds[i].fdif ((n = read(sockfd, buf, MAXLINE)) <= 0) {// 这里处理read事件if (n == 0) {close(sockfd);fds[i].fd = -1;}} else {// 这里处理write事件     }if (--nfds <= 0) {break;       }   }}}

3.优缺点

优点：pollfd结构包含了要监视的event和发生的event，不再使用select“参数-值”传递的方式。同时，pollfd并没有最大数量限制。
缺点：
每次调用poll，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大
对socket扫描时是线性扫描，采用轮询的方法，效率较低（高并发时）

四、epoll

1.epoll函数接口

#include <sys/epoll.h>// 数据结构
// 每一个epoll对象都有一个独立的eventpoll结构体
// 用于存放通过epoll_ctl方法向epoll对象中添加进来的事件
// epoll_wait检查是否有事件发生时，只需要检查eventpoll对象中的rdlist双链表中是否有epitem元素即可
struct eventpoll {/*红黑树的根节点，这颗树中存储着所有添加到epoll中的需要监控的事件*/struct rb_root  rbr;/*双链表中则存放着将要通过epoll_wait返回给用户的满足条件的事件*/struct list_head rdlist;
};// APIint epoll_create(int size); // 内核中间加一个 ep 对象，把所有需要监听的 socket 都放到 ep 对象中
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); // epoll_ctl 负责把 socket 增加、删除到内核红黑树
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);// epoll_wait 负责检测可读队列，没有可读 socket 则阻塞进程

2.epoll使用示例

int main(int argc, char* argv[])
{/** 在这里进行一些初始化的操作，* 比如初始化数据和socket等。*/// 内核中创建ep对象epfd=epoll_create(256);// 需要监听的socket放到ep中epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);while(1) {// 阻塞获取nfds = epoll_wait(epfd,events,20,0);for(i=0;i<nfds;++i) {if(events[i].data.fd==listenfd) {// 这里处理accept事件connfd = accept(listenfd);// 接收新连接写到内核对象中epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev);} else if (events[i].events&EPOLLIN) {// 这里处理read事件read(sockfd, BUF, MAXLINE);//读完后准备写epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);} else if(events[i].events&EPOLLOUT) {// 这里处理write事件write(sockfd, BUF, n);//写完后准备读epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);}}}return 0;
}

3.优缺点

优点：
（1）相对于select和poll来说，epoll更加灵活。epoll使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的copy只需一次。
（2）监视的描述符数量不受限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大
（3）IO的效率不会随着监视fd的数量的增长而下降。epoll不同于select和poll轮询的方式，而是通过每个fd定义的回调函数来实现的。只有就绪的fd才会执行回调函数。

缺点：
epoll只能工作在linux下（应用于redis nginx）

4.工作模式

epoll对文件描述符的操作有两种模式：LT（level trigger）和ET（edge trigger）。LT模式是默认模式，LT模式与ET模式的区别如下：
　　LT模式：当epoll_wait检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用epoll_wait时，会再次响应应用程序并通知此事件。
　　ET模式：当epoll_wait检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用epoll_wait时，不会再次响应应用程序并通知此事件。
　　
epoll LT 与 ET模式的区别:
(1)epoll有EPOLLLT和EPOLLET两种触发模式，LT是默认的模式，ET是“高速”模式。
(2)LT模式下，只要这个fd还有数据可读，每次 epoll_wait都会返回它的事件，提醒用户程序去操作
(3)ET模式下，它只会提示一次，直到下次再有数据流入之前都不会再提示了，无论fd中是否还有数据(4)可读。所以在ET模式下，read一个fd的时候一定要把它的buffer读完，或者遇到EAGAIN错误