图解 epoll 是怎样工作的

本文包含下面内容：

本文不包括下面内容：

我简直非常偏爱像epoll这样使用方便、原理不深仍有大差别的东西，即使它或许早已非常老了

epoll 对于动辄需要处理上万连接的网络服务应用的含义可以说是革命性的。对于普通的本地应用，select 和 poll可能就很高用了，但针对像C10K这类高并发的网络场景，select 和 poll就捉襟见肘了。

看看你们的API

int select(int nfds, fd_set *readfds, fd_set *writefds,
           fd_set *exceptfds, struct timeval *timeout);
           
int poll(struct pollfd *fds, nfds_t nfds, int timeout);

它们有一个共同点，用户必须将监控的文件描述符集合打包当做参数传入，每次读取时，这个集合都会从用户空间拷贝到内核空间，这么做的缘由是内核对这个集合是无记忆的。对于绝大部分应用，这是一种十足的浪费，因为应用必须监控的表述符在大部分时间内基本都是不变的,也许会有差异,但都不大.

epoll对此的优化也正是它的推动模式,它必须完成下面两件事

描述符添加---内核可以记下用户关心这些文件的什么事件.事件出现---内核可以记下哪些文件的什么事故真正出现了,当客户前来获取时,能把结果提供帮用户.

既然要有记忆,那么理所当然的内核应该还要一个数据结构来记, 这个数据结构简单点如同以下这个图中的epoll_instance, 它有一个链表头，链表上的元素epoll_item就是用户添加上去的epoll events， 每一项都记录了描述符fd和感兴趣的事件组合event

事件有多种类型, 其中POLLIN表示的可读事件是用户使用的最多的。比如:

那么这次应该将这种可读事件跟上面的epoll_instance关联起来。linux中，每一个文件描述符在内核都有一个struct file结构对应, 这个struct file有一个private_data指针，根据文件的实际种类，它们指向不同的数据结构。

那么我可想到的最方便的做法就是epoll_item中增加一个指向struct file的指针，在struct file中增加一个指回epoll item的指针。

为了可记录有事故出现的文件，我们还必须在epoll_instance中增加一个就绪链表readylist，在private_data指针指向的诸多数据结构中提高一个指针回指到 struct file，在epoll item中增加一个挂接点字段，当一个文件可读时，就把它对应的epoll item挂接到epoll_instance

在这时候，用户借助系统调用下来写入readylist就可以了解这些文件就绪了。

好了，以上纯属我个人一拍脑袋想到的epoll大概的工作方式，其中必定包括不少缺陷。

不过真实的epoll的推动思想上与前面也差不多，下面来说一下

如同上面的epoll_instance，内核应该一个数据结构保存记录用户的注册项，这个构架在内核中就是struct eventpoll， 当用户使用epoll_create(2)或者epoll_create1(2)时，内核fs/eventpoll.c实际都会创建一个这样的结构.

/*
 * Create the internal data structure ("struct eventpoll").
 */
error = ep_alloc(&ep);

这个结构中非常重要的个别就是几个链表了，不过例子刚创建时他们都是空的，后续可以发现他们的作用

epoll_create()最终会向用户返回一个文件描述符，用来便于用户以后操作该 epoll实例，所以在建立epoll实例之后，内核就会分配一个文件描述符fd和对应的struct file结构

/*
* Creates all the items needed to setup an eventpoll file. That is,
* a file structure and a free file descriptor.
*/
fd = get_unused_fd_flags(O_RDWR | (flags & O_CLOEXEC));
file = anon_inode_getfile("[eventpoll]", &eventpoll_fops, ep,
                           O_RDWR | (flags & O_CLOEXEC));

最后就是把他们跟先前的epoll实例 关联起来，然后向用户返回fd

ep->file = file;
fd_install(fd, file);
return fd;

完成后，epoll实例 就成这种了。

用户可以通过 epoll_ctl(2)向 epoll实例 添加要监控的表述符跟感兴趣的事件。如同上面的epoll itemepoll events，内核实际建立的是一个叫struct epitem的结构作为注册表项。如下图图示

为了在表述符很多时的也可有较高的搜索效率, epoll实例 以红黑树的方式来组织每个struct epitem (取代左边例子中链表)。struct epitem结构中ffd是用来记录关联文件的字段, 同时它也成为该表项添加至红黑树上的Key；

rdllink的作用是当fd对应的文件准备好(关心的事件出现)时，内核会将它作为挂载点挂接到epoll实例中ep->rdllist链表上

fllink的作用是成为挂载点挂接到fd对应的文件的file->f_tfile_llink链表上，一般这个链表最多只有一个元素，除非出现了dup。

pwqlist是一个链表头，用来连接 poll wait queue。虽然它是链表，但似乎链表上最多只会再挂接一个元素。

创建struct epitem的代码在fs/evnetpoll.c的ep_insert()中

if (!(epi = kmem_cache_alloc(epi_cache, GFP_KERNEL)))
    return -ENOMEM;

之后会进行各个数组初始化

/* Item initialization follow here ... */
INIT_LIST_HEAD(&epi->rdllink);
INIT_LIST_HEAD(&epi->fllink);
INIT_LIST_HEAD(&epi->pwqlist);
epi->ep = ep;
ep_set_ffd(&epi->ffd, tfile, fd);
epi->event = *event;
epi->nwait = 0;
epi->next = EP_UNACTIVE_PTR;

然后是设置局部变量epq

struct ep_pqueue epq;
epq.epi = epi;
init_poll_funcptr(&epq.pt, ep_ptable_queue_proc);

epq的数据结构是struct ep_pqueue,它是poll table的一层包装(加了一个struct epitem* 的指针)

struct  ep_pqueue{
    poll_table pt;
    struct epitem* epi;
}

poll table包含一个函数和一个事件掩码

typedef void (*poll_queue_proc)(struct file *, wait_queue_head_t *, struct poll_table_struct *);
typedef struct poll_table_struct {
    poll_queue_proc _qproc;
    unsigned long _key;   //  store the interested event masks
}poll_table;

这个poll table用在那里呢 ? 答案是,用在了struct file_operations的poll操作 (这跟本文开始说的select`poll`不是一个东西)

struct file_operations { 
   // code omitted...
   unsigned int (*poll)(struct file*,  struct poll_table_struct*);
   // code omitted...
}

不同的文件有不同poll实现方法, 但通常他们的实现方法差不多是以下这些方式

static unsigned int XXXX_poll(struct file *file, poll_table *wait)
{
    私有数据 = file->private_data;
    unsigned int events = 0;
    
    poll_wait(file, &私有数据->wqh, wait);
    if (文件可读了)
        events |= POLLIN;
    
    return events;
} 

它们主要实现两个功能

将XXX放到文件私有数据的等待队列上 (一般file->private_data中都有一个等待队列头wait_queue_head_t wqh), 至于XXX是啥,各种种类文件实现各异,取决于poll_table参数查询是否真的有事件了,若有则返回.有兴趣的读者可以 timerfd_poll() 或者 pipe_poll() 它们的实现

poll_wait的实现很简单, 就是调用poll_table中修改的变量, 将文件私有的期待队列当作了参数.

static inline void poll_wait(struct file * filp, wait_queue_head_t * wait_address, poll_table *p)
{
    if (p && p->_qproc && wait_address)
        p->_qproc(filp, wait_address, p);
} 

回到 ep_insert()

所以此处设置的poll_table就是ep_ptable_queue_proc().

然后

revents = ep_item_poll(epi, &epq.pt);  

看其实现可以看见,其实就是主动去读取文件的poll函数. 这里以TCP socket文件为例好了(毕竟网络应用是很广泛的)

/*
 *   ep_item_poll  -> sock_poll -> tcp_poll
 */
unsigned int tcp_poll(struct file *file, struct socket *sock, poll_table *wait)  
{
    sock_poll_wait(file, sk_sleep(sk), wait);  // will call poll_wait()   
    // code omitted...
}

可以发现,最终还是调用到了poll_wait(),所以注册的ep_ptable_queue_proc()会执行

    struct epitem *epi = ep_item_from_epqueue(pt);
    struct eppoll_entry *pwq; 
    pwq = kmem_cache_alloc(pwq_cache, GFP_KERNEL)

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-139730-1.html