select,poll跟epoll使用
select,poll和epoll使用
select,poll和epoll使用
2011年04月11日
多路转接 当从一个文件描述符读，然后写到另一个文件描述符，可以在下列形式的循环中使用阻塞IO。
但是，如果必须从两个描述符读，那么就可能长时间阻塞在一个描述符上，而另一个描述符虽然有很多数据却不能得到及时处理。 IO多路转接（I/O Multiplexing），先构造一张有关描述符的列表，然后调用一个函数，直到这些描述符中的一个已准备好进行I/O时，该函数才返回。在返回时，它告诉进程哪些描述符已准备好可以进行I/O。POSIX.1标准定义了select和pselect函数，而poll则是对该基本部分的XSI扩展。
select
最后一个参数tvptr，指定愿意等待的时间：
tvptr==NULL，永久等待。当所指定的描述符中的一个已经准备好或捕捉到一个信号则返回。如果捕捉到一个信号，则select返回-1，errno设置为EINTR。
tvptr->tv_sec==0 && tvptr->tv_usec==0，完全不等待。这是得到多个描述符状态而不阻塞select函数的轮询方法。
tvptr->tv_sec!=0 || tvptr->tv_usec!=0，等待指定的秒数和微秒数。当指定的描述符之一已准备好，或当指定的时间值已经超时，或捕捉到信号时，函数返回。在linux下，若在该时间值尚未超过时select就返回，那么将用余留时间更新tvptr指向的结构。 中间三个参数readfds、writefds和exceptfds是指向描述符集的指针。这三个描述符集说明了我们关心的可读、可写或出于异常条件的各个描述符。每个描述符集存放在一个fd_set数据类型中。这种数据类型为每一可能的描述符保持一位。描述符集的函数接口（可能实现为宏）包括：调用FD_ZERO将一个指定的fd_set变量的所有位设置为0；调用FD_SET设置一个fd_set变量的指定位；调用FD_CLR将一指定位清楚；调用FD_ISSET测试一指定位是否设置。
#include
int FD_ISSET(int fd, fd_set *fdset);
Returns: nonzero if fd is in set, 0 otherwise
void FD_CLR(int fd, fd_set *fdset);
void FD_SET(int fd, fd_set *fdset);
void FD_ZERO(fd_set *fdset); select的第一个参数maxfdp1的意思是最大描述符加1，即在三个描述符集中找出最大描述符编号值，然后加1。
select有三个可能的返回值：
返回值-1表示出错。如捕捉到一个信号。在这种情况下，将不修改其中任何描述符集。
返回值0表示没有描述符准备好。
正返回值表示已经准备好的描述符数，该值是三个描述符集中已经准备好的描述符数之和。
对于准备好的意思是，对读写集中的一个描述符的read或write操作不会阻塞，对异常状态集中的一个描述符有一个未决异常状态（包括1）在网络连接上到达的带外数据2）在处于数据包模式的伪终端上发生了某些状态）。如果在一个描述符上碰到了文件结尾处，则select认为该描述符是可读的，因为调用read将返回0。 timeout设置情况：
null:select将一直被阻塞，直到某个文件描述符上发生了事件。
0：仅检测描述符集合的状态，然后立即返回，并不等待外部事件的发生。
特定的时间值：如果在指定的时间段里没有事件发生，select将超时返回。
文件描述符集fdset中的文件描述符的个数是有限制的，最大值由FD_SETSIZE指定，在LNUX中为1024.
pselect
它与select的区别在于：
pselect使用timespec结构指定超时值。timespec结构以秒和纳秒表示时间，而非秒和微秒。
pselect的超时值被声明为const，这保证了调用pselect不会改变timespec结构。
pselect可使用一个可选择的信号屏蔽字。在调用pselect时，以原子操作的方式安装该信号屏蔽字，在返回时恢复以前的信号屏蔽字。
poll
poll函数起源于SVR3，最初局限于流设备。SVR4取消了这种限制，允许poll工作在任何描述字上。poll提供的功能与select类似，不过在处理流设备时，它能够提供额外的信息。
#include
int poll(struct pollfd fdarray[], nfds_t nfds,int timeout);
Returns:count of ready descriptors, 0 on timeout, 1 on error
struct pollfd {
int fd;/* file descriptor to check, or 注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值，第二个参数表示动作，用三个宏来表示：
EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；
第三个参数是需要监听的fd，第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：
struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events可以是以下几个宏的集合：
EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里
等待事件的产生，类似于select()调用。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个 maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。
epoll优点
(1)支持一个进程打开大数目的socket描述符(FD)
select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你
一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，
二是可以选择多进程的解决方案(传统的Apache方案)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。
epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。
(2)IO效率不随FD数目增加而线性下降
传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。
epoll不存在这个问题，它只会对"活跃"的socket进行操作--- 这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个"伪"AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的---比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。
(3)使用mmap加速内核与用户空间的消息传递
这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话，一定不会忘记手工mmap这一步的。
(4)内核微调
这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小--- 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手的数据包队列长度)，也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。
#include
#include
#include
#include
#include
#include
#include
#include
int main()
{
fd_set rfds, wfds;
int fd, result;
char buf[10];
struct pollfd fds[2];
if((fd =open("tempselect", O_CREAT | O_WRONLY, S_IRUSR | S_IWUSR))< 0)
printf("open tempselect error");
FD_ZERO(&rfds);
FD_ZERO(&wfds);
FD_SET(fd,&rfds);
FD_SET(STDIN_FILENO,&wfds);
if((result =select(fd+1,&rfds,&wfds,NULL,NULL))==-1)
perror("select error");
elseif(result == 0)
printf("no fd ready\n");
else
{
printf("%d fd(s) ready\n", result);
if(FD_ISSET(fd,&rfds))
printf("fd is ready for read\n");
if(read(fd, buf, 10)< 0)
perror("read fd error");
if(FD_ISSET(STDIN_FILENO,&wfds))
printf("STDIN is ready for write\n");
}
fds[0].fd = fd;
fds[0].events = POLLIN;
fds[1].fd = STDIN_FILENO;
fds[1].events = POLLOUT;
if((result = poll(fds, 2,-1))==-1)
perror("poll error");
else
{
printf("%d fd(s) ready\n", result);
if(fds[0].revents == POLLIN)
printf("fd is ready for read\n");
if(read(fd, buf, 10)< 0)
perror("read fd error");
if(fds[1].revents == POLLOUT)
printf("STDIN is ready for write\n");
}
exit(0);
} 原文地址 http://blog168.chinaunix.net/space.php?uid=2448813 6&do=blog&cuid=2344123
IO
select,poll和epoll使用
2011年04月11日
多路转接 当从一个文件描述符读，然后写到另一个文件描述符，可以在下列形式的循环中使用阻塞IO。
但是，如果必须从两个描述符读，那么就可能长时间阻塞在一个描述符上，而另一个描述符虽然有很多数据却不能得到及时处理。 IO多路转接（I/O Multiplexing），先构造一张有关描述符的列表，然后调用一个函数，直到这些描述符中的一个已准备好进行I/O时，该函数才返回。在返回时，它告诉进程哪些描述符已准备好可以进行I/O。POSIX.1标准定义了select和pselect函数，而poll则是对该基本部分的XSI扩展。
select
最后一个参数tvptr，指定愿意等待的时间：
tvptr==NULL，永久等待。当所指定的描述符中的一个已经准备好或捕捉到一个信号则返回。如果捕捉到一个信号，则select返回-1，errno设置为EINTR。
tvptr->tv_sec==0 && tvptr->tv_usec==0，完全不等待。这是得到多个描述符状态而不阻塞select函数的轮询方法。
tvptr->tv_sec!=0 || tvptr->tv_usec!=0，等待指定的秒数和微秒数。当指定的描述符之一已准备好，或当指定的时间值已经超时，或捕捉到信号时，函数返回。在linux下，若在该时间值尚未超过时select就返回，那么将用余留时间更新tvptr指向的结构。 中间三个参数readfds、writefds和exceptfds是指向描述符集的指针。这三个描述符集说明了我们关心的可读、可写或出于异常条件的各个描述符。每个描述符集存放在一个fd_set数据类型中。这种数据类型为每一可能的描述符保持一位。描述符集的函数接口（可能实现为宏）包括：调用FD_ZERO将一个指定的fd_set变量的所有位设置为0；调用FD_SET设置一个fd_set变量的指定位；调用FD_CLR将一指定位清楚；调用FD_ISSET测试一指定位是否设置。
#include
int FD_ISSET(int fd, fd_set *fdset);
Returns: nonzero if fd is in set, 0 otherwise
void FD_CLR(int fd, fd_set *fdset);
void FD_SET(int fd, fd_set *fdset);
void FD_ZERO(fd_set *fdset); select的第一个参数maxfdp1的意思是最大描述符加1，即在三个描述符集中找出最大描述符编号值，然后加1。
select有三个可能的返回值：
返回值-1表示出错。如捕捉到一个信号。在这种情况下，将不修改其中任何描述符集。
返回值0表示没有描述符准备好。
正返回值表示已经准备好的描述符数，该值是三个描述符集中已经准备好的描述符数之和。
对于准备好的意思是，对读写集中的一个描述符的read或write操作不会阻塞，对异常状态集中的一个描述符有一个未决异常状态（包括1）在网络连接上到达的带外数据2）在处于数据包模式的伪终端上发生了某些状态）。如果在一个描述符上碰到了文件结尾处，则select认为该描述符是可读的，因为调用read将返回0。 timeout设置情况：
null:select将一直被阻塞，直到某个文件描述符上发生了事件。
0：仅检测描述符集合的状态，然后立即返回，并不等待外部事件的发生。
特定的时间值：如果在指定的时间段里没有事件发生，select将超时返回。
文件描述符集fdset中的文件描述符的个数是有限制的，最大值由FD_SETSIZE指定，在LNUX中为1024.
pselect
它与select的区别在于：
pselect使用timespec结构指定超时值。timespec结构以秒和纳秒表示时间，而非秒和微秒。
pselect的超时值被声明为const，这保证了调用pselect不会改变timespec结构。
pselect可使用一个可选择的信号屏蔽字。在调用pselect时，以原子操作的方式安装该信号屏蔽字，在返回时恢复以前的信号屏蔽字。
poll
poll函数起源于SVR3，最初局限于流设备。SVR4取消了这种限制，允许poll工作在任何描述字上。poll提供的功能与select类似，不过在处理流设备时，它能够提供额外的信息。
#include
int poll(struct pollfd fdarray[], nfds_t nfds,int timeout);
Returns:count of ready descriptors, 0 on timeout, 1 on error
struct pollfd {
int fd;/* file descriptor to check, or 注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值，第二个参数表示动作，用三个宏来表示：
EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；
第三个参数是需要监听的fd，第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：
struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events可以是以下几个宏的集合：
EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里
等待事件的产生，类似于select()调用。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个 maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。
epoll优点
(1)支持一个进程打开大数目的socket描述符(FD)
select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你
一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，
二是可以选择多进程的解决方案(传统的Apache方案)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。
epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。
(2)IO效率不随FD数目增加而线性下降
传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。
epoll不存在这个问题，它只会对"活跃"的socket进行操作--- 这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个"伪"AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的---比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。
(3)使用mmap加速内核与用户空间的消息传递
这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话，一定不会忘记手工mmap这一步的。
(4)内核微调
这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小--- 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手的数据包队列长度)，也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。
#include
#include
#include
#include
#include
#include
#include
#include
int main()
{
fd_set rfds, wfds;
int fd, result;
char buf[10];
struct pollfd fds[2];
if((fd =open("tempselect", O_CREAT | O_WRONLY, S_IRUSR | S_IWUSR))< 0)
printf("open tempselect error");
FD_ZERO(&rfds);
FD_ZERO(&wfds);
FD_SET(fd,&rfds);
FD_SET(STDIN_FILENO,&wfds);
if((result =select(fd+1,&rfds,&wfds,NULL,NULL))==-1)
perror("select error");
elseif(result == 0)
printf("no fd ready\n");
else
{
printf("%d fd(s) ready\n", result);
if(FD_ISSET(fd,&rfds))
printf("fd is ready for read\n");
if(read(fd, buf, 10)< 0)
perror("read fd error");
if(FD_ISSET(STDIN_FILENO,&wfds))
printf("STDIN is ready for write\n");
}
fds[0].fd = fd;
fds[0].events = POLLIN;
fds[1].fd = STDIN_FILENO;
fds[1].events = POLLOUT;
if((result = poll(fds, 2,-1))==-1)
perror("poll error");
else
{
printf("%d fd(s) ready\n", result);
if(fds[0].revents == POLLIN)
printf("fd is ready for read\n");
if(read(fd, buf, 10)< 0)
perror("read fd error");
if(fds[1].revents == POLLOUT)
printf("STDIN is ready for write\n");
}
exit(0);
} 原文地址 http://blog168.chinaunix.net/space.php?uid=2448813 6&do=blog&cuid=2344123
IO