深入理解TCP协议及其源代码
一.tcp的三次握手分析：
第一次握手：建立连接时，客户端发送 SYN 包(tcp协议中syn位置1，序号为J)到服务器，并进入 SYN_SEND 状态，等待服务器确认；
第二次握手：服务器收到 SYN 包，必须确认客户的 SYN，同时自己也发送一个 SYN 包，即 SYN+ACK包（tcp协议中syn位置1，ack位置1，序号K，确定序号为J+1），此时服务器进入 SYN_RCVD 状态；
第三次握手：客户端收到服务器的 SYN＋ACK 包，向服务器发送确认包 ACK(tcp协议中ack位置1，确认序号K+1)，此包发送完毕，客户端和服务器进入 ESTABLISHED 状态，完成三次握手。
具体状态转换图如下：
上图中A/B（A代表收到的消息，B代表发出的消息），沿着黑虚线是服务器端经过的状态，沿着黑实线是客户端的状态，红线是在三次握手的过程中出现其他状况是状态的相应的转换。
二.下面对在三次握手中所使用的具体函数进行分析，由上次实验我们知道了在三次握手中使用了socket、connect、listen、bind、accept等函数，本次实验我们看看这些函数具体如何调用其他函数完成相应的连接。
对于服务器端的流程——类似于接电话过程：
socket()[找到一个可以通话的手机]----->bind()[插入一个固定号码]------>listen()[随时准备接听]-------> accept------->recv()------->send()------>close();
对于客户端的主要流程----类似于打电话过程：
socket()----->connect()------>recv/read/send------>close()
流程如下图所示：
下面对具体函数分析:
在服务端：
1，socket:
socket函数对应于普通文件的打开操作。普通文件的打开操作返回一个文件描述字，而socket()用于创建一个socket描述符（socket descriptor），它唯一标识一个socket。这个socket描述字跟文件描述字一样，后续的操作都有用到它，把它作为参数，通过它来进行一些读写操作。
当服务器程序调用socket系统调用之后，内核会创建一个struct socket和一个struct sock结构，两者可以通过指针成员变量相互访问对方。内核直接操作的是struct sock结构。struct socket的存在是为了适应linux的虚拟文件系统，把socket也当作一个文件系统，通过指定superblock中不同的操作函数实现完成相应的功能。在linux内核中存在不同的sock类型，与TCP相关的有struct sock、 struct inet_connection_sock,、struct tcp_sock等。这些结构的实现非常灵活,可以相互进行类型转换。这个机制的实现是结构体的一层层包含关系：struct tcp_sock的第一个成员变量是struct inet_connection_sock，struct inet_connection_sock的第一个成员变量是struct sock。
查找socket源码如下：
int __sys_socket(int family, int type, int protocol)
{
int retval;
struct socket *sock;
int flags;
/* Check the SOCK_* constants for consistency. */
BUILD_BUG_ON(SOCK_CLOEXEC != O_CLOEXEC);
BUILD_BUG_ON((SOCK_MAX | SOCK_TYPE_MASK) != SOCK_TYPE_MASK);
BUILD_BUG_ON(SOCK_CLOEXEC & SOCK_TYPE_MASK);
BUILD_BUG_ON(SOCK_NONBLOCK & SOCK_TYPE_MASK);
flags = type & ~SOCK_TYPE_MASK;
if (flags & ~(SOCK_CLOEXEC | SOCK_NONBLOCK))
return -EINVAL;
type &= SOCK_TYPE_MASK;
if (SOCK_NONBLOCK != O_NONBLOCK && (flags & SOCK_NONBLOCK))
flags = (flags & ~SOCK_NONBLOCK) | O_NONBLOCK;
retval = sock_create(family, type, protocol, &sock);
if (retval < 0)
return retval;
return sock_map_fd(sock, flags & (O_CLOEXEC | O_NONBLOCK));
}
SYSCALL_DEFINE3(socket, int, family, int, type, int, protocol)
{
return __sys_socket(family, type, protocol);
}
当我们调用socket创建一个socket时，返回的socket描述字它存在于协议族（address family，AF_XXX）空间中，但没有一个具体的地址。如果想要给它赋值一个地址，就必须调用bind()函数，否则就当调用connect()、listen()时系统会自动随机分配一个端口。
struct socket源码如下：
struct socket {
socket_state state; // 连接状态：SS_CONNECTING, SS_CONNECTED 等
short type; // 类型：SOCK_STREAM, SOCK_DGRAM 等
unsigned long flags; // 标志位：SOCK_ASYNC_NOSPACE(发送队列是否已满)等
struct socket_wq __rcu *wq; // 等待队列
struct file *file; // 该socket结构体对应VFS中的file指针
struct sock *sk; // socket网络层表示，真正处理网络协议的地方
const struct proto_ops *ops; // socket操作函数集：bind, connect, accept 等
};
bind（）、connect（）使用socket创建的文件描述符来找到socket结构体，再进一步找到sock结构体，从而进行端口的绑定。
2，bind（）函数
/* * Bind a name to a socket. Nothing much to do here since it's * the protocol's responsibility to handle the local address. * * We move the socket address to kernel space before we call * the protocol layer (having also checked the address is ok). */ int __sys_bind(int fd, struct sockaddr __user *umyaddr, int addrlen) { struct socket *sock; struct sockaddr_storage address; int err, fput_needed; sock = sockfd_lookup_light(fd, &err, &fput_needed); if (sock) { err = move_addr_to_kernel(umyaddr, addrlen, &address); if (!err) { err = security_socket_bind(sock, (struct sockaddr *)&address, addrlen); if (!err) err = sock->ops->bind(sock, (struct sockaddr *) &address, addrlen); } fput_light(sock->file, fput_needed); } return err; }
创建完socket之后就是地址的绑定了，通过bind系统调用实现。该调用通过传递进来的文件描述符找到对应的socket结构，然后通过socket访问sock结构。操作sock进行地址的绑定。如果指定了端口检查端口的可用性并绑定，否则随机分配一个端口进行绑定。但是怎样获知当前系统的端口绑定状态呢？通过一个全局变量inet_hashinfo进行，每次成功绑定一个端口会都将该sock加入到inet_hashinfo的绑定散列表中。加入之后bind的系统调用已基本完成了。
函数的三个参数分别为：
fd：即socket描述字，它是通过socket()函数创建了，唯一标识一个socket。bind()函数就是将给这个描述字绑定一个名字。
umyaddr：一个 struct sockaddr _user*指针，指向要绑定给sockfd的协议地址。这个地址结构根据地址创建socket时的地址协议族的不同而不同，
addrlen：对应的是地址的长度。
3.listen()
listen()源码如下
int err, fput_needed;
int somaxconn;
sock = sockfd_lookup_light(fd, &err, &fput_needed);
if (sock) {
somaxconn = sock_net(sock->sk)->core.sysctl_somaxconn;
if ((unsigned int)backlog > somaxconn)
backlog = somaxconn;
err = security_socket_listen(sock, backlog);
if (!err)
err = sock->ops->listen(sock, backlog);
fput_light(sock->file, fput_needed);
}
return err;
}
SYSCALL_DEFINE2(listen, int, fd, int, backlog)
{
return __sys_listen(fd, backlog);
}
同样的内核通过文件描述符找到对应的sock，然后将其转换为inet_connection_sock结构。在inet_connection_sock结构体中含有一个类型为request_sock_queue的icsk_accept_queue变量，存储一些希望建立连接的sock相关的信息。
结构如下;
struct request_sock_queue {
struct request_sock *rskq_accept_head;
struct request_sock *rskq_accept_tail;
rwlock_t syn_wait_lock;
u8 rskq_defer_accept;
struct listen_sock *listen_opt;
};
listen_opt用了存储当前正在请求建立连接的sock，称作半连接状态，当内核收到一个带有skb之后需找到对应的sock。该过程通过__inet_lookup_skb进行实现。该函数主要调用__inet_lookup，其中：首先看看这个包是不是一个已经建立好连接的sock中的包，通过__inet_lookup_established函数进行操作，失败的话可能是一个新的SYN数据包，此时还没有建立连接所以没有对应的sock，和该sock相关的只可能是监听sock了。
所以通过__inet_lookup_listener函数找到在本地的监听对应端口的sock。
无论哪种情况，找到sock之后便会将sock和skb一同传入tcp_v4_do_rcv函数作统一处理：
if (sk->sk_state == TCP_ESTABLISHED) {
sock_rps_save_rxhash(sk, skb->rxhash);
TCP_CHECK_TIMER(sk);
if (tcp_rcv_established(sk, skb, tcp_hdr(skb), skb->len)) {
rsk = sk;
goto reset;
}
TCP_CHECK_TIMER(sk);
return 0;
}
if (sk->sk_state == TCP_LISTEN) {
struct sock *nsk = tcp_v4_hnd_req(sk, skb);
if (!nsk)
goto discard;
if (nsk != sk) {
if (tcp_child_process(sk, nsk, skb)) {
rsk = nsk;
goto reset;
}
return 0;
}
}
if (tcp_rcv_state_process(sk, skb, tcp_hdr(skb), skb->len)) {
rsk = sk;
goto reset;
如果是一个已建立连接的sock，调用tcp_rcv_established函数进行相应的处理。
如果是一个正在监听的sock，需要新建一个sock来保存这个半连接请求，该操作通过tcp_v4_hnd_req实现。
这里我们只关注tcp的建立过程，所以只分析tcp_v4_hnd_req和tcp_child_process函数：
static struct sock *tcp_v4_hnd_req(struct sock *sk, struct sk_buff *skb)
{
struct tcphdr *th = tcp_hdr(skb);
const struct iphdr *iph = ip_hdr(skb);
struct sock *nsk;
struct request_sock **prev;
struct request_sock *req = inet_csk_search_req(sk, &prev, th->source,
iph->saddr, iph->daddr);
if (req)
return tcp_check_req(sk, skb, req, prev);
nsk = inet_lookup_established(sock_net(sk), &tcp_hashinfo, iph->saddr,
th->source, iph->daddr, th->dest, inet_iif(skb));
if (nsk) {
if (nsk->sk_state != TCP_TIME_WAIT) {
bh_lock_sock(nsk);
return nsk;
}
inet_twsk_put(inet_twsk(nsk));
return NULL;
}
return sk;
}
通过tcp_v4_hnd_req函数就能够找到或创建和这个skb相关的sock。
A.如果返回的sock和处于Listen状态的sock不同，表示返回的是一个新的sock，第三次握手已经完成了。调用tcp_child_process处理。该函数的逻辑是让这个新的tcp_sock开始处理TCP段，同时唤醒应用层调用accept阻塞的程序，告知它有新的请求建立完成，可以从全连接队列中取出了。
B.如果返回的sock没有变化，表示是一个新的请求，调用tcp_rcv_state_process函数处理第一次连接的情况。该函数的逻辑较为复杂，简单的可以概括为新建一个request_sock并插入半连接队列，设置该request_sock的sock为SYN_RCV状态。然后构建SYN+ACK发送给客户端，完成TCP三次握手连接的第二步。
4.accept（）
源码如下：
/*
* For accept, we attempt to create a new socket, set up the link
* with the client, wake up the client, then return the new
* connected fd. We collect the address of the connector in kernel
* space and move it to user at the very end. This is unclean because
* we open the socket then return an error.
*
* 1003.1g adds the ability to recvmsg() to query connection pending
* status to recvmsg. We need to add that support in a way thats
* clean when we restructure accept also.
*/
int __sys_accept4(int fd, struct sockaddr __user *upeer_sockaddr,
int __user *upeer_addrlen, int flags)
{
struct socket *sock, *newsock;
struct file *newfile;
int err, len, newfd, fput_needed;
struct sockaddr_storage address;
if (flags & ~(SOCK_CLOEXEC | SOCK_NONBLOCK))
return -EINVAL;
if (SOCK_NONBLOCK != O_NONBLOCK && (flags & SOCK_NONBLOCK))
flags = (flags & ~SOCK_NONBLOCK) | O_NONBLOCK;
sock = sockfd_lookup_light(fd, &err, &fput_needed);
if (!sock)
goto out;
err = -ENFILE;
newsock = sock_alloc();
if (!newsock)
goto out_put;
newsock->type = sock->type;
newsock->ops = sock->ops;
该调用创建新的struct socket表示新的连接，搜寻全连接队列，如果队列为空，将程序自身挂起等待连接请求的完成。否则从队列中取出头部request_sock，并设置新的struct socket和request_sock中的struct sock的对应关系。这样一个连接至此就建立完成了。客户端可以通过新返回的struct socket进行通信，同时旧的struct socket继续在监听。
客户端
1，socket（）
socket的实现和服务器端一样
2，connect（）
源码如下：
/* * Attempt to connect to a socket with the server address. The address * is in user space so we verify it is OK and move it to kernel space. * * For 1003.1g we need to add clean support for a bind to AF_UNSPEC to * break bindings * * NOTE: 1003.1g draft 6.3 is broken with respect to AX.25/NetROM and * other SEQPACKET protocols that take time to connect() as it doesn't * include the -EINPROGRESS status for such sockets. */ int __sys_connect(int fd, struct sockaddr __user *uservaddr, int addrlen) { struct socket *sock; struct sockaddr_storage address; int err, fput_needed; sock = sockfd_lookup_light(fd, &err, &fput_needed); if (!sock) goto out; err = move_addr_to_kernel(uservaddr, addrlen, &address); if (err < 0) goto out_put; err = security_socket_connect(sock, (struct sockaddr *)&address, addrlen); if (err) goto out_put; err = sock->ops->connect(sock, (struct sockaddr *)&address, addrlen, sock->file->f_flags); out_put: fput_light(sock->file, fput_needed); out: return err; } SYSCALL_DEFINE3(connect, int, fd, struct sockaddr __user *, uservaddr, int, addrlen) { return __sys_connect(fd, uservaddr, addrlen);
connect系统调用根据文件描述符找到socket和sock，如果当前socket的状态是SS_UNCONNECTED的情况下才正常处理连接请求。首先调用tcp协议簇的connect函数(即tcp_v4_connect)发送SYN，然后将socket状态置为SS_CONNECTING，将进程阻塞等待连接的完成。剩下的两次握手由协议栈自动完成。
tcp_v4_connect函数:
该函数首先进行一些合法性验证，随后调用ip_route_connect函数查找路由信息，将当前sock置为SYN_SENT状态，然后调用inet_hash_connect函数绑定本地的端口，和服务器端绑定端口的过程类似，但是会额外的将sock添加inet_hashinfo中的ehash散列表中(添加到这的原因是因为希望以后收到的SYN+ACK时能够找到对应的sock，虽然当前并没有真正意义上的建立连接)。到最后调用tcp_connect构建SYN数据包发送。
tcp_connect函数:
该函数逻辑比较简单，构造SYN数据段并设置相应的字段，将该段添加到发送队列上调用tcp_transmit_skb发送skb，最后重设重传定时器以便重传SYN数据段。
当客户端收到SYN+ACK之后，首先会通过tcp_v4_rcv从已建立连接散列表中找到对应的sock，然后调用tcp_v4_do_rcv函数进行处理，在该函数中主要的执行过程是调用tcp_rcv_state_process。又回到了tcp_rcv_state_process函数，它处理sock不处于ESTABLISHED和LISTEN的所有情况。当发现是一个SYN+AC段并且当前sock处于SYN_SENT状态时，表示连接建立马上要完成了。首先初始化TCP连接中一些需要的信息，如窗口大小，MSS，保活定时器等信息。然后给该sock的上层应用发送信号告知它连接建立已经完成，最后通过tcp_send_ack发送ACK完成最后一次握手。