高性能大容量SOCKET并发（10）：IOCP完成端口性能优化

高性能大容量SOCKET并发（十）：IOCP完成端口性能优化
IOCP性能优化主要是集中在每个处理接收数据和发送数据的对象锁，如果能降低锁的调用次数和提高锁的效率，对IOCP的整理效率和吞吐量都非常有帮助。有很多开发人员在优化IOCP的时候，对于如何提高锁的效率，有使用原子操作来加锁，这样做的效率比较调用Windows的锁效率，因而吞吐率也更高。我们不讨论提高锁的效率，我们这次的优化是降低锁的调用次数。

服务端优化

    IOCP是异步线程通知方式，有多个线程在调用GetQueuedCompletionStatus函数等待返回，如果有发送和接收，如果正在处理中，则会导致发送等待，这是因为我们每次处理IOCP返回，我们都对TSocketHandle进行了加锁，如下：

              ClientSocket.Lock.Enter;

              try

                if Assigned(ClientSocket.SocketHandle) then

                begin

                  ClientSocket.SocketHandle.ProcessIOComplete(IocpRecord, iWorkCount);

                  if not ClientSocket.SocketHandle.Connected then

                    FreeSocketHandle(ClientSocket.SocketHandle);

                end;

              finally

                ClientSocket.Lock.Leave;

              end;

    因此我们优化这个锁的进入次数，则能提高整个系统的吞吐量和传输性能。服务器和客户端在发送数据时，是调用不同的函数分别发送，如服务端下发响应信息函数：

    procedure TBaseSocket.DoSendResult;

    var

      wLen: Word;

      cLen: Cardinal;

      utf8Buff: UTF8String;

    begin

      if not Connected then Exit;

      utf8Buff := AnsiToUtf8(FResponse.Text); //转为UTF8

      if LenType = ltWord then

      begin

        wLen := Length(utf8Buff) + SizeOf(Cardinal); //总长度

        WriteWord(wLen, False);

      end

      else if LenType = ltCardinal then

      begin

        cLen := Length(utf8Buff) + SizeOf(Cardinal); //总长度

        WriteCardinal(cLen, False);

      end;

      WriteCardinal(Length(utf8Buff), False); //下发命令长度

      WriteBuffer(PUTF8String(utf8Buff)^, Length(utf8Buff)); //命令内容

    end;

    这里调了多次Write函数，每次Write函数最终都会调用函数WriteBuffer，每次调用WriteBuffer都会通过WSASend投递一次IOCP请求，从而造成多次进入TSocketHandle的锁。WriteBuffer函数如下：

    procedure TSocketHandle.WriteBuffer(const ABuffer; const ACount: Integer;

      const AIocpOperate: TIocpOperate);

    var

      IocpRec: PIocpRecord;

      iErrCode: Integer;

      dSend, dFlag: DWORD;

    begin

      IocpRec := FSendOverlapped.Allocate(ACount);

      FillChar(IocpRec.Overlapped, SizeOf(IocpRec.Overlapped), 0);

      IocpRec.IocpOperate := AIocpOperate;

      System.Move(ABuffer, IocpRec.WsaBuf.buf^, ACount);

      dFlag := 0;

      if WSASend(FSocket, @IocpRec.WsaBuf, 1, dSend, dFlag, @IocpRec.Overlapped, nil) = SOCKET_ERROR then

      begin

        iErrCode := WSAGetLastError;

        if iErrCode <> ERROR_IO_PENDING then

        begin

          FIocpServer.DoError('WSASend', GetLastWsaErrorStr);

          ProcessNetError(iErrCode);

        end;

      end;  

    end;

    解决办法是我们把发送引入缓存机制，把发送的数据缓存在内存中，最后调用函数一次发送，具体实现函数分为打开发送缓存和Flush发送缓存，代码如下：

    procedure TSocketHandle.OpenWriteBuffer;

    begin

      if Assigned(FOutputBuf) then

        FreeAndNil(FOutputBuf);

      FOutputBuf := TMemoryStream.Create;

    end;