folly/io/async/AsyncSocket.h

   1 /*
   2  * Copyright 2014 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #pragma once
  18
  19 #include <sys/types.h>
  20 #include <sys/socket.h>
  21 #include <glog/logging.h>
  22 #include <folly/SocketAddress.h>
  23 #include <folly/io/ShutdownSocketSet.h>
  24 #include <folly/io/IOBuf.h>
  25 #include <folly/io/async/AsyncTimeout.h>
  26 #include <folly/io/async/AsyncSocketException.h>
  27 #include <folly/io/async/AsyncTransport.h>
  28 #include <folly/io/async/EventHandler.h>
  29 #include <folly/io/async/DelayedDestruction.h>
  30
  31 #include <memory>
  32 #include <map>
  33
  34 namespace folly {
  35
  36 /**
  37  * A class for performing asynchronous I/O on a socket.
  38  *
  39  * AsyncSocket allows users to asynchronously wait for data on a socket, and
  40  * to asynchronously send data.
  41  *
  42  * The APIs for reading and writing are intentionally asymmetric.  Waiting for
  43  * data to read is a persistent API: a callback is installed, and is notified
  44  * whenever new data is available.  It continues to be notified of new events
  45  * until it is uninstalled.
  46  *
  47  * AsyncSocket does not provide read timeout functionality, because it
  48  * typically cannot determine when the timeout should be active.  Generally, a
  49  * timeout should only be enabled when processing is blocked waiting on data
  50  * from the remote endpoint.  For server sockets, the timeout should not be
  51  * active if the server is currently processing one or more outstanding
  52  * requests for this socket.  For client sockets, the timeout should not be
  53  * active if there are no requests pending on the socket.  Additionally, if a
  54  * client has multiple pending requests, it will ususally want a separate
  55  * timeout for each request, rather than a single read timeout.
  56  *
  57  * The write API is fairly intuitive: a user can request to send a block of
  58  * data, and a callback will be informed once the entire block has been
  59  * transferred to the kernel, or on error.  AsyncSocket does provide a send
  60  * timeout, since most callers want to give up if the remote end stops
  61  * responding and no further progress can be made sending the data.
  62  */
  63
  64 class AsyncSocket : virtual public AsyncTransportWrapper {
  65  public:
  66   typedef std::unique_ptr<AsyncSocket, Destructor> UniquePtr;
  67
  68   class ConnectCallback {
  69    public:
  70     virtual ~ConnectCallback() {}
  71
  72     /**
  73      * connectSuccess() will be invoked when the connection has been
  74      * successfully established.
  75      */
  76     virtual void connectSuccess() noexcept = 0;
  77
  78     /**
  79      * connectErr() will be invoked if the connection attempt fails.
  80      *
  81      * @param ex        An exception describing the error that occurred.
  82      */
  83     virtual void connectErr(const AsyncSocketException& ex)
  84       noexcept = 0;
  85   };
  86
  87   explicit AsyncSocket();
  88   /**
  89    * Create a new unconnected AsyncSocket.
  90    *
  91    * connect() must later be called on this socket to establish a connection.
  92    */
  93   explicit AsyncSocket(EventBase* evb);
  94
  95   void setShutdownSocketSet(ShutdownSocketSet* ss);
  96
  97   /**
  98    * Create a new AsyncSocket and begin the connection process.
  99    *
 100    * @param evb             EventBase that will manage this socket.
 101    * @param address         The address to connect to.
 102    * @param connectTimeout  Optional timeout in milliseconds for the connection
 103    *                        attempt.
 104    */
 105   AsyncSocket(EventBase* evb,
 106                const folly::SocketAddress& address,
 107                uint32_t connectTimeout = 0);
 108
 109   /**
 110    * Create a new AsyncSocket and begin the connection process.
 111    *
 112    * @param evb             EventBase that will manage this socket.
 113    * @param ip              IP address to connect to (dotted-quad).
 114    * @param port            Destination port in host byte order.
 115    * @param connectTimeout  Optional timeout in milliseconds for the connection
 116    *                        attempt.
 117    */
 118   AsyncSocket(EventBase* evb,
 119                const std::string& ip,
 120                uint16_t port,
 121                uint32_t connectTimeout = 0);
 122
 123   /**
 124    * Create a AsyncSocket from an already connected socket file descriptor.
 125    *
 126    * Note that while AsyncSocket enables TCP_NODELAY for sockets it creates
 127    * when connecting, it does not change the socket options when given an
 128    * existing file descriptor.  If callers want TCP_NODELAY enabled when using
 129    * this version of the constructor, they need to explicitly call
 130    * setNoDelay(true) after the constructor returns.
 131    *
 132    * @param evb EventBase that will manage this socket.
 133    * @param fd  File descriptor to take over (should be a connected socket).
 134    */
 135   AsyncSocket(EventBase* evb, int fd);
 136
 137   /**
 138    * Helper function to create a shared_ptr<AsyncSocket>.
 139    *
 140    * This passes in the correct destructor object, since AsyncSocket's
 141    * destructor is protected and cannot be invoked directly.
 142    */
 143   static std::shared_ptr<AsyncSocket> newSocket(EventBase* evb) {
 144     return std::shared_ptr<AsyncSocket>(new AsyncSocket(evb),
 145                                            Destructor());
 146   }
 147
 148   /**
 149    * Helper function to create a shared_ptr<AsyncSocket>.
 150    */
 151   static std::shared_ptr<AsyncSocket> newSocket(
 152       EventBase* evb,
 153       const folly::SocketAddress& address,
 154       uint32_t connectTimeout = 0) {
 155     return std::shared_ptr<AsyncSocket>(
 156         new AsyncSocket(evb, address, connectTimeout),
 157         Destructor());
 158   }
 159
 160   /**
 161    * Helper function to create a shared_ptr<AsyncSocket>.
 162    */
 163   static std::shared_ptr<AsyncSocket> newSocket(
 164       EventBase* evb,
 165       const std::string& ip,
 166       uint16_t port,
 167       uint32_t connectTimeout = 0) {
 168     return std::shared_ptr<AsyncSocket>(
 169         new AsyncSocket(evb, ip, port, connectTimeout),
 170         Destructor());
 171   }
 172
 173   /**
 174    * Helper function to create a shared_ptr<AsyncSocket>.
 175    */
 176   static std::shared_ptr<AsyncSocket> newSocket(EventBase* evb, int fd) {
 177     return std::shared_ptr<AsyncSocket>(new AsyncSocket(evb, fd),
 178                                            Destructor());
 179   }
 180
 181   /**
 182    * Destroy the socket.
 183    *
 184    * AsyncSocket::destroy() must be called to destroy the socket.
 185    * The normal destructor is private, and should not be invoked directly.
 186    * This prevents callers from deleting a AsyncSocket while it is invoking a
 187    * callback.
 188    */
 189   virtual void destroy();
 190
 191   /**
 192    * Get the EventBase used by this socket.
 193    */
 194   EventBase* getEventBase() const override {
 195     return eventBase_;
 196   }
 197
 198   /**
 199    * Get the file descriptor used by the AsyncSocket.
 200    */
 201   virtual int getFd() const {
 202     return fd_;
 203   }
 204
 205   /**
 206    * Extract the file descriptor from the AsyncSocket.
 207    *
 208    * This will immediately cause any installed callbacks to be invoked with an
 209    * error.  The AsyncSocket may no longer be used after the file descriptor
 210    * has been extracted.
 211    *
 212    * Returns the file descriptor.  The caller assumes ownership of the
 213    * descriptor, and it will not be closed when the AsyncSocket is destroyed.
 214    */
 215   virtual int detachFd();
 216
 217   /**
 218    * Uniquely identifies a handle to a socket option value. Each
 219    * combination of level and option name corresponds to one socket
 220    * option value.
 221    */
 222   class OptionKey {
 223    public:
 224     bool operator<(const OptionKey& other) const {
 225       if (level == other.level) {
 226         return optname < other.optname;
 227       }
 228       return level < other.level;
 229     }
 230     int apply(int fd, int val) const {
 231       return setsockopt(fd, level, optname, &val, sizeof(val));
 232     }
 233     int level;
 234     int optname;
 235   };
 236
 237   // Maps from a socket option key to its value
 238   typedef std::map<OptionKey, int> OptionMap;
 239
 240   static const OptionMap emptyOptionMap;
 241   static const folly::SocketAddress anyAddress;
 242
 243   /**
 244    * Initiate a connection.
 245    *
 246    * @param callback  The callback to inform when the connection attempt
 247    *                  completes.
 248    * @param address   The address to connect to.
 249    * @param timeout   A timeout value, in milliseconds.  If the connection
 250    *                  does not succeed within this period,
 251    *                  callback->connectError() will be invoked.
 252    */
 253   virtual void connect(ConnectCallback* callback,
 254                const folly::SocketAddress& address,
 255                int timeout = 0,
 256                const OptionMap &options = emptyOptionMap,
 257                const folly::SocketAddress& bindAddr = anyAddress
 258                ) noexcept;
 259   void connect(ConnectCallback* callback, const std::string& ip, uint16_t port,
 260                int timeout = 00,
 261                const OptionMap &options = emptyOptionMap) noexcept;
 262
 263   /**
 264    * If a connect request is in-flight, cancels it and closes the socket
 265    * immediately. Otherwise, this is a no-op.
 266    *
 267    * This does not invoke any connection related callbacks. Call this to
 268    * prevent any connect callback while cleaning up, etc.
 269    */
 270   void cancelConnect();
 271
 272   /**
 273    * Set the send timeout.
 274    *
 275    * If write requests do not make any progress for more than the specified
 276    * number of milliseconds, fail all pending writes and close the socket.
 277    *
 278    * If write requests are currently pending when setSendTimeout() is called,
 279    * the timeout interval is immediately restarted using the new value.
 280    *
 281    * (See the comments for AsyncSocket for an explanation of why AsyncSocket
 282    * provides setSendTimeout() but not setRecvTimeout().)
 283    *
 284    * @param milliseconds  The timeout duration, in milliseconds.  If 0, no
 285    *                      timeout will be used.
 286    */
 287   void setSendTimeout(uint32_t milliseconds) override;
 288
 289   /**
 290    * Get the send timeout.
 291    *
 292    * @return Returns the current send timeout, in milliseconds.  A return value
 293    *         of 0 indicates that no timeout is set.
 294    */
 295   uint32_t getSendTimeout() const override {
 296     return sendTimeout_;
 297   }
 298
 299   /**
 300    * Set the maximum number of reads to execute from the underlying
 301    * socket each time the EventBase detects that new ingress data is
 302    * available. The default is unlimited, but callers can use this method
 303    * to limit the amount of data read from the socket per event loop
 304    * iteration.
 305    *
 306    * @param maxReads  Maximum number of reads per data-available event;
 307    *                  a value of zero means unlimited.
 308    */
 309   void setMaxReadsPerEvent(uint16_t maxReads) {
 310     maxReadsPerEvent_ = maxReads;
 311   }
 312
 313   /**
 314    * Get the maximum number of reads this object will execute from
 315    * the underlying socket each time the EventBase detects that new
 316    * ingress data is available.
 317    *
 318    * @returns Maximum number of reads per data-available event; a value
 319    *          of zero means unlimited.
 320    */
 321   uint16_t getMaxReadsPerEvent() const {
 322     return maxReadsPerEvent_;
 323   }
 324
 325   // Read and write methods
 326   void setReadCB(ReadCallback* callback) override;
 327   ReadCallback* getReadCallback() const override;
 328
 329   void write(WriteCallback* callback, const void* buf, size_t bytes,
 330              WriteFlags flags = WriteFlags::NONE) override;
 331   void writev(WriteCallback* callback, const iovec* vec, size_t count,
 332               WriteFlags flags = WriteFlags::NONE) override;
 333   void writeChain(WriteCallback* callback,
 334                   std::unique_ptr<folly::IOBuf>&& buf,
 335                   WriteFlags flags = WriteFlags::NONE) override;
 336
 337   // Methods inherited from AsyncTransport
 338   void close() override;
 339   void closeNow() override;
 340   void closeWithReset() override;
 341   void shutdownWrite() override;
 342   void shutdownWriteNow() override;
 343
 344   bool readable() const override;
 345   bool isPending() const override;
 346   virtual bool hangup() const;
 347   bool good() const override;
 348   bool error() const override;
 349   void attachEventBase(EventBase* eventBase) override;
 350   void detachEventBase() override;
 351   bool isDetachable() const override;
 352
 353   void getLocalAddress(
 354     folly::SocketAddress* address) const override;
 355   void getPeerAddress(
 356     folly::SocketAddress* address) const override;
 357
 358   bool isEorTrackingEnabled() const override { return false; }
 359
 360   void setEorTracking(bool track) override {}
 361
 362   bool connecting() const override {
 363     return (state_ == StateEnum::CONNECTING);
 364   }
 365
 366   size_t getAppBytesWritten() const override {
 367     return appBytesWritten_;
 368   }
 369
 370   size_t getRawBytesWritten() const override {
 371     return getAppBytesWritten();
 372   }
 373
 374   size_t getAppBytesReceived() const override {
 375     return appBytesReceived_;
 376   }
 377
 378   size_t getRawBytesReceived() const override {
 379     return getAppBytesReceived();
 380   }
 381
 382   // Methods controlling socket options
 383
 384   /**
 385    * Force writes to be transmitted immediately.
 386    *
 387    * This controls the TCP_NODELAY socket option.  When enabled, TCP segments
 388    * are sent as soon as possible, even if it is not a full frame of data.
 389    * When disabled, the data may be buffered briefly to try and wait for a full
 390    * frame of data.
 391    *
 392    * By default, TCP_NODELAY is enabled for AsyncSocket objects.
 393    *
 394    * This method will fail if the socket is not currently open.
 395    *
 396    * @return Returns 0 if the TCP_NODELAY flag was successfully updated,
 397    *         or a non-zero errno value on error.
 398    */
 399   int setNoDelay(bool noDelay);
 400
 401   /*
 402    * Set the Flavor of Congestion Control to be used for this Socket
 403    * Please check '/lib/modules/<kernel>/kernel/net/ipv4' for tcp_*.ko
 404    * first to make sure the module is available for plugging in
 405    * Alternatively you can choose from net.ipv4.tcp_allowed_congestion_control
 406    */
 407   int setCongestionFlavor(const std::string &cname);
 408
 409   /*
 410    * Forces ACKs to be sent immediately
 411    *
 412    * @return Returns 0 if the TCP_QUICKACK flag was successfully updated,
 413    *         or a non-zero errno value on error.
 414    */
 415   int setQuickAck(bool quickack);
 416
 417   /**
 418    * Set the send bufsize
 419    */
 420   int setSendBufSize(size_t bufsize);
 421
 422   /**
 423    * Set the recv bufsize
 424    */
 425   int setRecvBufSize(size_t bufsize);
 426
 427   /**
 428    * Sets a specific tcp personality
 429    * Available only on kernels 3.2 and greater
 430    */
 431   #define SO_SET_NAMESPACE        41
 432   int setTCPProfile(int profd);
 433
 434
 435   /**
 436    * Generic API for reading a socket option.
 437    *
 438    * @param level     same as the "level" parameter in getsockopt().
 439    * @param optname   same as the "optname" parameter in getsockopt().
 440    * @param optval    pointer to the variable in which the option value should
 441    *                  be returned.
 442    * @param optlen    value-result argument, initially containing the size of
 443    *                  the buffer pointed to by optval, and modified on return
 444    *                  to indicate the actual size of the value returned.
 445    * @return          same as the return value of getsockopt().
 446    */
 447   template <typename T>
 448   int getSockOpt(int level, int optname, T* optval, socklen_t* optlen) {
 449     return getsockopt(fd_, level, optname, (void*) optval, optlen);
 450   }
 451
 452   /**
 453    * Generic API for setting a socket option.
 454    *
 455    * @param level     same as the "level" parameter in getsockopt().
 456    * @param optname   same as the "optname" parameter in getsockopt().
 457    * @param optval    the option value to set.
 458    * @return          same as the return value of setsockopt().
 459    */
 460   template <typename T>
 461   int setSockOpt(int  level,  int  optname,  const T *optval) {
 462     return setsockopt(fd_, level, optname, optval, sizeof(T));
 463   }
 464
 465   enum class StateEnum : uint8_t {
 466     UNINIT,
 467     CONNECTING,
 468     ESTABLISHED,
 469     CLOSED,
 470     ERROR
 471   };
 472
 473  protected:
 474   enum ReadResultEnum {
 475     READ_EOF = 0,
 476     READ_ERROR = -1,
 477     READ_BLOCKING = -2,
 478   };
 479
 480   /**
 481    * Protected destructor.
 482    *
 483    * Users of AsyncSocket must never delete it directly.  Instead, invoke
 484    * destroy() instead.  (See the documentation in DelayedDestruction.h for
 485    * more details.)
 486    */
 487   ~AsyncSocket();
 488
 489   friend std::ostream& operator << (std::ostream& os, const StateEnum& state);
 490
 491   enum ShutdownFlags {
 492     /// shutdownWrite() called, but we are still waiting on writes to drain
 493     SHUT_WRITE_PENDING = 0x01,
 494     /// writes have been completely shut down
 495     SHUT_WRITE = 0x02,
 496     /**
 497      * Reads have been shutdown.
 498      *
 499      * At the moment we don't distinguish between remote read shutdown
 500      * (received EOF from the remote end) and local read shutdown.  We can
 501      * only receive EOF when a read callback is set, and we immediately inform
 502      * it of the EOF.  Therefore there doesn't seem to be any reason to have a
 503      * separate state of "received EOF but the local side may still want to
 504      * read".
 505      *
 506      * We also don't currently provide any API for only shutting down the read
 507      * side of a socket.  (This is a no-op as far as TCP is concerned, anyway.)
 508      */
 509     SHUT_READ = 0x04,
 510   };
 511
 512   class WriteRequest;
 513
 514   class WriteTimeout : public AsyncTimeout {
 515    public:
 516     WriteTimeout(AsyncSocket* socket, EventBase* eventBase)
 517       : AsyncTimeout(eventBase)
 518       , socket_(socket) {}
 519
 520     virtual void timeoutExpired() noexcept {
 521       socket_->timeoutExpired();
 522     }
 523
 524    private:
 525     AsyncSocket* socket_;
 526   };
 527
 528   class IoHandler : public EventHandler {
 529    public:
 530     IoHandler(AsyncSocket* socket, EventBase* eventBase)
 531       : EventHandler(eventBase, -1)
 532       , socket_(socket) {}
 533     IoHandler(AsyncSocket* socket, EventBase* eventBase, int fd)
 534       : EventHandler(eventBase, fd)
 535       , socket_(socket) {}
 536
 537     virtual void handlerReady(uint16_t events) noexcept {
 538       socket_->ioReady(events);
 539     }
 540
 541    private:
 542     AsyncSocket* socket_;
 543   };
 544
 545   void init();
 546
 547   // event notification methods
 548   void ioReady(uint16_t events) noexcept;
 549   virtual void checkForImmediateRead() noexcept;
 550   virtual void handleInitialReadWrite() noexcept;
 551   virtual void handleRead() noexcept;
 552   virtual void handleWrite() noexcept;
 553   virtual void handleConnect() noexcept;
 554   void timeoutExpired() noexcept;
 555
 556   /**
 557    * Attempt to read from the socket.
 558    *
 559    * @param buf      The buffer to read data into.
 560    * @param buflen   The length of the buffer.
 561    *
 562    * @return Returns the number of bytes read, or READ_EOF on EOF, or
 563    * READ_ERROR on error, or READ_BLOCKING if the operation will
 564    * block.
 565    */
 566   virtual ssize_t performRead(void* buf, size_t buflen);
 567
 568   /**
 569    * Populate an iovec array from an IOBuf and attempt to write it.
 570    *
 571    * @param callback Write completion/error callback.
 572    * @param vec      Target iovec array; caller retains ownership.
 573    * @param count    Number of IOBufs to write, beginning at start of buf.
 574    * @param buf      Chain of iovecs.
 575    * @param flags    set of flags for the underlying write calls, like cork
 576    */
 577   void writeChainImpl(WriteCallback* callback, iovec* vec,
 578                       size_t count, std::unique_ptr<folly::IOBuf>&& buf,
 579                       WriteFlags flags);
 580
 581   /**
 582    * Write as much data as possible to the socket without blocking,
 583    * and queue up any leftover data to send when the socket can
 584    * handle writes again.
 585    *
 586    * @param callback The callback to invoke when the write is completed.
 587    * @param vec      Array of buffers to write; this method will make a
 588    *                 copy of the vector (but not the buffers themselves)
 589    *                 if the write has to be completed asynchronously.
 590    * @param count    Number of elements in vec.
 591    * @param buf      The IOBuf that manages the buffers referenced by
 592    *                 vec, or a pointer to nullptr if the buffers are not
 593    *                 associated with an IOBuf.  Note that ownership of
 594    *                 the IOBuf is transferred here; upon completion of
 595    *                 the write, the AsyncSocket deletes the IOBuf.
 596    * @param flags    Set of write flags.
 597    */
 598   void writeImpl(WriteCallback* callback, const iovec* vec, size_t count,
 599                  std::unique_ptr<folly::IOBuf>&& buf,
 600                  WriteFlags flags = WriteFlags::NONE);
 601
 602   /**
 603    * Attempt to write to the socket.
 604    *
 605    * @param vec             The iovec array pointing to the buffers to write.
 606    * @param count           The length of the iovec array.
 607    * @param flags           Set of write flags.
 608    * @param countWritten    On return, the value pointed to by this parameter
 609    *                          will contain the number of iovec entries that were
 610    *                          fully written.
 611    * @param partialWritten  On return, the value pointed to by this parameter
 612    *                          will contain the number of bytes written in the
 613    *                          partially written iovec entry.
 614    *
 615    * @return Returns the total number of bytes written, or -1 on error.  If no
 616    *     data can be written immediately, 0 is returned.
 617    */
 618   virtual ssize_t performWrite(const iovec* vec, uint32_t count,
 619                                WriteFlags flags, uint32_t* countWritten,
 620                                uint32_t* partialWritten);
 621
 622   bool updateEventRegistration();
 623
 624   /**
 625    * Update event registration.
 626    *
 627    * @param enable Flags of events to enable. Set it to 0 if no events
 628    * need to be enabled in this call.
 629    * @param disable Flags of events
 630    * to disable. Set it to 0 if no events need to be disabled in this
 631    * call.
 632    *
 633    * @return true iff the update is successful.
 634    */
 635   bool updateEventRegistration(uint16_t enable, uint16_t disable);
 636
 637   // Actually close the file descriptor and set it to -1 so we don't
 638   // accidentally close it again.
 639   void doClose();
 640
 641   // error handling methods
 642   void startFail();
 643   void finishFail();
 644   void fail(const char* fn, const AsyncSocketException& ex);
 645   void failConnect(const char* fn, const AsyncSocketException& ex);
 646   void failRead(const char* fn, const AsyncSocketException& ex);
 647   void failWrite(const char* fn, WriteCallback* callback, size_t bytesWritten,
 648                  const AsyncSocketException& ex);
 649   void failWrite(const char* fn, const AsyncSocketException& ex);
 650   void failAllWrites(const AsyncSocketException& ex);
 651   void invalidState(ConnectCallback* callback);
 652   void invalidState(ReadCallback* callback);
 653   void invalidState(WriteCallback* callback);
 654
 655   std::string withAddr(const std::string& s);
 656
 657   StateEnum state_;                     ///< StateEnum describing current state
 658   uint8_t shutdownFlags_;               ///< Shutdown state (ShutdownFlags)
 659   uint16_t eventFlags_;                 ///< EventBase::HandlerFlags settings
 660   int fd_;                              ///< The socket file descriptor
 661   mutable
 662     folly::SocketAddress addr_;    ///< The address we tried to connect to
 663   uint32_t sendTimeout_;                ///< The send timeout, in milliseconds
 664   uint16_t maxReadsPerEvent_;           ///< Max reads per event loop iteration
 665   EventBase* eventBase_;               ///< The EventBase
 666   WriteTimeout writeTimeout_;           ///< A timeout for connect and write
 667   IoHandler ioHandler_;                 ///< A EventHandler to monitor the fd
 668
 669   ConnectCallback* connectCallback_;    ///< ConnectCallback
 670   ReadCallback* readCallback_;          ///< ReadCallback
 671   WriteRequest* writeReqHead_;          ///< Chain of WriteRequests
 672   WriteRequest* writeReqTail_;          ///< End of WriteRequest chain
 673   ShutdownSocketSet* shutdownSocketSet_;
 674   size_t appBytesReceived_;             ///< Num of bytes received from socket
 675   size_t appBytesWritten_;              ///< Num of bytes written to socket
 676 };
 677
 678
 679 } // folly