SubprocessTest does not use dirent.h

Summary: Remove it as we do not need it here.

Reviewed By: yfeldblum

Differential Revision: D3365991

fbshipit-source-id: bb36caca0319df4c8d6e3d978045b7c28369f043

Add support for TFO connections

Summary:
This adds support to establish connections
over TFO.

The API introduced here retains the same
connect() + write() api that clients currently
use.

If enableTFO() is called then the connect will
be deferred to the first write. This only works
with request response protocols since a write
must trigger the connect. There is a tradeoff here
for the simpler API, and we can address this with
other signals such as a short timeout in the future.

Even though the client might enable TFO, the program
might run on machines without TFO support.
There were 2 choices for supporting machines where
TFO might not be enabled:
1. Fallback to normal connect if tfo sendmsg fails
2. Check tfo supported on the machine before using it

Both these have their tradeoffs, however option 1 does
not require us to read from procfs in the common code
path.

Reviewed By: Orvid

Differential Revision: D3327480

fbshipit-source-id: 9ac3a0c7ad2d206b158fdc305641fedbd93aa44d

Switch uses of networking headers to <folly/portability/Sockets.h>

Summary:
Diff #14 of 14.

This just switches the includes of the headers, it does not make the adjustments actually required to work for MSVC.

Reviewed By: mzlee

Differential Revision: D3249009

fbshipit-source-id: 434f58a7b8f4d0b7d142bc6a4abed8d95c953a7f

Switch uses of <sys/uio.h> to <folly/portability/SysUio.h>

Summary: Diff #13 of 14.

Reviewed By: mzlee

Differential Revision: D3116264

fbshipit-source-id: 80e498b7062f40d723e156901bf62a2101a6e6ba

Switch uses of <unistd.h> to <folly/portability/Unistd.h>

Summary: Diff #12 of 14.

Reviewed By: mzlee

Differential Revision: D3187000

fbshipit-source-id: ad56ca8ff20fa88949554b61545ee1bf982b0569

Include <folly/portability/PThread.h> where needed

Summary: Diff #11 of 14.

Reviewed By: mzlee

Differential Revision: D3262478

fbshipit-source-id: d06eee44d1ccefc78a381e44c400c0242b5e0e5a

Include <folly/portability/Time.h> where needed

Summary: Diff #10 of 14

Reviewed By: mzlee

Differential Revision: D3270909

fbshipit-source-id: 2c644ca5db4ecf0387b167d2f6ecc62ddf687a56

Include <folly/portability/Fcntl.h> where needed

Summary: Diff #9 of 14.

Reviewed By: mzlee

Differential Revision: D3262436

fbshipit-source-id: 60c5df03e91163c651bc6e5e0d38ba8b46b8c723

Switch uses of <sys/syscall.h> to <folly/portability/SysSyscall.h>

Summary: Diff #8 of 14.

Reviewed By: mzlee

Differential Revision: D3186943

fbshipit-source-id: 3b631faac36f3ec6e7fce031f07d8a98c76d7908

Switch uses of <dirent.h> to <folly/portability/Dirent.h>

Summary: Diff #5 of 14.

Reviewed By: mzlee

Differential Revision: D3186885

fbshipit-source-id: 1947656137cad62a019cdf687cff9913bcecde2a

Switch uses of <sys/resource.h> to <folly/portability/SysResource.h>

Summary: Diff #4 of 14.

Reviewed By: mzlee

Differential Revision: D3181101

fbshipit-source-id: d0db67ae19ee71e6a251c299ef672baead3ab9d9

Switch uses of <sys/mman.h> to <folly/portability/SysMman.h>

Summary: Diff #3 of 14.

Reviewed By: mzlee

Differential Revision: D3110299

fbshipit-source-id: 39e4980df14b0b108b20dbbe57f2c5c6b361ea2e

Switch uses of <sys/file.h> to <folly/portability/SysFile.h>

Summary: Diff #2 of 14.

Reviewed By: mzlee

Differential Revision: D3115972

fbshipit-source-id: c75cbc95f37e8f2c2bf81311a8ca08ee766fc107

Include <folly/portability/SysTime.h> rather than <sys/time.h>

Summary:
This changes includes of `<sys/time.h>` to `<folly/portability/SysTime.h>`.

The ultimate goal of all of this is to get HHVM compiling on Windows with MSVC 2015. At the moment there are no plans to support MCRouter, Squangle, or AFDT under Windows. There are also no current plans to support MinGW or Cygwin.

Now, on to the headers themselves. There are three primary kinds of portability headers.

  - Replacement headers. These are headers such as `<sys/time.h>` that MSVC simply does not have. These headers should always be included instead of the headers they are replacing.
  - Additive headers. These are headers, such as `<time.h>` that MSVC has, but are either missing functions, or has the functions but under a different name. The portability headers for these only needs to be included instead of the original header if you are using a function that MSVC does not have. The reason for this is that forcing the use of the portability header for `<stdlib.h>` just because MSVC doesn't have `mkdtemp` and `realpath` would just be messy.
  - Utility headers. These are portability headers, such as `Memory.h` that exist to provide a portable interface to various things, in this case the allocation and freeing of aligned memory. They are not implementing any existing API, and all contents are in the `folly` namespace.

The API's implemented in the first and second types of headers are intended as drop-in replacements for the Linux versions, however they only implement the functions and features that are actually needed, and are not intended as feature-complete replacements. They are not intended for use outside of Facebook projects. Any API's expecting text input expect them to be in the same encoding as the Posix API's define, in most cases that means UTF-8. Anywhere in the portability headers that fails to account for this is a bug, and should be pointed out in the diff (if it's still in review), or else by filing a task detailing the issue and assigning it to me.

For all headers, if there is a mechanism in C++11, or else in Folly itself, that allows the same functionality, that mechanism should be used instead of adding a function to the portability headers.

Reviewed By: swtaarrs, yfeldblum

Differential Revision: D3095643

fbshipit-source-id: 3a5c0029f95b03ea320725df88e14a67ca38a445

add Cursor::readWhile() and skipWhile()

Summary:
Add generic functions for reading or skipping until a predicate check fails.
This will allow us to simplify a few different call sites that have their own
logic similar to this.  Also change readTerminatedString() to use
readWhile().

Reviewed By: alandau

Differential Revision: D3337581

fbshipit-source-id: 9f50914c83adfc882219046862972661bed0e72a

Fix test/ProducerConsumerQueueTest.cpp build break

Summary:
The Folly `make check` build is broken with Clang on OS X.

This diff fixes the following break in `test/ProducerConsumerQueueTest.cpp`:

  In file included from ProducerConsumerQueueTest.cpp:17:
  ../../folly/ProducerConsumerQueue.h:55:18: error: no member named 'bad_alloc' in namespace 'std'
        throw std::bad_alloc();

The problem is a missing `#include <memory>` in `folly/ProducerConsumerQueue.h`.

Reviewed By: djwatson

Differential Revision: D3361252

fbshipit-source-id: d740914f54ede5617abc16437ab2e20a7376f6e5

Fix test/FunctionTest.cpp build breaks

Summary:
The Folly `make check` build is broken with Clang on OS X.

This diff fixes two breaks in `test/FunctionTest.cpp`:

1. `FunctionTest.cpp:39:20: error: implicit instantiation of undefined template 'std::__1::array<int, 100>'`
2. `FunctionTest.cpp:103:3: error: no matching conversion for functional-style cast from 'Function<int (int)>' to '::testing::AssertionResult'`

The first was a missing `#include <array>`, and the second is a workaround for this gtest bug:
https://github.com/google/googletest/issues/429

Reviewed By: djwatson

Differential Revision: D3361188

fbshipit-source-id: 8140de978a2cbaf0f4aab45781ce0d656f03202b

Fix open source `make check` build broken by `ThreadedExecutorTest.cpp` moving to `wangle`

Summary:
The Folly `make check` build is broken with Clang on OS X.

This diff fixes the following break in `make check`:

  make[3]: *** No rule to make target `../futures/test/ThreadedExecutorTest.cpp', needed by `../futures/test/ThreadedExecutorTest.o'.  Stop.

The problem is a reference to a file which was moved to `wangle` in D3286988.

Reviewed By: simpkins

Differential Revision: D3361287

fbshipit-source-id: a9ae794374982b4accf806bd9608988430c75cfd

Set bufferCallback_ back to nullptr upon HTTPSession shutdown

Summary: AsyncSocket::handleWrite may trigger HTTPSession::onWriteSuccess which may totally delete the HTTPSession. AsyncSocket::handleWrite also calls bufferCallback_->onEgressBufferCleared(). That bufferCallback_ is the HTTPSession. So in this diff resets bufferCallback_ to nullptr upon HTTPSession shutdown. afrind had a suggestion of adding a DestructorGuard in AsyncSocket::handleWrite. But i don't know DestructorGuard that well. I think it will keep AsyncSocket from being deleted but not the HTTPSession? Or maybe I can DestructorGuard dg(bufferCallback_) ?

Reviewed By: afrind

Differential Revision: D3311058

fbshipit-source-id: cdb5fcbd53837a3effbc096eab87fca4e5d17291

Fix test for corking

Summary:
Min rto is now 50ms, so change the
test accordingly

Reviewed By: w-o-o

Differential Revision: D3357140

fbshipit-source-id: 5a807fabc1a3c216a5120b8eb4930e5c1eb52b7a

Use exponential growth in fbstring::append(size_type n, value_type c)

Summary:
Contrary to the other `append` flavors, `fbstring::append(size_type n, value_type c)`
does not use exponential growth, which can trigger quadratic behavior.

Reviewed By: philippv

Differential Revision: D3357315

fbshipit-source-id: 2301ed1a9953544368663107113890a25c6621ae

Disable a couple of warnings for MSVC in folly::Function

Summary:
MSVC generates warnings if you define multiple assignment operators or multiple copy constructors on the same type. This is deliberate in `folly::Function`, so just disable the warnings for the struct instead.
Note that the warnings have to be disabled for the entire struct for them to actually be disabled. Disabling them just around the declarations of the constructors and operators in question does not actually disable the warnings.

Reviewed By: yfeldblum

Differential Revision: D3347746

fbshipit-source-id: abb53a1e62bcfb7ce02759a7ce8637d824a82081

move io/Cursor-defs.h to io/Cursor.cpp

Summary:
The two function definitions in this file are both normal function definitions,
not template functions.  Therefore this should be just a normal .cpp file, and
not a -defs.h header file.

Reviewed By: igorsugak

Differential Revision: D3348439

fbshipit-source-id: 3ebe49c84493f5aab06c568d9df15a37c2c48836

add a default Subprocess constructor

Summary:
The default constructor creates the Subprocess in an uninitialized state.  This
makes it possible to default-construct a Subprocess, but only initialize it
later using the move assignment operator.

Even before this diff, it was possible to have Subprocess objects in
uninitialized states after using the move assignment operator to move the data
out of a Subprocess object.

Reviewed By: yfeldblum

Differential Revision: D3348490

fbshipit-source-id: aa6acef9be770de8f0ee118da294cb134f04a466

Disable the signal stack on Windows

Summary: There is no equivalent functionality for Windows, so disable it completely.

Reviewed By: andriigrynenko

Differential Revision: D3348481

fbshipit-source-id: 52a104f5a8013113f54d5b10c2f0f9b720eeb4f6

Remove the declaration of TimeseriesHistogram::getBucketIdx

Summary: Because, as MSVC rightly tells us, it's not actually defined anywhere.

Reviewed By: yfeldblum

Differential Revision: D3347654

fbshipit-source-id: 2162bc745136ee0129caa4de78f38e1361083cd1

Include <folly/portability/Windows.h> in folly::format

Summary:
Because apparently I didn't actually add the `Windows.h` include when I added support for MSVC.
This is safe for all platforms because the portability header only includes `Windows.h` when compiling on Windows.

Reviewed By: yfeldblum

Differential Revision: D3347785

fbshipit-source-id: 4f3e4e6c11953e2588b6fed287324a92e3ef8873

Fix doVecOperation in the SysUio portability header

Summary: Apparently I failed to accurately transfer this particular change to fbcode, which meant it didn't actually compile on Windows.

Reviewed By: yfeldblum

Differential Revision: D3347976

fbshipit-source-id: 775682f10ab68672f6463ccc69a222ae0a52a097

add Cursor::peekBytes()

Summary:
The existing Cursor::peek() method pre-dates the existence of folly::ByteRange,
and so it returns a std::pair containing a pointer and length.  This is usually
more awkward to use than ByteRange.

This adds a peekBytes() method that returns a ByteRange object, and updates all
users of peek() in folly to use peekBytes() instead.  Eventually I think we
should add a FOLLY_DEPRECATED attribute to peek().  I will wait to add this tag
until after converting a few other projects to use peekBytes(), though.

Reviewed By: alandau

Differential Revision: D3337302

fbshipit-source-id: 14220a059d915bf5adc66b8b283f7228b796a4dc

std::make_unique -> folly::make_unique

Summary:
We should use folly::make_unique instead of std::make_unique in order to support
compilers without support for C++14.

Reviewed By: pavlo-fb

Differential Revision: D3343288

fbshipit-source-id: 9150af752e57988962a7580851ffa32086c669d7

Update generate_varint_tables to support MSVC

Summary: MSVC is a massive pain in this respect, and, after testing many workarounds, and only ending up with it just emitting a dynamic initializer for them, it's easier to just generate the table as a `uint64_t` and load it explicitly.

Reviewed By: yfeldblum

Differential Revision: D3270226

fbshipit-source-id: 77bc84e58d393373de05a28a30dcb80b66c09c9f

Clear old fs::path when moving a TemporaryDirectory

Summary:
If a TemporaryDirectory with scope DELETE_ON_DESTRUCTION gets moved
and then goes out of scope, the directory will be deleted while the moved
object still holds that path; we just clear the path from the old object to
prevent this

Reviewed By: yfeldblum

Differential Revision: D3331079

fbshipit-source-id: 9c99413661e2436ccec937d3fa652da810133b34

Switch HHWheelTimer::SharedPtr to a standard shared pointer

Summary:
As part of my campaign to get `HHWheelTimer` away from intrusive ref-counting semantics, (cf. D3237530), I am redefining `HHWheelTimer::SharedPtr`. It is now a true `std::shared_ptr`. This will break clients that attempt the following:

  HHWheelTimer::UniquePtr timer1{HHWheelTimer::newTimer()};
  HHWheelTimer::SharedPtr timer2{timer1};

In the past, that code would compile, because `timer2` could use the intrusive ref-counting, and `timer1` would still be valid. After this change, the second timer would need to be initialized with `std::move(timer1)` instead. The `UniquePtr` is starting to actually be unique.

There is only one place in the code that actually tries to do such a copy. It's in a test, which I have changed. Any other instances of that behavior would create a compilation error, so it's impossible for one to be overlooked.

Reviewed By: djwatson

Differential Revision: D3337038

fbshipit-source-id: 085e4da41c9a142d253a1ac0b1dd0fc508dff704

Support folly::assume under MSVC

Summary: Actually __assume when we assume.

Reviewed By: meyering

Differential Revision: D3336033

fbshipit-source-id: 6c931e9f832dd1d861d03e3ad8e308f612522401

Avoid std::initializer_list ctor in folly::dynamic::array

Summary:
[Folly] Avoid `std::initializer_list` ctor in `folly::dynamic::array`.

This will help deprecate the dangerous initializer-list constructor. The init-list construction is dangerous because its semantics vary by compiler and by compiler version.

Reviewed By: ot

Differential Revision: D3333148

fbshipit-source-id: 031e7593b7e28b299d5eeeb5ce7aed9216dd3a5c

Make outstanding LoopKeepAlive hold EventBase destructor

Summary:
LoopKeepAlive handle can be grabbed to signal that some external event will later be scheduled on the EventBase via runInEventBaseThread. Usually the code which will be calling runInEventBaseThread only has a raw pointer to an EventBase, so it doesn't have any way to know it was destroyed.

This change ensures that EventBase destructor will keep running the event loop until all such LoopKeepAlive handles are released.

Reviewed By: yfeldblum

Differential Revision: D3323835

fbshipit-source-id: 4071dae691a61dfebe2f1759cf99f661b161fa4a

Fix the detection of preadv and pwritev on OSX in OSS

Summary:
The configure script doesn't define `FOLLY_HAVE_PREADV` if `preadv` isn't supported, so these checks were wrong. Undefined defines expand to `0`, so this is safe.
Fixes https://github.com/facebook/folly/issues/412

Reviewed By: mzlee, yfeldblum

Differential Revision: D3329405

fbshipit-source-id: faee8951c68d4c67e06e7720dfc142e63a9dbd9f

templating folly::fibers::await by Baton

Summary:
This diff templates folly::fibers::await by Baton.
This would be helpful in passing in custom BatonType's, which is needed for D3007734

Depends on: D3314891

Reviewed By: andriigrynenko

Differential Revision: D3314925

fbshipit-source-id: 9052dc503b9509f16cd41b5e3ede0479a98067aa

Promote memory_order_consume to memory_order_acquire

Summary:
The current use case of `std::memory_order_consume` in this project was intended to provide the appropriate synchronization in cases where a consumer spins on `while( spsc_queue.empty() ) {} `, and then attempts to use an element of the queue since the loop was broken out of, according to comments [here](https://reviews.facebook.net/D48141). Consume semantics do not provide this guarantee according to the standard since there is no data dependency from the producer that can be carried to the consumer by doing a load-consume from the corresponding functions. What is needed is a load-acquire. Current compilers promote `memory_order_consume` to `memory_order_acquire`. Thus, this example appears to work simply due to the promotion from consume to acquire, but would fail to generate the right synchronization instructions on weaker architectures once `memory_order_consume` is implemented as intended.  Therefore, the `memory_order` should be tightened to `memory_order_acquire` to guarantee visibility to the consumer
Closes https://github.com/facebook/folly/pull/381

Reviewed By: djwatson

Differential Revision: D3173574

Pulled By: nbronson

fbshipit-source-id: b109be2e74f016750a3fe1f848e3fc66e609b9d2

Extract Try to top-level

Summary:
[Folly] Extract `Try` to top-level.

It was in `folly/futures/`, but this diff moves it to `folly/`.

It is needed for futures, but it is are more general than futures and can be used separately.

Use `folly/Try.h` instead of `folly/futures/Try.h`.

Also fixes up all `#include` sites:

    hg grep -lw folly/futures/Try | xargs perl -pi -e 's,\bfolly/futures/Try\b,folly/Try,g'

Reviewed By: markisaa

Differential Revision: D3309908

fbshipit-source-id: cdf13f0ac0b0e36aa07e0f1d04870d06500c5874

folly: FBString: avoid ubsan in assert

Summary:
```
buck-out/gen/folly/__default_headers__#default,headers/folly/FBString.h:365:7: runtime error: null pointer passed as argument 2, which is declared to never be null
third-party-buck/build/glibc/include/string.h:70:33: note: nonnull attribute specified here
    #0 0x433a39 in _ZZN5folly13fbstring_coreIcEC1EPKcmbENKUlvE_clEv ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////buck-out/gen/folly/__default_headers__#default,headers/folly/FBString.h:365:7
    #1 0x4335a9 in _ZN5folly14ScopeGuardImplIZNS_13fbstring_coreIcEC1EPKcmbEUlvE_E7executeEv ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////buck-out/gen/folly/__default_headers__#default,headers/folly/ScopeGuard.h:153:29
    #2 0x4335a9 in _ZN5folly14ScopeGuardImplIZNS_13fbstring_coreIcEC1EPKcmbEUlvE_ED2Ev ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////buck-out/gen/folly/__default_headers__#default,headers/folly/ScopeGuard.h:130
    #3 0x4335a9 in folly::fbstring_core<char>::fbstring_core(char const*, unsigned long, bool) ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////buck-out/gen/folly/__default_headers__#default,headers/folly/FBString.h:427
    #4 0x4353fa in folly::basic_fbstring<char, std::char_traits<char>, std::allocator<char>, folly::fbstring_core<char> >::basic_fbstring(char const*, unsigned long, std::allocator<char> const&) ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////buck-out/gen/folly/__default_headers__#default,headers/folly/FBString.h:1038:9
```

Reviewed By: Gownta

Differential Revision: D3321266

fbshipit-source-id: 28d5aef16e91a98066a1de6bab95403fbc63eaab

Move fibers out of experimental

Summary: folly::fibers have been used by mcrouter for more than 2 years, so not really experimental.

Reviewed By: pavlo-fb

Differential Revision: D3320595

fbshipit-source-id: 68188f92b71a4206d57222993848521ca5437ef5

adding Promise::await

Summary:
This diff adds a static await method to Promise.
Also after this, folly::fibers::await is just a wrapper around Promise::await.
This also removes the friend relationship between Promise and await.

This would be helpful in making the folly::fibers::await templated by Baton changes easier to make.

Reviewed By: andriigrynenko

Differential Revision: D3314891

fbshipit-source-id: 361546c078caafd067734d2f474c617d7fb888b0

Make Try independent of Future

Summary:
[Folly] Make `Try` independent of `Future`.

`Try` is useful for futures, but it can be used independently from futures as well.

Reviewed By: djwatson

Differential Revision: D3319130

fbshipit-source-id: badfcaa482dee6e7bdef14a501b4efc91634fa51

Export documentation from dex to folly

Reviewed By: yfeldblum

Differential Revision: D3317666

fbshipit-source-id: f5558b117c8da74789ee444cdaa00231e75dc31e

Fixing typo in Readme

Summary: Closes https://github.com/facebook/folly/pull/403

Reviewed By: yfeldblum

Differential Revision: D3320043

Pulled By: elliottneilclark

fbshipit-source-id: 5d21421216180fb601015a40a3de79e3dd2a162e

Flesh out the comments about Unit

Summary:
[Folly] Flesh out the comments about `Unit`.

* Remove mention of `Future`.
* Compare `unit` to `void`.

Reviewed By: djwatson

Differential Revision: D3316114

fbshipit-source-id: d30cf36cc029025734bb16c5bdbd640a289cad79

Extract Unit to top-level

Summary:
[Folly] Extract `Unit` to top-level.

It was in `folly/futures/`, but this diff moves it to `folly/`. It is needed for futures, but it is more general than futures and can be used separately.

Users must replace `folly/futures/Unit.h` with `folly/Unit.h`.

Also codemods existing usage sites:

```
hg grep -lw folly/futures/Unit.h | xargs perl -pi -e 's,\bfolly/futures/Unit\.h\b,folly/Unit.h,g'
```

Reviewed By: igorsugak

Differential Revision: D3314280

fbshipit-source-id: 16279b76b1d24529bec49077ccb36cd7d39f23b8

added IOBuf::wrapBufferAsValue()

Summary:
Added a version of IOBuf::wrapBuffer() which returns the new IOBuf by value rather than heap-allocating it.
Motivation: we have a lot of places in the crypto code that do something like this:

  // take a string or vector parameter
  auto buf = folly::IOBuf::wrapBuffer( /* string or vector goes here */);
  // do something with buf
  // return

In these cases, a stack-allocated IOBuf would save us from an unnecessary heap allocation. But calling `folly::IOBuf(folly::IOBuf::WrapBufferOp::WRAP_BUFFER, ...)` is gross and in practice people just call the much more readable `wrapBuffer()` function. Hypothesis: readability trumps performance, but if we had a readable version that returned a stack-allocated IOBuf, it might see usage.

Reviewed By: yfeldblum

Differential Revision: D3314037

fbshipit-source-id: 4d4b5ec1d067762a27de1d7d6f7cac406388bfa3

Fix one more race in Promise::setTry

Summary:
Baton::post has to be the last step of Promise::setTry. If Promise is not owned by
the posting thread, it may be destroyed right after Baton::post is called.

Reviewed By: pavlo-fb

Differential Revision: D3312506

fbshipit-source-id: 6d5c3f0925c3bb9cd3f981e7550f888d5ed76189

Keep the Unit test suite free of Promise and Future

Summary:
[Folly] Keep the `Unit` test suite free of `Promise` and `Future`.

Move the `Promise`-related tests to the `Promise` test suite and the `Future`-related tests to the `Future` test suite.

Reviewed By: djwatson

Differential Revision: D3313635

fbshipit-source-id: 05c82c8719719d7709063ad58a4806036ca10fb3

Simplify Unit

Summary:
[Folly] Simplify `Unit`.

Specifically:
* Make `Unit::Lift` and `Unit::Drop` simply be aliases to `std::conditional<...>`. No need for anything more complicated.
* Remove `is_void_or_unit`, which is unused and unnecessary.

Reviewed By: djwatson

Differential Revision: D3312481

fbshipit-source-id: 280d40aa8ef91c52f96a51b03e0a109d76c939ec

folly: fbvector: ubsan: don't call memcpy() with nullptr args if size == 0

Reviewed By: meyering, luciang

Differential Revision: D3310683

fbshipit-source-id: c86471d54062b2f3455f15fb73340fac486d9e44

IPAddress::validate

Summary: [Folly] `IPAddress::validate`.

Reviewed By: igorsugak

Differential Revision: D3308683

fbshipit-source-id: 48af18d6930f16718372021a4cc08062bf17327e

Fix a race in Promise::setTry

Summary:
This fixes a race which can only be exposed if Promise is owned by the same thread which was calling await and Promise is fulfilled from a different thread. What could happen then was:
1. Thread 2 fulfills the promise and thus saves the value and posts Baton.
2. Thread 1 wakes up, await returns and then Thread 1 destroys the Promise.
3. Promise destructor checks value_, which is still not null, so it tries to fulfil it with exception.

Reviewed By: spalamarchuk

Differential Revision: D3306969

fbshipit-source-id: adf799cfd7b75b0201fa675a9e44ac7c7c42ac95

Make await exception safe

Summary: This fixes fibers::await to correctly handle exception thrown by user-passed lambda. Await still always waits for the promise to be fulfilled (if the promise was not moved out, it will be destroyed and thus auto-fulfilled with "promise not fulfilled" exception). However if user-passed lambda throws, promise result is ignored (even if exception) and exception thrown by lambda is re-thrown.

Reviewed By: pavlo-fb

Differential Revision: D3303393

fbshipit-source-id: c4ba01fde0e156cc88e5d07aaf763e3abe121d11

Prefer constexpr to preprocessor conditionals when checking endianness

Summary:
[Folly] Prefer `constexpr` to preprocessor conditionals when checking endianness.

Using `if (folly::kIsLittleEndian) {` v.s. `#if __BYTE_ORDER__ == __LITTLE_ENDIAN__`.

Reviewed By: meyering

Differential Revision: D3296770

fbshipit-source-id: b26df83fdd42a50663746fc7c9d5fbe67e6671eb

A thread-per-task executor

Summary:
[Wangle] A thread-per-task executor.

Moved from Folly into Wangle and fleshed out.
* Starts task threads from a control thread, rather than starting task threads from the submitter thread. Because starting task threads is likely to be more expensive than moving a functor.
* Joins task threads as they finish, rather than joining all task threads in the executor's destructor.

Suitable for running tasks which spend most of their time sleeping. Such as blocking IO, blocking fork-exec-wait, etc., when it is inconvenient to use the nonblocking variants with an IO executor.

Reviewed By: simpkins

Differential Revision: D3286988

fbshipit-source-id: 4b91133a7d55332ebbae020c1515c60e816906b3

folly: fbstring: ubsan: memcpy/memmove are marked as nonnull - avoid calling them when size == 0 and (likely) source is nullptr

Summary: Also see {D3295811}

Differential Revision: D3302564

fbshipit-source-id: 3f2dbf5a6cfa8199682cb4af90aac372d501919a

folly: ubsan: elias-fano avoid memset(nullptr)

Reviewed By: ot

Differential Revision: D3300437

fbshipit-source-id: 7e0add5dab6dc1c891b742b4bcedea656c8284a9

folly: ubsan: redo BitsTest (no macros) and fix DCHECK in test

Reviewed By: meyering

Differential Revision: D3283226

fbshipit-source-id: 7ae2ec7741ca53c494e8325e30f2995a241674c0

Test creation of RequestContext inside a fiber task

Summary: ^, as discussed on D3279644

Reviewed By: andriigrynenko

Differential Revision: D3299473

fbshipit-source-id: dc302132db64399f768d69c641f848d0da1075c4

Replace RequestContext::setContext with RequestContextScopeGuard in folly

Summary: To make sure RequestContext is properly unset when we stop processing request on a thread. This changes the API in Fibers, NotificationQueue, HHWheelTimer and AsyncTimeout, and fixes RequestContext handling in Futures (reset RC after the callback is done)

Reviewed By: andriigrynenko

Differential Revision: D3279644

fbshipit-source-id: a6a1c2840cdce179334aa1a3b28fa514cd5358c1

Construct all HHWheelTimer instances with the factory method

Summary:
This diff standardizes `HHWheelTimer` construction. It's not that safe to allow anyone to call `new HHWheelTimer` because the caller needs to remember to call `DelayedDestruction::destroy`.

Once callers are made to be safer, I'll be able to change the `HHWheelTimer` to use standard smart pointers instead of `DelayedDestruction`.

This picks up some work that I started in D2627941 but had to postpone.

This was mostly a mechanical change:

  ( fbgs -ls 'new HHWheelTimer' ; fbgs -ls 'new folly::HHWheelTimer' ) | xargs perl -pi -e 's/\bnew\s+((?:folly::)?HHWheelTimer)\b/$1::newTimer/g'

Then I manually inspected the code. I reverted `folly/io/async/HHWheelTimer.h`, since the `newTimer` factory method is the one place that we still want to call `new HHWheelTimer`. I manually edited `proxygen/lib/utils/SharedWheelTimer.cpp`, since that was using a `shared_ptr` with a custom destructor, which isn't needed anymore. I reverted `common/io/async/d` since the D shim is meant to pass around only raw pointers. I had to replace each instance of `foo.reset(…)` with `foo = …` . Then I made manual edits to `common/clientpool/ClientPool2-inl.h` because that code wants to store the timer in a `ThreadLocalPtr`.

Reviewed By: yfeldblum

Differential Revision: D3237530

fbshipit-source-id: 96bfb6987098618ad5430c21b1314f385f04a93d

Suppress new GCC 5 warning -Wbool-compare

Summary: This -Wbool-compare is apparently new in GCC 5.  We should ignore it, similar to the existing suppression of -Wsign-compare.

Reviewed By: pixelb, yfeldblum

Differential Revision: D3293675

fbshipit-source-id: 5f90b0dbf049a06c0f6c3df2cdfcc8055358e367

Fix extra bytes in err message

Summary:
Error message might be < 256 bytes
in which case buf.size() would be greater
than the size of the message written out
and we might have garbled bytes at the end.

ERR_error_string_n null terminates the string
so just use that.

Reviewed By: anirudhvr

Differential Revision: D3297320

fbshipit-source-id: 2ae626ce4c49ca478806c0bcc40a390e5a84f24b

Register custom stack for signal handlers

Summary: This updates FiberManager to automatically register custom stack for signal handlers. This ensures signal handlers will work correctly not only in case of stack overflow, but also if fiber stack size is just not enough for them.

Reviewed By: yfeldblum

Differential Revision: D3289912

fbshipit-source-id: 44959b727f70e1f1748d837b1a06c7414433e5ec

Transfer ownership from a unique_ptr to a ThreadLocalPtr

Summary:
This `ThreadLocalPtr::reset` overload will accept a `unique_ptr`. It's actually not totally exception safe, simply because `ElementWrapper::set` is not exception safe. The best I can say is that my additional code is exactly as safe as the underlying implemenation.

liketolivedangerously

Reviewed By: ericniebler

Differential Revision: D3271563

fbshipit-source-id: 774bcf31924b1ed4e29a6cb1c0a36ad710ab6034

Prevent leaks in ThreadLocalPtr initialization

Summary: While making an unrelated change, (D3271563, which was needed from an unrelated change, (D3237530)), I noticed a lack of exception safety here. If `std::bad_alloc` were thrown, then we don't want to leak memory.

Reviewed By: ericniebler

Differential Revision: D3271911

fbshipit-source-id: 0d316c0fa865a7d64622c1d62160bb0c2b061d78

Include limits.h in IOVec.h.

Summary:
According to the POSIX definition, IOV_MAX is defined in
limits.h. Given that IOVec.h is used to provide IOV_MAX and similar,
it seems like we should add limits.h as well.

Differential Revision: D3291996

fbshipit-source-id: 238140ebef7b1b90a28f3a67a25c5f5863538fc7

Make the sys/uio.h portability header work for Windows

Summary: Windows doesn't have sys/uio.h, so implement it. This doesn't adjust any includes of it yet, I'll leave that for a separate diff.

Reviewed By: yfeldblum

Differential Revision: D2978042

fbshipit-source-id: 16d398a856de50b6c662f739eb11dfb851096592

wangle support for TFO

Summary: Add server support for TFO to wangle.

Reviewed By: Orvid

Differential Revision: D3275427

fbshipit-source-id: 466baa342e2e0c4751e9c96d1e660cffb90e0634

folly: ubsan: format: avoid UB in abs(-INT_MIN)

Summary:
abs(-INT_MIN) is UB. Avoid it by first casting the number to
its unsigned equivalent and then negating that.

Reviewed By: yfeldblum

Differential Revision: D3280835

fbshipit-source-id: 40922d686173e6467e15d5a6dc2b62ad718349b5

Add a compatibility shim for working with libevent on MSVC

Summary:
MSVC builds of libevent expect `evutil_socket_t` to be `HANDLE` values, but Folly, HHVM, and Thrift all use them as file descriptors.
This adds a `folly_event_set` function that always expects a file descriptor rather than a socket. This also changes the places in Folly that use it.

Reviewed By: mzlee, yfeldblum

Differential Revision: D2874655

fbshipit-source-id: 66cfd86fd69a9fbac30d150445e4814cd5ca799e

Make error size more explicit

Summary:
We shouldn't rely on the internal buffer size of openssl
for errors.

This makes it more explicit.

Reviewed By: knekritz

Differential Revision: D3285918

fbshipit-source-id: 452bf16a3de151d0aa79c774f2fdfc1e08ee6f9c

Add NETWORK_ERROR to switch statement

Summary: Add NETWOR_ERROR to switch so it doesn't fall into Invalid Exception block.

Differential Revision: D3282448

fbshipit-source-id: 2cc5d21e436e6ac8f2f6581d99341ac47cf5b023

Add additional ALPN mismatch tests.

Reviewed By: siyengar

Differential Revision: D3264727

fbshipit-source-id: fb10558096e73a3cbb6f2fb93296524c0206910d

Fix a few typos all over the code

Summary:
These are pretty trivial. Debian's lint tool (lintian) warns about those
in its verbose mode, and since we saw them when packaging for Debian, we
thought of fixing them and forwarding them upstream.
Closes https://github.com/facebook/folly/pull/345

Reviewed By: Orvid

Differential Revision: D2769801

Pulled By: elliottneilclark

fbshipit-source-id: ad37cc53792f21aae6558ba256f20cb56c6caab5

docs/Overview.md: Fixed 2 hyperlinks.

Summary:
These didn't work properly in GitHub.
Closes https://github.com/facebook/folly/pull/375

Differential Revision: D3281872

Pulled By: elliottneilclark

fbshipit-source-id: b5398267ff5856bb6a7c4a3b963ae5cb47859bc3

folly: ubsan: disable integer overflow tests in Histogram

Summary:
It would be nice to fix, but it's going to be easier to do when folly
support is for GCC>=5 which adds `__builtin_add_overflow`.

For now disable the check as the Histgram code handles overflow
correctly and has tests for these cases.

Fixes need to be done for both float and integer types as Histogram is used with both.

Reviewed By: meyering

Differential Revision: D3280260

fbshipit-source-id: 56e524c517566a4547346859be7770eda2acee96

folly: ubsan: cast to unsigned to avoid negative-left-shift

Summary:
The result of E1 << E2 is E1 left-shifted E2 bit positions; vacated
  bits are filled with zeros.

  If E1 has a signed type and non-negative value, and E1 × 2E2 is
  representable in the result type, then that is the resulting value;
  otherwise, the behavior is undefined.

The code assumed the signed left shift worked like an unsigned left
shift, so make that explicit.

Reviewed By: meyering

Differential Revision: D3280325

fbshipit-source-id: 178b95ee36b7a1126a79bb825c2ad2ffa6fa9464

folly: ubsan: fix "reference binding to null pointer of type 'char'"

Summary:
third-party-buck/build/libgcc/include/c++/4.9.x/bits/stl_vector.h:866:9: runtime error: reference binding to null pointer of type 'char'

```
Breakpoint 2, 0x0000000000494894 in __ubsan_handle_type_mismatch_abort ()
(gdb) bt
```

Reviewed By: meyering, yfeldblum

Differential Revision: D3279234

fbshipit-source-id: 63a761587e5b3f79ece09fc99b9a593da0e44b75

Deal with some oddities of MSVC's preprocessor

Summary: MSVC's preprocessor is different in how it deals with passing arguments expanded from `__VA_ARGS__`, so we have to add a stub to force it to expand the arguments.

Reviewed By: yfeldblum

Differential Revision: D3256328

fbshipit-source-id: 551434833d40e55498a9ab352eb74acdfd094835

Fix detection of std::make_unique under MSVC

Summary: MSVC doesn't define `__cplusplus` as a high enough value to trigger this, so add an explicit check for MSVC instead.

Reviewed By: yfeldblum

Differential Revision: D3271647

fbshipit-source-id: a1e5a5a7eb75dce066dfc7fae8b2086880dc4c3d

folly: ubsan: &v[0] is undefined if v.empty()

Summary:
before:

  [ RUN      ] RangeFunc.Vector
  bits/stl_vector.h:866:9: runtime error: reference binding to null pointer of type 'int'

Reviewed By: yfeldblum

Differential Revision: D3279253

fbshipit-source-id: 957a8ec050f5c3b27febf7e6cd16ad1d307da169

folly test: fix typo in RandomDataHolder::RandomDataHolder

Summary:
Running the folly/io/test:compression_test with a UBSAN-enabled binary would fail with this:

  folly/io/test/CompressionTest.cpp:96:36: runtime error: shift exponent 16777216 is too large for 64-bit type 'size_t' (aka 'unsigned long')

That exposed the unwanted left-shift.
That made it so the actual "start" offsets were in the range [0..numThreads-1], rather than being
e.g., with numThreads == 8, [0, 16777216, 33554432, ...].  Oops.

Reviewed By: luciang

Differential Revision: D3277606

fbshipit-source-id: 4bc48f84b0065de070b62a810f08b96e36ea7136

Include <nmmintrin.h> in GroupVarint.h

Summary: Because it is the standard (well, Intel's standard) location for __m128i, and GCC, Clang, MSVC and ICC all implement it in that location.

Reviewed By: yfeldblum

Differential Revision: D3270872

fbshipit-source-id: fa0f0410670cdb310e656ca55ee0f568ca5ee06f

folly: fbvector: ubsan: avoid memcpy(dest, nullptr, 0)

Reviewed By: meyering

Differential Revision: D3277138

fbshipit-source-id: 7050d18c256ac15c8122d4af59aa31208b1466fd

Explicitly reference folly::detail

Summary: Due to some fun with the order MSVC does name lookup in templates, it ends up complaining that these are ambigious between folly::detail and folly::recordio_helpers::detail. The solution is to simply reference folly::detail explicitly.

Reviewed By: yfeldblum

Differential Revision: D3271606

fbshipit-source-id: e599ad8d8fe33b1e4ec0b838ddb5dfacfdf60159

Fix a few issues in the portability headers

Summary:
This fixes a few issues in the portability headers for MSVC.
Not entirely sure how I managed to cause these in the first place, but this fixes them anyways.

Reviewed By: yfeldblum

Differential Revision: D3271859

fbshipit-source-id: 11a5d35246f29112563ee9079525aa37ced206ff

Reverted commit D3265572

Summary:
I would switch these to just use the intrinsic functions, but GCC 4.8 doesn't support them.
MSVC supports the intrinsics, which is the primary reason for the switch.

Reviewed By: yfeldblum

Differential Revision: D3265572

fb-gh-sync-id: 3268f90d5234bdf77b3579504efd3dcd43f38aff
fbshipit-source-id: 3268f90d5234bdf77b3579504efd3dcd43f38aff

Don't re-throw exceptions from default FiberManager exception handler

Summary: It's very unlikely that caller will handle such exceptions and FiberManager can proceed even if one task failed. DFATAL will ensure we still fail on such exceptions in debug builds.

Reviewed By: yfeldblum

Differential Revision: D3273573

fb-gh-sync-id: 55eba19c16429a3c89a2fdf5363fd4b55b3998a2
fbshipit-source-id: 55eba19c16429a3c89a2fdf5363fd4b55b3998a2

Don't throw on late singleton registration

Summary: Having singleton registered after registrationComplete() is called is not a hard failure. Replacing exception with ERROR, since we probably still want to avoid such situation.

Reviewed By: yfeldblum

Differential Revision: D3266376

fb-gh-sync-id: 8130d279775348c835265987c95189bd3d8106f9
fbshipit-source-id: 8130d279775348c835265987c95189bd3d8106f9

Use intrinsics rather than inline assembly where possible

Summary:
I would switch these to just use the intrinsic functions, but GCC 4.8 doesn't support them.
MSVC supports the intrinsics, which is the primary reason for the switch.

Reviewed By: yfeldblum

Differential Revision: D3265572

fb-gh-sync-id: f12d16b8f64cf48adcb97958d7ae88d56689a96f
fbshipit-source-id: f12d16b8f64cf48adcb97958d7ae88d56689a96f

Create the stdio.h portability header

Summary: Windows doesn't define a couple of functions.

Reviewed By: yfeldblum

Differential Revision: D2990676

fb-gh-sync-id: 1a1354bd7976cb8b4747436d6907d65210ba506c
fbshipit-source-id: 1a1354bd7976cb8b4747436d6907d65210ba506c

Bind to a random file in unix domain socket test

Summary:
test console reports "address already in use" failure so add some
randomness to it.

Reviewed By: yfeldblum

Differential Revision: D3265329

fb-gh-sync-id: a825cce787394783bb8d18d92385d2497b163385
fbshipit-source-id: a825cce787394783bb8d18d92385d2497b163385

Create the unistd.h portability header

Summary: Windows doesn't have it, and it's used in a lot of places.

Reviewed By: yfeldblum

Differential Revision: D2997499

fb-gh-sync-id: fbf8f5f087b8f39197d5bf2177e4d34efd74631f
fbshipit-source-id: fbf8f5f087b8f39197d5bf2177e4d34efd74631f

Allow optional atfork hook for singleton destruction

Summary: Grouping all folly::ThreadLocal atfork hooks in one. This allows proper ordering between folly::ThreadLocal hooks and hooks added by other libraries (we always want folly::ThreadLocal hooks to be registered first).

Reviewed By: ericniebler

Differential Revision: D3262666

fb-gh-sync-id: 1aa928b9ddd484580f4a4a7b320e9e64164bb04a
fbshipit-source-id: 1aa928b9ddd484580f4a4a7b320e9e64164bb04a

Implement LoopKeepAlive for EventBase

Summary: LoopKeepAlive can be useful to tell EventBase, that loop() shouldn't return even if there are no events registered, because some tasks will later be added via runInEventBaseThread. While at least one LoopKeepAlive is alive - EventBase::loop() behaves like EventBase::loopForever().

Reviewed By: yfeldblum

Differential Revision: D3261706

fb-gh-sync-id: d91424d3d12cae11abd72cffdbd57f136f628dae
fbshipit-source-id: d91424d3d12cae11abd72cffdbd57f136f628dae

Allow adding tasks to TaskIterator dynamically

Reviewed By: yfeldblum

Differential Revision: D3244669

fb-gh-sync-id: 73fa4ecb0432a802e67ef922255a896d96f32374
fbshipit-source-id: 73fa4ecb0432a802e67ef922255a896d96f32374