folly::FunctionScheduler: Adding capability to reset a function's timer

Summary:Adding support for resetting a specified function's timer.

"Resetting a function's timer" effectively means "canceling whatever next runs it would have had, and treating it as though it were just added".
When `resetFunctionTimer` is called, the specified function's interval (timer) will be reset, and it will execute after its initially-specified `startDelay`. If the `startDelay` is zero, the function will execute immediately, and then be scheduled as before - once every `interval` milliseconds.

Motivation: batch processing of updates, where both a size and time limit are in play. If the size limit is reached, it makes sense to reset the timer for the scheduled function.

Differential Revision: D3045868

fb-gh-sync-id: a5ceb0069c04a77fdab16b61679987ee55484e89
shipit-source-id: a5ceb0069c04a77fdab16b61679987ee55484e89

Fix warning in MicroLock initialization

Summary:The `init()` function uses the previous value of `lock_`, but that is
uninitialized and the compiler can issue a warning about it. It is
also potentially undefined behavior because it is not guaranteed that
the address of `lock_` is taken before `init()` (in which case the it
would be just an indeterminate value).

Since it is not very useful to initialize only one slot and leave the
others uninitialized, we can just have a single `init()` that
zero-initializes all the slots.

Reviewed By: dcolascione

Differential Revision: D3042629

fb-gh-sync-id: de1633b02eb1c891e310f2d5d2cfc5376cd41d5f
shipit-source-id: de1633b02eb1c891e310f2d5d2cfc5376cd41d5f

Explain union safety in MicroLock comment

Reviewed By: ot

Differential Revision: D3045850

fb-gh-sync-id: ee19b146c43410d8d8804c9bfe79c3811394b10e
shipit-source-id: ee19b146c43410d8d8804c9bfe79c3811394b10e

folly: fix gflags<->glog configure check ordering

Summary:On systems that do not have gflags or glog installed globally,
but only locally as static libraries, our configure check failed for
glog because we were checking it prior to gflags.

glog depends on gflags, but when the libraries are static, there is
no explicit dependency information available and the linker fails.

This resolves the issue by checking for gflags first; this causes
configure to add an implicit `-lgflags` for the subsequent glog
tests.

Reviewed By: yfeldblum

Differential Revision: D3044138

fb-gh-sync-id: 5e07ce52842c6e4cff796560672bf950e2fafe6c
shipit-source-id: 5e07ce52842c6e4cff796560672bf950e2fafe6c

Remove portability/Stdlib.{h,cpp}

Summary: This was wrong and is like better solved, not with a shim layer, but by not using such a platform-specific function in the first place.

Reviewed By: yfeldblum

Differential Revision: D3001253

fb-gh-sync-id: 460cc46b1c9adc3d229a07cb290270f7afbbb1e0
shipit-source-id: 460cc46b1c9adc3d229a07cb290270f7afbbb1e0

Adding portability to gating PicoSpinLock.

Summary:PicoSpinLock only works on x86_64, Arm64, and ppc64 (i.e.,
not 32-bit).  Add a bit of gating so we can continue to run tests and
use headers when compiling for i386.

Reviewed By: yfeldblum

Differential Revision: D2991328

fb-gh-sync-id: b0d0c229508f65dff62b24fdd9d80c799cd97935
shipit-source-id: b0d0c229508f65dff62b24fdd9d80c799cd97935

Fix an exception safety hole in ScopeGuard

Summary: Address the exception safety hole described in https://fburl.com/scopeguard-oops. Addnditional noexcept to the places that need it.

Reviewed By: dcolascione

Differential Revision: D3033015

fb-gh-sync-id: 8dfec103bbc86abef425585371994756d3df0a14
shipit-source-id: 8dfec103bbc86abef425585371994756d3df0a14

Port easy instances to folly::dynamic::array

Summary:The vast majority of `folly::dynamic` array initializations are
single-line and with no nested arrays, so we can fix them with a
syntactic codemod. This also fixes a couple of singletons.

For empty arrays:
```
codemod '((?:folly::)?)(dynamic\s+\w+\s*=\s*)({\s*})' '\1\2\1dynamic::array'
```

For non-empty ones:
```
codemod '((?:folly::)?)(dynamic\s+\w+\s*=\s*)(?:{\s*([^{}]+?)\s*})' '\1\2\1dynamic::array(\3)'
```

Reviewed By: igorsugak

Differential Revision: D3030338

fb-gh-sync-id: 3e56704a6c6294d6f6270e42a1776d991a7938df
shipit-source-id: 3e56704a6c6294d6f6270e42a1776d991a7938df

Add replay safety connector/handler to delay transactions scheduled on a replay-unsafe transport.

Summary: This allows HTTPTransactions to be held back until the transport is replay-safe.

Reviewed By: siyengar

Differential Revision: D2974083

fb-gh-sync-id: 037b14c24a80c828a25e483b6873a8e782af0cb4
shipit-source-id: 037b14c24a80c828a25e483b6873a8e782af0cb4

Create the sys/stat.h portability header

Summary: Windows has it, but it doesn't define lstat, and a few other functions have other names.

Reviewed By: yfeldblum

Differential Revision: D3003096

fb-gh-sync-id: e7bc210390d18806c8c89cbc18711bb7a728e12f
shipit-source-id: e7bc210390d18806c8c89cbc18711bb7a728e12f

Make Bits.h respect FOLLY_HAVE_UNALIGNED_ACCESS.

Summary: This was causing a bunch of SIGBUS's on ARM platforms.

Reviewed By: yfeldblum, mzlee

Differential Revision: D3013458

fb-gh-sync-id: 6d3f60c3f59d16cd3454e3a4231b967e5378724a
shipit-source-id: 6d3f60c3f59d16cd3454e3a4231b967e5378724a

SSL cleanup: moving some OpenSSL definitions to new dir folly/io/async/ssl

Summary:SSLContext and AsyncSSLSocket are growing with a lot of code that is
OpenSSL-specific, and it may be good to refactor some of these before it gets
out of hand.

This is also useful to reduce complexity as we some additional features such as ServerHello parsing and TLS Cached Info (D2936570)

Main changes:
 * Created a subdirectory folly/io/async/ssl to refactor code from folly/io/async. We may want to consider moving this out of folly/io/async
 * Moved OpenSSLPtrTypes.h to folly/io/async/ssl/OpenSSLPtrTypes.h
 * Moved 'OpenSSLUtils' from SSLContext to separate file OpenSSLUtils.{h,cpp}
 * Moved TLSExtensions and ClientHelloInfo from AsyncSSLSocket to TLSDefinitions.h

Reviewed By: siyengar

Differential Revision: D2978707

fb-gh-sync-id: a21f02947aeffccc447da2124a91cc99315df1c7
shipit-source-id: a21f02947aeffccc447da2124a91cc99315df1c7

minor tweak to MicroLock slow path

Summary:This diff uses the x86 "pause" instruction or its equivalent when
spinning in the MicroLock slow loop.  This gives a hint to the processor
that it should devote more resources to the other execution contexts
sharing the same core.  This diff also removes an mfence on x86 by using
a slightly stronger memory model on the preceding compare_exchange_weak,
and switches to a more portable way of invoking sched_yield().

Reviewed By: dcolascione

Differential Revision: D3018568

fb-gh-sync-id: 02e0ab3a9d9bb9901eddf54e45b71cbb7758a227
shipit-source-id: 02e0ab3a9d9bb9901eddf54e45b71cbb7758a227

Deprecate dynamic::dynamic(std::initializer_list<dynamic>)

Summary:After DR95 the single braces dispatch to the copy constructor
(http://www.open-std.org/jtc1/sc22/wg21/docs/cwg_defects.html#1467),
so it is not possible anymore to initialize a singleton dynamic array
using the braces syntax. The initializer list constructor already had
a special case for empty lists, which unconditionally called the
default constructor if defined.

This diff deprecates the braces syntax and defines the following alternative:
```
dynamic empty = dynamic::array;
dynamic a = dynamic::array(1, 2, "foo");
```

Reviewed By: luciang, yfeldblum

Differential Revision: D3013423

fb-gh-sync-id: a0cf09dfd96e9806044f7c3bf3592c637a9bc932
shipit-source-id: a0cf09dfd96e9806044f7c3bf3592c637a9bc932

Guard Getcpu in test.

Summary:Guarding this the same way it is done in
detail/CacheLocality.cpp

Reviewed By: yfeldblum

Differential Revision: D3013288

fb-gh-sync-id: a1cc65cccc5cdf32339a739853c27a11ecd98ba0
shipit-source-id: a1cc65cccc5cdf32339a739853c27a11ecd98ba0

Create the Windows portability header

Summary: Because Windows' defines seem to get in the way more than they help.

Reviewed By: yfeldblum

Differential Revision: D2989507

fb-gh-sync-id: 148f390ef6adf977bffa2262aa76839b2bf4f507
shipit-source-id: 148f390ef6adf977bffa2262aa76839b2bf4f507

A warning for the portability headers

Summary: [Folly] A warning for the `portability` headers.

Reviewed By: mzlee, Orvid, meyering

Differential Revision: D3014442

fb-gh-sync-id: f6557d8021dc2a50a656685492d717fdbff1124a
shipit-source-id: f6557d8021dc2a50a656685492d717fdbff1124a

Switch from tmpdir to TemporaryDirectory

Summary: tmpdir does not work on all platforms. TemporaryDirectory is more robust.

Reviewed By: yfeldblum

Differential Revision: D3013866

fb-gh-sync-id: 51e2b7ec2348eb95b99c125a27bb2aca2b87ac21
shipit-source-id: 51e2b7ec2348eb95b99c125a27bb2aca2b87ac21

Create the sys/types.h portability header

Summary: Windows has it, but it doesn't define pid_t. It also doesn't define ssize_t, and it's not worth a separate header for a single typedef, so define it here as well.

Reviewed By: yfeldblum

Differential Revision: D3001168

fb-gh-sync-id: 3722270181c200bbcf39043960f81609c854b132
shipit-source-id: 3722270181c200bbcf39043960f81609c854b132

Fix clang build for MicroLock

Summary: clang would complain about losing integer precision. Use unsigned for offset calculation.

Reviewed By: luciang

Differential Revision: D3011253

fb-gh-sync-id: 10cb603708a22bf0e57f41b2486ffca4f5bf7a14
shipit-source-id: 10cb603708a22bf0e57f41b2486ffca4f5bf7a14

Add replay safety method and callback to AsyncTransport.

Summary: This allows the transport to signal to a higher layer when it has become replay-safe.

Reviewed By: siyengar

Differential Revision: D2974057

fb-gh-sync-id: 436f0c66b78f72ad34cdf4fe117771ea96b4388b
shipit-source-id: 436f0c66b78f72ad34cdf4fe117771ea96b4388b

Make the test portable for different libc

Summary:The class name for std::runtime_erorr is sometimes
St13runtime_error instead. And there is simlar mapping for other
classes.

Reviewed By: yfeldblum

Differential Revision: D3013228

fb-gh-sync-id: 6a162de348eeaa51c059f9619e25ecf051615bfc
shipit-source-id: 6a162de348eeaa51c059f9619e25ecf051615bfc

fix liger contbuild: cast offset_bytes to unsigned

Summary: Apparently I don't know what I'm doing. But given lock_ is 8bit and the assert, I suppose cast offset_bytes to unsigned is safe.

Reviewed By: dcolascione

Differential Revision: D3010732

fb-gh-sync-id: 1f3440a72d2f0b2fb145ab36966f0382a3009e0c
shipit-source-id: 1f3440a72d2f0b2fb145ab36966f0382a3009e0c

Remove persistentCork in native land

Summary: Remove persistent cork

Reviewed By: francis-ma

Differential Revision: D3008550

fb-gh-sync-id: a5ce492876d98d74f5669c5ec5ff3486c0cb0b2c
shipit-source-id: a5ce492876d98d74f5669c5ec5ff3486c0cb0b2c

Add a missed glog header.

Summary: Instructions.h depends on glog/logging.h because of DCHECK_GT macros.

Reviewed By: ot

Differential Revision: D3009084

fb-gh-sync-id: 05012e635a8c623ca1e653cc41a460778942c39e
shipit-source-id: 05012e635a8c623ca1e653cc41a460778942c39e

Add MicroLock as an alternative to MicroSpinLock

Summary:MicroLock is a full-featured lock that fills the niche that
MicroSpinLock and PicoSpinLock currently inhabit.  Unlike these two
classes, MicroLock is a sleeping lock.  MicroLock requires two bits of
a single word and has no particular alignment requirements.

Reviewed By: ot

Differential Revision: D3004474

fb-gh-sync-id: a9bd28bd3f48e894d5bff407612ee4b228466209
shipit-source-id: a9bd28bd3f48e894d5bff407612ee4b228466209

Have internal tests use folly::Random instead of rand_r

Summary: rand_r is not provided on all platforms, so use `folly::Random` instead.

Reviewed By: yfeldblum

Differential Revision: D3000351

fb-gh-sync-id: 45df3e1957c4b529ab2d2cb4db13b71d13dcef5d
shipit-source-id: 45df3e1957c4b529ab2d2cb4db13b71d13dcef5d

Adding DynamicConverter support for enums

Summary:DynamicConverter doesn't currently support reading enums.
This diff addresses that by adding an enum specialization that uses integers as its underlying implementation.
A follow-up is to handle both integers and strings, but that would require a way to parse strings into enums like Thrift static reflection provides (see https://github.com/facebook/fbthrift/blob/d17b072daddbd318f9afaa5562100eaba0f890e3/thrift/lib/cpp2/fatal/folly_dynamic-inl.h#L88,L92.

Reviewed By: yfeldblum

Differential Revision: D3002569

fb-gh-sync-id: 27bf4a9d5a7844762f5311e2c777606a0e7753f0
shipit-source-id: 27bf4a9d5a7844762f5311e2c777606a0e7753f0

Fix printing of uint64_t in ConvTest

Summary:uint64_t is an unsigned long for 64-bit, but a long long int
for 32-bit.  `%lu` can cause truncation in certain implementations of
libc.

Reviewed By: ngoyal

Differential Revision: D3007568

fb-gh-sync-id: bbb1896c9727cbff413ac73ff0caa12bae5d8a6a
shipit-source-id: bbb1896c9727cbff413ac73ff0caa12bae5d8a6a

Add service identity to SSL socket and use in ticket cache

Summary:Allow applications to specify a service identity tied to an SSLSocket
that can be used as a ticket cache key.

Further, add the cache key to the SSL_SESSION object and serialize it.

Reviewed By: siyengar

Differential Revision: D2991005

fb-gh-sync-id: 25a5ddbb66bd9da2084159136cbe4d55b9e00f28
shipit-source-id: 25a5ddbb66bd9da2084159136cbe4d55b9e00f28

Use false start with ALPN.

Summary: All the work we do in SSLContext to check the cipher and NPN usage is actually completely unnecessary since OpenSSL internally checks the cipher and use of ALPN/NPN after you set the SSL_MODE option (see `ssl3_can_cutthrough()` in ssl_lib.c). This just sets the option on the SSLContext instead.

Reviewed By: siyengar

Differential Revision: D3002063

fb-gh-sync-id: 4514faf9ed2eb42a6e41d9e682b2c8aa52c46691
shipit-source-id: 4514faf9ed2eb42a6e41d9e682b2c8aa52c46691

Fix AsyncSSLSocket handshake error reporting.

Summary:https://www.openssl.org/docs/manmaster/ssl/SSL_get_error.html
OpenSSL errors are a pain to deal with and we were handling several cases
incorrectly, resulting in a ton of "DH lib" errors when none were likely
actually DH lib errors.

Reviewed By: siyengar

Differential Revision: D2999084

fb-gh-sync-id: b3182be2c199f79ed341af7dbf7524197a838584
shipit-source-id: b3182be2c199f79ed341af7dbf7524197a838584

Create the strings.h portability header

Summary: Windows doesn't have it.

Reviewed By: yfeldblum

Differential Revision: D2990219

fb-gh-sync-id: e9fe96905ec415874f0e2732b0685f3e7ad5d018
shipit-source-id: e9fe96905ec415874f0e2732b0685f3e7ad5d018

Android does not always provide posix_memalign

Summary: We could provide `posix_memalign` instead as part of portability, but I am not sure how to tell whether or not it will be available.

Reviewed By: yfeldblum

Differential Revision: D2991432

fb-gh-sync-id: 587314d43779f3b8fead2c41ed05016e6350f2ee
shipit-source-id: 587314d43779f3b8fead2c41ed05016e6350f2ee

Improve RWSpinLock.h cautionary comment

Reviewed By: yfeldblum

Differential Revision: D2998122

fb-gh-sync-id: a113ba1a474da8a46052091acadb90c95d3c0c28
shipit-source-id: a113ba1a474da8a46052091acadb90c95d3c0c28

i386 -fPIC requires `%ebx`

Summary:On i368 (until, I'm lead to believe i686) `%ebx` is used for the PIC register. Thus, when we use cpuid, we clobber that register and gcc loudly complains:

  folly/CpuId.h: In member function 'virtual void CpuId_Simple_Test::TestBody()':
  folly/CpuId.h:67:61: error: PIC register clobbered by 'ebx' in 'asm'
       __asm__("cpuid" : "=a"(n) : "a"(0) : "ebx", "edx", "ecx");

Reviewed By: yfeldblum

Differential Revision: D2991229

fb-gh-sync-id: ee8795e36a4c173147d61e26c9590ec5da1d02b5
shipit-source-id: ee8795e36a4c173147d61e26c9590ec5da1d02b5

Create the portability header for time.h

Summary: Although MSVC does have time.h, and does have equivelents of these functions, those have slightly different semantics so we have to wrap them.

Reviewed By: yfeldblum

Differential Revision: D2983613

fb-gh-sync-id: 676cd524ffa834a4250a2acc76aa1200eefe62cc
shipit-source-id: 676cd524ffa834a4250a2acc76aa1200eefe62cc

Stern warning about spinlocks

Summary: Spinlocks are a bad idea most of the time.

Reviewed By: rickbrew

Differential Revision: D2996558

fb-gh-sync-id: e86f1f0a084bda0c16759e979201db2e18102555
shipit-source-id: e86f1f0a084bda0c16759e979201db2e18102555

Enclose global variables in an anonymous namespace.

Summary: This causes a symbol collision tests are compiled into a library.

Differential Revision: D2991357

fb-gh-sync-id: 912be0df42216004a07213d62b68ff3f4713beb0
shipit-source-id: 912be0df42216004a07213d62b68ff3f4713beb0

Listen to the Windows docs in portability/SysTime.cpp

Summary:As-per the documenation of FILETIME:

"Do not cast a pointer to a FILETIME structure to either a ULARGE_INTEGER* or __int64* value because it can cause alignment faults on 64-bit Windows."

Reviewed By: yfeldblum

Differential Revision: D2989434

fb-gh-sync-id: cf57d569a785e0eb7225b346730bf2ed4c50dc55
shipit-source-id: cf57d569a785e0eb7225b346730bf2ed4c50dc55

Add timeradd and timersub to the sys/time.h portability header

Summary: I missed these in my initial diff.

Reviewed By: yfeldblum

Differential Revision: D2989977

fb-gh-sync-id: 0efb92286a8aed91ec1d394572cd709e5b6b37ab
shipit-source-id: 0efb92286a8aed91ec1d394572cd709e5b6b37ab

Fix narenas size

Summary:Changed from size_t to unsigned in a recent tp2 update
https://github.com/jemalloc/jemalloc/blame/3c07f803aa282598451eb0664cc94717b769a5e6/test/unit/mallctl.c

Reviewed By: jasone, mhlakhani

Differential Revision: D2991755

fb-gh-sync-id: 46f2be722a30706333eac6428f4183ca9cb85543
shipit-source-id: 46f2be722a30706333eac6428f4183ca9cb85543

to_string is not supported everywhere

Summary: Also remove an extra `#include <strstream>` from JsonTest.cpp as it is no longer necessary.

Reviewed By: yfeldblum

Differential Revision: D2991381

fb-gh-sync-id: 386b8281726d034933ebdc26733dd35dc5ace949
shipit-source-id: 386b8281726d034933ebdc26733dd35dc5ace949

Remove unecessary int main from MemoryTest

Summary: We do not need this main function, so remove it.

Reviewed By: markisaa

Differential Revision: D2992000

fb-gh-sync-id: 30bc0734af0f61e047276dab9639ae29cc999bbb
shipit-source-id: 30bc0734af0f61e047276dab9639ae29cc999bbb

Add conversion constructors for Future

Summary:previously we were not able to do

Future<Base> f = makeFuture<Derived>();

This is because Future did not declare a conversion
constructor.

Adding a proper conversion ctor for Future is very
tricky because of the way Core is managed under the hood.
Core is not movable, and cannot be moved otherwise we
would have to retain pointers to the Future and Promises which
pointed to a particular core. This would be inefficient.

Instead we compromise and allow a very small subset of conversions
from objects whose templated types are convertible and also the
sizes of their Cores are also the same. As a result, we can
convert between types like unique_ptrs however not always between
full objects.

Reviewed By: jsedgwick

Differential Revision: D2943775

fb-gh-sync-id: 7c2388f2fb49d789c80ae2477814e960a099771b
shipit-source-id: 7c2388f2fb49d789c80ae2477814e960a099771b

Fix SingletonThreadLocal

Summary: it's really thread local at this point :)

Reviewed By: jmswen

Differential Revision: D2989668

fb-gh-sync-id: 423b9214922c92318181a62c583f58cd204b52e3
shipit-source-id: 423b9214922c92318181a62c583f58cd204b52e3

Use yield, not wfe, for asm_volatile_pause on ARM and ARM64

Summary:Found this hunting down LockFreeRingBuffer iOS perf problems. `wfe` and `yield` are similar, but `yield` is the instruction meant for "hey, I'm doing a spinlock", whereas `wfe` tries to wait for certain processor events. See http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0204j/Cjafcggi.html

Conveniently, it's the same instruction on 32-bit and 64-bit ARM.

Reviewed By: yfeldblum

Differential Revision: D2986160

fb-gh-sync-id: 34671256112e605bf857f9db54a56cf6bb6f1ee2
shipit-source-id: 34671256112e605bf857f9db54a56cf6bb6f1ee2

Fix folly::ThreadLocal to have unique singleton in dev builds

Summary:This re-uses StaticSingletonManager which was previously used to fix the same issue in folly::Singleton.

Because of the same issue we can no longer use static thread_local for the ThreadEntry. We now rely on pthread_getspecific/pthread_setspecific instead and use static thread_local ThreadEntry* only as a cache (to improve perf).

Reviewed By: yfeldblum

Differential Revision: D2978526

fb-gh-sync-id: cf1d9044afc27b62bd50a1ed931c0c420ae7107e
shipit-source-id: cf1d9044afc27b62bd50a1ed931c0c420ae7107e

Create the sys/time.h portability header

Summary: Windows doesn't have it.

Reviewed By: yfeldblum

Differential Revision: D2979215

fb-gh-sync-id: 030bdcaa44deb18834903705a26369ce0b13abc6
shipit-source-id: 030bdcaa44deb18834903705a26369ce0b13abc6

Split tests into test and benchmarks.

Summary:Split up

  io/test/IOBufCursorTest
  test/BitsTest
  test/CacheLocalityTest
  test/CallOnceTest
  test/ConvTest
  test/LoggingTest
  test/MemoryIdlerTest
  test/RandomTest
  test/ThreadLocalTest

Reviewed By: yfeldblum

Differential Revision: D2973132

fb-gh-sync-id: 9dadbdf49a31e82c3a2e34c2fdb6a2b47aa0928d
shipit-source-id: 9dadbdf49a31e82c3a2e34c2fdb6a2b47aa0928d

Split FileTest to a smaller test and an extended test

Summary: FileTest pulls in subprocess and does a lot more than just directly test File.h

Reviewed By: yfeldblum

Differential Revision: D2971641

fb-gh-sync-id: 16e1096ab3b0f6434a26f84c889ebb082ee3f210
shipit-source-id: 16e1096ab3b0f6434a26f84c889ebb082ee3f210

Create a portability header for working with environment variables

Summary:Because `extern char** environ` is not the correct way to access environ on Windows.
This also implements setenv and unsetenv for Windows, which means that TestUtils no longer needs to be disabled for the Windows build.

Reviewed By: mzlee

Differential Revision: D2973704

fb-gh-sync-id: 84db7db3494cf183fcbcc25063cb0482ef84ebf4
shipit-source-id: 84db7db3494cf183fcbcc25063cb0482ef84ebf4

shorten SharedMutex tests that timeout under ASAN

Summary:New ASAN options are more thorough but slower, resulting
in timeouts for some tests.  Decreasing their internal loop count to
compensate.

Reviewed By: yfeldblum

Differential Revision: D2973982

fb-gh-sync-id: 67391936d0b4930f99d00358ebb93a1b3ee87140
shipit-source-id: 67391936d0b4930f99d00358ebb93a1b3ee87140

Fixing AtomicHashArrayTest ASan Test Failure

Summary: Both of these tests will unavoidably fail on ASan because of shared library loads, and indestructable objects.  Disabling ASAN testing for these test files.

Reviewed By: yfeldblum

Differential Revision: D2968169

fb-gh-sync-id: d2acc71b40541af5e10f15d5087a7c07da05453d
shipit-source-id: d2acc71b40541af5e10f15d5087a7c07da05453d

Minor MSVC issues

Summary:MSVC doesn't let you have unicode characters in a narrow string without using a utf-8 literal string.
AsyncTransport needs the definition of IOBuf because of how the standard library implements a few things.
And longs are only 32-bit under Windows.

Reviewed By: yfeldblum

Differential Revision: D2973973

fb-gh-sync-id: c2f3e848e740a65c575598991d43dd79360ec1e3
shipit-source-id: c2f3e848e740a65c575598991d43dd79360ec1e3

Explicit vtordisp for MSVC

Summary:Because sometimes things are just different.

MSVC warns about the `dynamic_cast` done against this class because the class's declaration doesn't show that it would need a vtordisp. While I don't believe the `dynamic_cast` in question is actually called in either the constructor or destructor paths for the class, better to be safe and force the disp to be created.

Reviewed By: yfeldblum

Differential Revision: D2887490

Pulled By: Orvid

fb-gh-sync-id: 821a6fc820087ac7120fffd9f8b95a26c2b4e71b
shipit-source-id: 821a6fc820087ac7120fffd9f8b95a26c2b4e71b

folly/futures: keep Core alive until callback has returned

Summary:Callbacks passed to e.g. folly::Future::then (or
folly::Future::ensure) may delete the promise that keeps the
Core of the same future alive. The Core must protect itself from
destruction during callback execution.

This commit also adds a unit test to check for correct behaviour
in the "self destruction" scenario. The test should usually pass
even without the fix in Core.h. However, when you run the test
in Valgrind or ASAN, it will report problems unless the fix in
Core.h is applied.

Reviewed By: mhx

Differential Revision: D2938094

fb-gh-sync-id: 22796e168e1876ef2e3c7d7619da020be6a22073
shipit-source-id: 22796e168e1876ef2e3c7d7619da020be6a22073

Fix double definition for templated folly::Singletons

Summary: Allow createGlobal() to create dependent objects.

Reviewed By: yfeldblum

Differential Revision: D2963111

fb-gh-sync-id: 8e4da48a7a1000934963396b423e8eff98a8aade
shipit-source-id: 8e4da48a7a1000934963396b423e8eff98a8aade

Fix Build: folly/test/IndestructibleTest.cpp under LSAN

Summary:[Folly] Fix Build: `folly/test/IndestructibleTest.cpp` under LSAN.

Leaks of Meyers singletons are ignored automatically, while normal locals are not. So we make our instances be Meyers singletons.

Differential Revision: D2968368

fb-gh-sync-id: 385ac4491d9a105885af82d85354af929d69cc80
shipit-source-id: 385ac4491d9a105885af82d85354af929d69cc80

Fix SIOF in folly/io/async/Request.cpp

Summary: Use Meyers singleton instead.

Reviewed By: afrind

Differential Revision: D2963282

fb-gh-sync-id: 7aec36e7cc3b0ab09b2b093202f40d5b0d399f4d
shipit-source-id: 7aec36e7cc3b0ab09b2b093202f40d5b0d399f4d

AsyncSocketException: add detailed information in error message

Summary: AsyncSocketException: add detailed information in error message

Reviewed By: yfeldblum

Differential Revision: D2953030

fb-gh-sync-id: a5e26036657ecc6c74ad0369650730a2af13bead
shipit-source-id: a5e26036657ecc6c74ad0369650730a2af13bead

Split benchmarks and tests

Summary:Benchmarks need their own main function, which means they
aren't really useful in cases we can't use a custom main function.

Reviewed By: yfeldblum

Differential Revision: D2962104

fb-gh-sync-id: 25bdc6e5a8bdf8c3aa94d393207a74797b2e1234
shipit-source-id: 25bdc6e5a8bdf8c3aa94d393207a74797b2e1234

folly: symbolizer: dwarf: don't fallback to linear scan if address missing from .debug_aranges

Summary:Presence of .debug_aranges implies user expects fast address lookup.
Some addresses might not be avaialble in .debug_aranges.

Don't do slow lookup in .debug_info, as it can lead to unexpected slowdowns.

override-unit-failures

Reviewed By: philippv

Differential Revision: D2965323

fb-gh-sync-id: 405daefd57cdff4344fd231c5f5b7ff4dcd9df8c
shipit-source-id: 405daefd57cdff4344fd231c5f5b7ff4dcd9df8c

Fix OSX build

Summary: Fixed the build using the homebrew instructions

Reviewed By: yfeldblum

Differential Revision: D2960409

fb-gh-sync-id: 218b879f26b3baab09676cac51787bf36d0b4bed
shipit-source-id: 218b879f26b3baab09676cac51787bf36d0b4bed

fix SIOF in CacheLocality.h's AccessSpreader

Summary:This diff moves all data accessed during
AccessSpreader<>::current(x) into the .data segment, avoiding SIOF
without adding indirection or dynamic gating as would be the case for
normal singleton-like constructs.  The diff also trims the AccessSpreader
API to include only those methods that people actually seem to use.

Reviewed By: djwatson

Differential Revision: D2945205

fb-gh-sync-id: 847e31adc4450217f4ed0575686be261fb504d7c
shipit-source-id: 847e31adc4450217f4ed0575686be261fb504d7c

Remove extra `int main`s from unit tests.

Summary: test/common/TestMain.cpp should provide the necessary initialization.

Reviewed By: yfeldblum

Differential Revision: D2947245

fb-gh-sync-id: 75b9d241673667badf4dc8fb81285c60cbb8166a
shipit-source-id: 75b9d241673667badf4dc8fb81285c60cbb8166a

Move RequestContext::getStaticContext to .cpp

Summary: All singleton registration has to happen in .cpp. Otherwise singleton may be double registered if inlined.

Reviewed By: yfeldblum

Differential Revision: D2956951

fb-gh-sync-id: bea425c31270d614f4b8a780204694168602fe86
shipit-source-id: bea425c31270d614f4b8a780204694168602fe86

Support nested FiberManagers

Summary:It's possible to have nested loopUntilNoReady (with different FiberManagers). See unit test for a simple example.
This diff fixes currentFiberManager_ to be a stack.

Reviewed By: meyering

Differential Revision: D2953468

fb-gh-sync-id: 0abdcb7f43c94e7bb0adef8440699dc8e138d21a
shipit-source-id: 0abdcb7f43c94e7bb0adef8440699dc8e138d21a

Fix EventBaseOnDestructionCallback to loop FiberManager

Summary: EventBase loop should do it as well, but it's possible for LoopCallback to be removed before EventBaseOnDestructionCallback.

Reviewed By: pavlo-fb

Differential Revision: D2951303

fb-gh-sync-id: 43f5a91e7ecffa7ab7feec32fa45e01b28db66a3
shipit-source-id: 43f5a91e7ecffa7ab7feec32fa45e01b28db66a3

Fix folly::Singleton to work in dynamically linked binaries

Summary:This implements StaticSingletonManager which is then used to create all leaked Meyers singletons.

StaticSingletonManager is a singleton itself, which is created in a separate compilation unit (Singleton.cpp) and so we can be sure that other compilation units will always see a single instance of StaticSingletonManager, even if linked dynamically.

StaticSingletonManager then keeps a dictionary of typeid -> object pointer, which is used to de-duplicate same singleton being re-created from different compilation units (linked dynamically), usually because of code inlining.

override-unit-failures

Reviewed By: yfeldblum

Differential Revision: D2913027

fb-gh-sync-id: 1f5015a79a7a8297ebf5f0fe3fd0cc7eb44f706b
shipit-source-id: 1f5015a79a7a8297ebf5f0fe3fd0cc7eb44f706b

fix dangling pointer bug in IPAddressV6

Summary: `mask(numBits)` returns a temporary variable. After its lifetime ends, subbytes becomes a dangling pointer.

Reviewed By: yfeldblum

Differential Revision: D2953699

fb-gh-sync-id: 5d5a35716ecaa1b3d96edb5a459615756848b92f
shipit-source-id: 5d5a35716ecaa1b3d96edb5a459615756848b92f

Indestructible

Summary:[Folly] `Indestructible`.

For when you need a Meyers singleton that will never be destructed, even at program exit.

Good for large data structures with many heap allocations, as long as they have no behavior. No point in ever destructing them.

HT: Proxygen, and Orvid.

Reviewed By: andriigrynenko

Differential Revision: D2947959

fb-gh-sync-id: 7dd1f725edf137ba81fbf4032a0819fd7c627261
shipit-source-id: 7dd1f725edf137ba81fbf4032a0819fd7c627261

folly: symbolizer: slow address->{file+line-number} lookup if `.debug_aranges` is missing (e.g. --strip-debug-non-line)

Summary:Binaries linked with `gold` and `--strip-debug-non-line` don't have an `.debug_aranges` section

We still want to map `address->{file+line-number}` to get nice stack
traces even though this might be slower (linear search all compilation unit entries in `.debug_info`).

Before:
```
$ # link with gold + --strip-debug-non-line
$ folly/experimental/exception_tracer/exception_tracer_test
E0217 15:02:13.694947 1321814 ExceptionTracer.cpp:179] Exception type: std::runtime_error (9 frames)
    @ 000000000040ad2d __cxa_throw
    @ 0000000000409df3 bar()
    @ 0000000000409eab baz()
    @ 0000000000407c77 main
    @ 00007f00dd9860f5 __libc_start_main
    @ 000000000040991b (unknown)
```

After (similar to the output without `--strip-debug-non-line`):
```
E0217 18:37:37.579596 1583124 ExceptionTracer.cpp:179] Exception type: std::runtime_error (9 frames)
    @ 000000000040ad6d __cxa_throw
                       ./folly/experimental/exception_tracer/ExceptionTracerLib.cpp:57
    @ 0000000000409e33 bar()
                       ./folly/experimental/exception_tracer/ExceptionTracerTest.cpp:24
    @ 0000000000409eeb baz()
                       ./folly/experimental/exception_tracer/ExceptionTracerTest.cpp:51
    @ 0000000000407c87 main
                       ./folly/experimental/exception_tracer/ExceptionTracerTest.cpp:96
    @ 00007f1d16ff80f5 __libc_start_main
    @ 000000000040995b (unknown)
```

Differential Revision: D2947965

fb-gh-sync-id: e517bab324b1dcb70cadc9a5211ce794e35c83a5
shipit-source-id: e517bab324b1dcb70cadc9a5211ce794e35c83a5

Don't use a VLA for the double->string buffer.

Summary: MSVC is actually smarter about this than GCC, as MSVC doesn't support VLAs, it tries to eval the length at compile time. GCC on the other hand doesn't try to eval it at compile time, resulting in compiles via CMake telling us that this is a VLA.

Reviewed By: yfeldblum

Differential Revision: D2911929

fb-gh-sync-id: ffaa133bcf4129a3e02f7e875966d3ae6a97be6a
shipit-source-id: ffaa133bcf4129a3e02f7e875966d3ae6a97be6a

folly/ApplyTuple.h: fix const-correctness & other issues, simplify

Summary:The existing implementation of folly::applyTuple does not support
mutable callables (such as mutable lambdas and other functor objects
that only implement non-const operator()).

This commit adds a few more unit tests and changes the implementation
so that new and existing tests pass.

Reviewed By: yfeldblum

Differential Revision: D2942622

fb-gh-sync-id: 82478f290e9fd2020358ff79ef0a6bcf8a43738c
shipit-source-id: 82478f290e9fd2020358ff79ef0a6bcf8a43738c

Sort the Makefile headers a bit

Summary:[Folly] Sort the `Makefile` headers a bit.

Just manually moving a few obviously out-of-order entries.

Reviewed By: Orvid

Differential Revision: D2945668

fb-gh-sync-id: 604976d25e5913ef01d591e23737d61dacfbfc86
shipit-source-id: 604976d25e5913ef01d591e23737d61dacfbfc86

clang-format some code in preparation for real changes

Reviewed By: djwatson

Differential Revision: D2945770

fb-gh-sync-id: 9e4ee3b052b0bbb33ef796b8070edd24c6942589
shipit-source-id: 9e4ee3b052b0bbb33ef796b8070edd24c6942589

Add call_once, wrapper around std::call_once with a fast path

Summary: std::call_once is a nice API but the current GCC implementation is slower than it needs to be.  Adding a header-only wrapper with an additional atomic bool.

Reviewed By: luciang

Differential Revision: D2938884

fb-gh-sync-id: 5939c94fe62a1523053dcff26c880ecaec9e1150
shipit-source-id: 5939c94fe62a1523053dcff26c880ecaec9e1150

Handle wrapvFull when IOV_MAX is not defined.

Summary:--Perhaps this should move to Portability.h instead.  There is another instance of this in io/async/AsyncSocket.cpp.--

Added `portability/SysUio.h` to handle the c-macro conversion into a usable value.

Reviewed By: yfeldblum

Differential Revision: D2940778

fb-gh-sync-id: 897e44b430c02e5a7d826f3e8da9e4979b7b898c
shipit-source-id: 897e44b430c02e5a7d826f3e8da9e4979b7b898c

ECDSA async/offloading support for proxygen

Summary: Minor changes to AsyncSSLSocket for async crypto

Reviewed By: siyengar

Differential Revision: D2516765

fb-gh-sync-id: 354baeb94e6f63e8d5cdf8455ff5ca49a6aa479c
shipit-source-id: 354baeb94e6f63e8d5cdf8455ff5ca49a6aa479c

Fix wrapvFull for the case when iovec* has size more than 1024

Summary: `folly::wrapvFull` fail if the passed in `iovec*` has more than 1024 (`IOV_MAX`) elements. In particular, it returns -1 with errno 22 [Invalid argument]. The fix is to limit maximum size of iovec* to IOV_MAX that is passed in to `readv/writev/...` in a single iteration of outer loop.

Reviewed By: yfeldblum

Differential Revision: D2935540

fb-gh-sync-id: 6c0a073ac0b59db3d53fb4269b13ddfcc479efb1
shipit-source-id: 6c0a073ac0b59db3d53fb4269b13ddfcc479efb1

folly::Optional<T> should be trivially destructible when T is

Summary:There doesn't appear to be a way to use std::enable_if on a
destructor, so conditionally select from one of two storage types.

Reviewed By: yfeldblum

Differential Revision: D2923902

fb-gh-sync-id: 2def8d1031d70379fd84e8eb555dad9d2b4996f2
shipit-source-id: 2def8d1031d70379fd84e8eb555dad9d2b4996f2

Modification to futures to remove deadlock in certain use cases for getVia(executor).

Summary: If getVia was called on a future modified using via, getVia could deadlock if the original future was updated to a new executor and there was no callback chained after the call to via. In effect: f.via(executor).getVia(executor); deadlocks. This can be a problem if the code is hidden in a library and the precise semantics are unclear. This diff adds a test that exposes the problem and a fix by forcing waitVia to add a callback that will satisfy the new exector, ensuring that drive() has a callback to trigger once the future is satisfied.

Reviewed By: andriigrynenko

Differential Revision: D2906858

fb-gh-sync-id: a3105079530f15d7a7d39a9381c4078665b721a7
shipit-source-id: a3105079530f15d7a7d39a9381c4078665b721a7

Unify runInMainContext for void and non-void

Summary: This also fixes a bug where exception was not re-thrown for functions returning void.

Reviewed By: spalamarchuk

Differential Revision: D2936887

fb-gh-sync-id: 9828dec131203528c27eae874aba147168f40d0d
shipit-source-id: 9828dec131203528c27eae874aba147168f40d0d

Make Gold more like Core.

Summary:Adding padding for Android was wrong, instead, we should have
used `std::aligned_storage`.

Reviewed By: fugalh

Differential Revision: D2934566

fb-gh-sync-id: f541b89309be70791fced48f63b6b5aecc49bfbb
shipit-source-id: f541b89309be70791fced48f63b6b5aecc49bfbb

folly/test/json_test: fix heap-buffer-overflow in Json.PrintTo test

Summary:Json.PrintTo test if failing with heap-buffer-overflow asan abort. The problem here comes up
when values of `std::string` and `std::ostrstring::str()` are compared.  `std::ostrstring::str()` returns
*non null* terminated array of `char`s. When compared with `std::string` a read from memory after
the end that array is made. Fixing the test by replacing `std::ostrstream` with `std::ostringstream`,
that does append `\0`.

Reviewed By: yfeldblum

Differential Revision: D2934352

fb-gh-sync-id: c6a5d765c9951716b8a14715702cf3d940c6d723
shipit-source-id: c6a5d765c9951716b8a14715702cf3d940c6d723

Convert Thrift1(2)RequestDispatcher::sendMessage()

Summary:This depends on D2897095.

The main goal here is to start moving onRequestSuccess and onRequestFailure calls higher in the stack.

Reviewed By: mmcduff

Differential Revision: D2899959

fb-gh-sync-id: 4e074c2d734f88f5be56000095b892c6d47c0dcc
shipit-source-id: 4e074c2d734f88f5be56000095b892c6d47c0dcc

folly copyright 2015 -> copyright 2016

Summary: Update copyright for 2016

Reviewed By: igorsugak

Differential Revision: D2828047

fb-gh-sync-id: 8638188aeb694c3ca2a615cc2bc3bc9d251e388d
shipit-source-id: 8638188aeb694c3ca2a615cc2bc3bc9d251e388d

Fix Singleton/ThreadLocal destruction order crashes in buck dev builds

Summary: This adds a folly::Singleton->folly::ThreadLocal dependency to make sure folly::ThreadLocal is always loaded first. Otherwise PthreadKeyUnregister singleton is created after folly::Singleton storage, even though it has higher priority.

Reviewed By: andrewjcg

Differential Revision: D2931170

fb-gh-sync-id: 36392d76e98201f2b4416b4bbef451d6c0e8c69d
shipit-source-id: 36392d76e98201f2b4416b4bbef451d6c0e8c69d

Fix MultiLevelTimeseries::getRate()

Summary:I hit a landmine where rate() returned 0 for my tests where fewer than 60 items were added per minute.  This was because it was truncating it.  And yet, countRate() was working.
It doesn't make sense for a rate (value accumulated per time period) to be integral.
Folly: I changed rate() to return a double by default for folly, as was done by avg() and countRate().  Looked like a typo to me.
Common wrapper: I changed getRate() to allow you to override and make it double, as was done by getAvg().  Defaulting to int (which is usually the value type) is a bad call IMO but it's a riskier change to change it to double, and I want to be consistent with getAvg().

Reviewed By: tracelog

Differential Revision: D2921061

fb-gh-sync-id: 00875f2ab7963ef3ba2db475aedaf6ebd413b38f
shipit-source-id: 00875f2ab7963ef3ba2db475aedaf6ebd413b38f

fix -Wshadowing in String.cpp

Summary: Didn't check this with -Wshadow when I first wrote it.

Reviewed By: ranjeeth

Differential Revision: D2926047

fb-gh-sync-id: 8391986dee2d6b5698491bd2995f039468ec684d
shipit-source-id: 8391986dee2d6b5698491bd2995f039468ec684d

Fix typo in StringTest

Summary: It should be UL instead of ULL.

Reviewed By: siyengar

Differential Revision: D2926005

fb-gh-sync-id: d2387eb601c50d9820907c831277aa6f8e938cbb
shipit-source-id: d2387eb601c50d9820907c831277aa6f8e938cbb

Switch stripLeftMargin to not use boost::regex

Summary: Remove boost regex from `stripLeftMargin`. We can shrink some binaries by not including it in the core folly library.

Reviewed By: yfeldblum

Differential Revision: D2922415

fb-gh-sync-id: cee89164c650706f0e5c07eed3d40500831918cd
shipit-source-id: cee89164c650706f0e5c07eed3d40500831918cd

Add MAX_STATIC_CONSTRUCTOR_PRIORITY to PthreadKeyUnregister

Summary: We want onThreadExit to be canceled as late as possible. Otherwise accessAllThreads() may crash on shutdown (because ThreadEntry is destroyed, but not removed from the global list).

Reviewed By: igorsugak

Differential Revision: D2923435

fb-gh-sync-id: 3a8eef05844bb547c06db33cb96734df1169852a
shipit-source-id: 3a8eef05844bb547c06db33cb96734df1169852a

Compensate for -m32 platforms.

Summary:
When compiled for -m32, this test fails because of the
difference between longs.

Reviewed By: yfeldblum

Differential Revision: D2924626

fb-gh-sync-id: 8ee863fa2b6df8519bd52d0d3144697a297780bb
shipit-source-id: 8ee863fa2b6df8519bd52d0d3144697a297780bb

Minor optimizations in ExceptionCounterLib

Summary: Avoid allocation and logging inside the throw handler, and some other minor tweaks.

Reviewed By: bort, luciang

Differential Revision: D2921073

fb-gh-sync-id: 4491ab2f85a4251e59ba9394bba5abef0bdf7a10
shipit-source-id: 4491ab2f85a4251e59ba9394bba5abef0bdf7a10

Fix EventBase destruction race in FiberManagerMap

Summary:
Previously we could be reading from thread-local FiberManagerMap while it was modified.
This is now fixed by keeping a per-thread list of EventBases which need to be removed from local maps. On the fast-path no action is taken, since list will be empty.

This is second try, since D2853921 got reverted.
The new implementation is simpler and does not rely on AtomicLinkedList.

Reviewed By: yfeldblum

Differential Revision: D2908018

fb-gh-sync-id: 4d7aed974c19761f7e2732ddbf8694af57c69bd6
shipit-source-id: 4d7aed974c19761f7e2732ddbf8694af57c69bd6

stripLeftMargin

Summary:
[Folly] `stripLeftMargin`.

So you can do:

    TEST(MyClass, doSomethingWithString) {
      //  Multiline string literal is indented properly inside the test case
      //  instead of being aligned all the way to the left, which would make
      //  the test case read poorly.
      auto input = folly::stripLeftMargin(R"TEXT(
        first line
        second line
        third line
      )TEXT");
      auto expected = //...
      auto actual = MyClass::doSomethingWithString(input);
      EXPECT_EQ(expected, actual);
    }

Reviewed By: markisaa

Differential Revision: D2909736

fb-gh-sync-id: ebb07da05e1a788535064cfcd9e07f617a007800
shipit-source-id: ebb07da05e1a788535064cfcd9e07f617a007800

Relax HHWheelTimer::destroy assertion to accommodate SharedPtr

Summary:
HHWheelTimer's auto-pointers are kind of funny.  You can do something like this:

```
HHWheelTimer::UniquePtr p = ...;
// create a SharedPtr from UniquePtr
HHWheelTimer::SharedPtr s(p);
// create another SharedPtr from raw ptr
HHWheelTimer::SharedPtr s(p.get());
// No problem.

If you do this:

HHWheelTimer::SharedPtr p = ....;
// this leaks
```

Why?  Because SharedPtr is only have of std::shared_ptr.  It's the refcounting half.  But when the last SharedPtr goes out of scope, it **does not** invoke HHWheelTimer::destroy().

So code like this is possible/expected:

```
MySweetObj::MySweetObj(HHWheelTimer::SharedPtr s) {
  s_ = s;
  s_.scheduleTimeout(a, b);
}

{
  HHWheelTimer::UniquePtr p = ...;

  obj = MySweetObj(p)

  // But what if I decide to kill p:
  p.reset();
}
```

Since MySweetObj takes a SharedPtr and holds it, it can reasonbly expect that it can schedule timeouts on it, and the HHWheelTimer will not be deleted until it releases the SharedPtr.  This is true, but the above code would hit the assert that count_ == 0.

Instead, relase the check that count_ == 0 only if there are no extra outstanding SharedPtrs.

Reviewed By: viswanathgs, chadparry

Differential Revision: D2908729

fb-gh-sync-id: 9abd4a7d692fe952c5514dbb8d85dfbad95a3cac
shipit-source-id: 9abd4a7d692fe952c5514dbb8d85dfbad95a3cac

Fix bad merge.

Summary:
FBStringTest.cpp was refactored, but the TestUtil and
TemporaryFile was not properly removed.

Reviewed By: yfeldblum

Differential Revision: D2913045

fb-gh-sync-id: 710c3f5b808acb634dfcd65219484ddc257ed52c