folly/gen/Base.h

   1 /*
   2  * Copyright 2017 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #pragma once
  18 #define FOLLY_GEN_BASE_H_
  19
  20 #include <algorithm>
  21 #include <functional>
  22 #include <memory>
  23 #include <random>
  24 #include <type_traits>
  25 #include <unordered_map>
  26 #include <unordered_set>
  27 #include <utility>
  28 #include <vector>
  29
  30 #include <folly/Conv.h>
  31 #include <folly/Optional.h>
  32 #include <folly/Range.h>
  33 #include <folly/Utility.h>
  34 #include <folly/gen/Core.h>
  35
  36 /**
  37  * Generator-based Sequence Comprehensions in C++, akin to C#'s LINQ
  38  * @author Tom Jackson <tjackson@fb.com>
  39  *
  40  * This library makes it possible to write declarative comprehensions for
  41  * processing sequences of values efficiently in C++. The operators should be
  42  * familiar to those with experience in functional programming, and the
  43  * performance will be virtually identical to the equivalent, boilerplate C++
  44  * implementations.
  45  *
  46  * Generator objects may be created from either an stl-like container (anything
  47  * supporting begin() and end()), from sequences of values, or from another
  48  * generator (see below). To create a generator that pulls values from a vector,
  49  * for example, one could write:
  50  *
  51  *   vector<string> names { "Jack", "Jill", "Sara", "Tom" };
  52  *   auto gen = from(names);
  53  *
  54  * Generators are composed by building new generators out of old ones through
  55  * the use of operators. These are reminicent of shell pipelines, and afford
  56  * similar composition. Lambda functions are used liberally to describe how to
  57  * handle individual values:
  58  *
  59  *   auto lengths = gen
  60  *                | mapped([](const fbstring& name) { return name.size(); });
  61  *
  62  * Generators are lazy; they don't actually perform any work until they need to.
  63  * As an example, the 'lengths' generator (above) won't actually invoke the
  64  * provided lambda until values are needed:
  65  *
  66  *   auto lengthVector = lengths | as<std::vector>();
  67  *   auto totalLength = lengths | sum;
  68  *
  69  * 'auto' is useful in here because the actual types of the generators objects
  70  * are usually complicated and implementation-sensitive.
  71  *
  72  * If a simpler type is desired (for returning, as an example), VirtualGen<T>
  73  * may be used to wrap the generator in a polymorphic wrapper:
  74  *
  75  *  VirtualGen<float> powersOfE() {
  76  *    return seq(1) | mapped(&expf);
  77  *  }
  78  *
  79  * To learn more about this library, including the use of infinite generators,
  80  * see the examples in the comments, or the docs (coming soon).
  81  */
  82
  83 namespace folly {
  84 namespace gen {
  85
  86 class Less {
  87 public:
  88   template <class First, class Second>
  89   auto operator()(const First& first, const Second& second) const ->
  90   decltype(first < second) {
  91     return first < second;
  92   }
  93 };
  94
  95 class Greater {
  96 public:
  97   template <class First, class Second>
  98   auto operator()(const First& first, const Second& second) const ->
  99   decltype(first > second) {
 100     return first > second;
 101   }
 102 };
 103
 104 template <int n>
 105 class Get {
 106 public:
 107   template <class Value>
 108   auto operator()(Value&& value) const ->
 109   decltype(std::get<n>(std::forward<Value>(value))) {
 110     return std::get<n>(std::forward<Value>(value));
 111   }
 112 };
 113
 114 template <class Class, class Result>
 115 class MemberFunction {
 116  public:
 117   typedef Result (Class::*MemberPtr)();
 118  private:
 119   MemberPtr member_;
 120  public:
 121   explicit MemberFunction(MemberPtr member)
 122     : member_(member)
 123   {}
 124
 125   Result operator()(Class&& x) const {
 126     return (x.*member_)();
 127   }
 128
 129   Result operator()(Class& x) const {
 130     return (x.*member_)();
 131   }
 132
 133   Result operator()(Class* x) const {
 134     return (x->*member_)();
 135   }
 136 };
 137
 138 template <class Class, class Result>
 139 class ConstMemberFunction{
 140  public:
 141   typedef Result (Class::*MemberPtr)() const;
 142  private:
 143   MemberPtr member_;
 144  public:
 145   explicit ConstMemberFunction(MemberPtr member)
 146     : member_(member)
 147   {}
 148
 149   Result operator()(const Class& x) const {
 150     return (x.*member_)();
 151   }
 152
 153   Result operator()(const Class* x) const {
 154     return (x->*member_)();
 155   }
 156 };
 157
 158 template <class Class, class FieldType>
 159 class Field {
 160  public:
 161   typedef FieldType (Class::*FieldPtr);
 162  private:
 163   FieldPtr field_;
 164  public:
 165   explicit Field(FieldPtr field)
 166     : field_(field)
 167   {}
 168
 169   const FieldType& operator()(const Class& x) const {
 170     return x.*field_;
 171   }
 172
 173   const FieldType& operator()(const Class* x) const {
 174     return x->*field_;
 175   }
 176
 177   FieldType& operator()(Class& x) const {
 178     return x.*field_;
 179   }
 180
 181   FieldType& operator()(Class* x) const {
 182     return x->*field_;
 183   }
 184
 185   FieldType&& operator()(Class&& x) const {
 186     return std::move(x.*field_);
 187   }
 188 };
 189
 190 class Move {
 191 public:
 192   template <class Value>
 193   auto operator()(Value&& value) const ->
 194   decltype(std::move(std::forward<Value>(value))) {
 195     return std::move(std::forward<Value>(value));
 196   }
 197 };
 198
 199 /**
 200  * Class and helper function for negating a boolean Predicate
 201  */
 202 template <class Predicate>
 203 class Negate {
 204   Predicate pred_;
 205
 206  public:
 207   Negate() = default;
 208
 209   explicit Negate(Predicate pred)
 210     : pred_(std::move(pred))
 211   {}
 212
 213   template <class Arg>
 214   bool operator()(Arg&& arg) const {
 215     return !pred_(std::forward<Arg>(arg));
 216   }
 217 };
 218 template <class Predicate>
 219 Negate<Predicate> negate(Predicate pred) {
 220   return Negate<Predicate>(std::move(pred));
 221 }
 222
 223 template <class Dest>
 224 class Cast {
 225  public:
 226   template <class Value>
 227   Dest operator()(Value&& value) const {
 228     return Dest(std::forward<Value>(value));
 229   }
 230 };
 231
 232 template <class Dest>
 233 class To {
 234  public:
 235   template <class Value>
 236   Dest operator()(Value&& value) const {
 237     return ::folly::to<Dest>(std::forward<Value>(value));
 238   }
 239 };
 240
 241 // Specialization to allow String->StringPiece conversion
 242 template <>
 243 class To<StringPiece> {
 244  public:
 245   StringPiece operator()(StringPiece src) const {
 246     return src;
 247   }
 248 };
 249
 250 template <class Key, class Value>
 251 class Group;
 252
 253 namespace detail {
 254
 255 template <class Self>
 256 struct FBounded;
 257
 258 /*
 259  * Type Traits
 260  */
 261 template <class Container>
 262 struct ValueTypeOfRange {
 263  public:
 264   using RefType = decltype(*std::begin(std::declval<Container&>()));
 265   using StorageType = typename std::decay<RefType>::type;
 266 };
 267
 268
 269 /*
 270  * Sources
 271  */
 272 template <
 273     class Container,
 274     class Value = typename ValueTypeOfRange<Container>::RefType>
 275 class ReferencedSource;
 276
 277 template <
 278     class Value,
 279     class Container = std::vector<typename std::decay<Value>::type>>
 280 class CopiedSource;
 281
 282 template <class Value, class SequenceImpl>
 283 class Sequence;
 284
 285 template <class Value>
 286 class RangeImpl;
 287
 288 template <class Value, class Distance>
 289 class RangeWithStepImpl;
 290
 291 template <class Value>
 292 class SeqImpl;
 293
 294 template <class Value, class Distance>
 295 class SeqWithStepImpl;
 296
 297 template <class Value>
 298 class InfiniteImpl;
 299
 300 template <class Value, class Source>
 301 class Yield;
 302
 303 template <class Value>
 304 class Empty;
 305
 306 template <class Value>
 307 class SingleReference;
 308
 309 template <class Value>
 310 class SingleCopy;
 311
 312 /*
 313  * Operators
 314  */
 315 template <class Predicate>
 316 class Map;
 317
 318 template <class Predicate>
 319 class Filter;
 320
 321 template <class Predicate>
 322 class Until;
 323
 324 class Take;
 325
 326 class Stride;
 327
 328 template <class Rand>
 329 class Sample;
 330
 331 class Skip;
 332
 333 template <class Selector, class Comparer = Less>
 334 class Order;
 335
 336 template <class Selector>
 337 class GroupBy;
 338
 339 template <class Selector>
 340 class Distinct;
 341
 342 template <class Operators>
 343 class Composer;
 344
 345 template <class Expected>
 346 class TypeAssertion;
 347
 348 class Concat;
 349
 350 class RangeConcat;
 351
 352 template <bool forever>
 353 class Cycle;
 354
 355 class Batch;
 356
 357 class Dereference;
 358
 359 class Indirect;
 360
 361 /*
 362  * Sinks
 363  */
 364 template <class Seed, class Fold>
 365 class FoldLeft;
 366
 367 class First;
 368
 369 template <bool result>
 370 class IsEmpty;
 371
 372 template <class Reducer>
 373 class Reduce;
 374
 375 class Sum;
 376
 377 template <class Selector, class Comparer>
 378 class Min;
 379
 380 template <class Container>
 381 class Collect;
 382
 383 template <
 384     template <class, class> class Collection = std::vector,
 385     template <class> class Allocator = std::allocator>
 386 class CollectTemplate;
 387
 388 template <class Collection>
 389 class Append;
 390
 391 template <class Value>
 392 struct GeneratorBuilder;
 393
 394 template <class Needle>
 395 class Contains;
 396
 397 template <class Exception, class ErrorHandler>
 398 class GuardImpl;
 399
 400 template <class T>
 401 class UnwrapOr;
 402
 403 class Unwrap;
 404
 405 }
 406
 407 /**
 408  * Polymorphic wrapper
 409  **/
 410 template <class Value>
 411 class VirtualGen;
 412
 413 /*
 414  * Source Factories
 415  */
 416 template <
 417     class Container,
 418     class From = detail::ReferencedSource<const Container>>
 419 From fromConst(const Container& source) {
 420   return From(&source);
 421 }
 422
 423 template <class Container, class From = detail::ReferencedSource<Container>>
 424 From from(Container& source) {
 425   return From(&source);
 426 }
 427
 428 template <
 429     class Container,
 430     class Value = typename detail::ValueTypeOfRange<Container>::StorageType,
 431     class CopyOf = detail::CopiedSource<Value>>
 432 CopyOf fromCopy(Container&& source) {
 433   return CopyOf(std::forward<Container>(source));
 434 }
 435
 436 template <class Value, class From = detail::CopiedSource<Value>>
 437 From from(std::initializer_list<Value> source) {
 438   return From(source);
 439 }
 440
 441 template <
 442     class Container,
 443     class From =
 444         detail::CopiedSource<typename Container::value_type, Container>>
 445 From from(Container&& source) {
 446   return From(std::move(source));
 447 }
 448
 449 template <
 450     class Value,
 451     class Impl = detail::RangeImpl<Value>,
 452     class Gen = detail::Sequence<Value, Impl>>
 453 Gen range(Value begin, Value end) {
 454   return Gen{std::move(begin), Impl{std::move(end)}};
 455 }
 456
 457 template <
 458     class Value,
 459     class Distance,
 460     class Impl = detail::RangeWithStepImpl<Value, Distance>,
 461     class Gen = detail::Sequence<Value, Impl>>
 462 Gen range(Value begin, Value end, Distance step) {
 463   return Gen{std::move(begin), Impl{std::move(end), std::move(step)}};
 464 }
 465
 466 template <
 467     class Value,
 468     class Impl = detail::SeqImpl<Value>,
 469     class Gen = detail::Sequence<Value, Impl>>
 470 Gen seq(Value first, Value last) {
 471   return Gen{std::move(first), Impl{std::move(last)}};
 472 }
 473
 474 template <
 475     class Value,
 476     class Distance,
 477     class Impl = detail::SeqWithStepImpl<Value, Distance>,
 478     class Gen = detail::Sequence<Value, Impl>>
 479 Gen seq(Value first, Value last, Distance step) {
 480   return Gen{std::move(first), Impl{std::move(last), std::move(step)}};
 481 }
 482
 483 template <
 484     class Value,
 485     class Impl = detail::InfiniteImpl<Value>,
 486     class Gen = detail::Sequence<Value, Impl>>
 487 Gen seq(Value first) {
 488   return Gen{std::move(first), Impl{}};
 489 }
 490
 491 template <class Value, class Source, class Yield = detail::Yield<Value, Source>>
 492 Yield generator(Source&& source) {
 493   return Yield(std::forward<Source>(source));
 494 }
 495
 496 /*
 497  * Create inline generator, used like:
 498  *
 499  *  auto gen = GENERATOR(int) { yield(1); yield(2); };
 500  */
 501 #define GENERATOR(TYPE)                            \
 502   ::folly::gen::detail::GeneratorBuilder<TYPE>() + \
 503    [=](const std::function<void(TYPE)>& yield)
 504
 505 /*
 506  * empty() - for producing empty sequences.
 507  */
 508 template <class Value>
 509 detail::Empty<Value> empty() {
 510   return {};
 511 }
 512
 513 template <
 514     class Value,
 515     class Just = typename std::conditional<
 516         std::is_reference<Value>::value,
 517         detail::SingleReference<typename std::remove_reference<Value>::type>,
 518         detail::SingleCopy<Value>>::type>
 519 Just just(Value&& value) {
 520   return Just(std::forward<Value>(value));
 521 }
 522
 523 /*
 524  * Operator Factories
 525  */
 526 template <class Predicate, class Map = detail::Map<Predicate>>
 527 Map mapped(Predicate pred = Predicate()) {
 528   return Map(std::move(pred));
 529 }
 530
 531 template <class Predicate, class Map = detail::Map<Predicate>>
 532 Map map(Predicate pred = Predicate()) {
 533   return Map(std::move(pred));
 534 }
 535
 536 /**
 537  * mapOp - Given a generator of generators, maps the application of the given
 538  * operator on to each inner gen. Especially useful in aggregating nested data
 539  * structures:
 540  *
 541  *   chunked(samples, 256)
 542  *     | mapOp(filter(sampleTest) | count)
 543  *     | sum;
 544  */
 545 template <class Operator, class Map = detail::Map<detail::Composer<Operator>>>
 546 Map mapOp(Operator op) {
 547   return Map(detail::Composer<Operator>(std::move(op)));
 548 }
 549
 550 /*
 551  * member(...) - For extracting a member from each value.
 552  *
 553  *  vector<string> strings = ...;
 554  *  auto sizes = from(strings) | member(&string::size);
 555  *
 556  * If a member is const overridden (like 'front()'), pass template parameter
 557  * 'Const' to select the const version, or 'Mutable' to select the non-const
 558  * version:
 559  *
 560  *  auto heads = from(strings) | member<Const>(&string::front);
 561  */
 562 enum MemberType {
 563   Const,
 564   Mutable
 565 };
 566
 567 /**
 568  * These exist because MSVC has problems with expression SFINAE in templates
 569  * assignment and comparisons don't work properly without being pulled out
 570  * of the template declaration
 571  */
 572 template <MemberType Constness>
 573 struct ExprIsConst {
 574   enum {
 575     value = Constness == Const
 576   };
 577 };
 578
 579 template <MemberType Constness>
 580 struct ExprIsMutable {
 581   enum {
 582     value = Constness == Mutable
 583   };
 584 };
 585
 586 template <
 587     MemberType Constness = Const,
 588     class Class,
 589     class Return,
 590     class Mem = ConstMemberFunction<Class, Return>,
 591     class Map = detail::Map<Mem>>
 592 typename std::enable_if<ExprIsConst<Constness>::value, Map>::type
 593 member(Return (Class::*member)() const) {
 594   return Map(Mem(member));
 595 }
 596
 597 template <
 598     MemberType Constness = Mutable,
 599     class Class,
 600     class Return,
 601     class Mem = MemberFunction<Class, Return>,
 602     class Map = detail::Map<Mem>>
 603 typename std::enable_if<ExprIsMutable<Constness>::value, Map>::type
 604 member(Return (Class::*member)()) {
 605   return Map(Mem(member));
 606 }
 607
 608 /*
 609  * field(...) - For extracting a field from each value.
 610  *
 611  *  vector<Item> items = ...;
 612  *  auto names = from(items) | field(&Item::name);
 613  *
 614  * Note that if the values of the generator are rvalues, any non-reference
 615  * fields will be rvalues as well. As an example, the code below does not copy
 616  * any strings, only moves them:
 617  *
 618  *  auto namesVector = from(items)
 619  *                   | move
 620  *                   | field(&Item::name)
 621  *                   | as<vector>();
 622  */
 623 template <
 624     class Class,
 625     class FieldType,
 626     class Field = Field<Class, FieldType>,
 627     class Map = detail::Map<Field>>
 628 Map field(FieldType Class::*field) {
 629   return Map(Field(field));
 630 }
 631
 632 template <class Predicate = Identity, class Filter = detail::Filter<Predicate>>
 633 Filter filter(Predicate pred = Predicate()) {
 634   return Filter(std::move(pred));
 635 }
 636
 637 template <class Predicate, class Until = detail::Until<Predicate>>
 638 Until until(Predicate pred = Predicate()) {
 639   return Until(std::move(pred));
 640 }
 641
 642 template <
 643     class Selector = Identity,
 644     class Comparer = Less,
 645     class Order = detail::Order<Selector, Comparer>>
 646 Order orderBy(Selector selector = Selector(),
 647               Comparer comparer = Comparer()) {
 648   return Order(std::move(selector),
 649                std::move(comparer));
 650 }
 651
 652 template <
 653     class Selector = Identity,
 654     class Order = detail::Order<Selector, Greater>>
 655 Order orderByDescending(Selector selector = Selector()) {
 656   return Order(std::move(selector));
 657 }
 658
 659 template <class Selector = Identity, class GroupBy = detail::GroupBy<Selector>>
 660 GroupBy groupBy(Selector selector = Selector()) {
 661   return GroupBy(std::move(selector));
 662 }
 663
 664 template <
 665     class Selector = Identity,
 666     class Distinct = detail::Distinct<Selector>>
 667 Distinct distinctBy(Selector selector = Selector()) {
 668   return Distinct(std::move(selector));
 669 }
 670
 671 template <int n, class Get = detail::Map<Get<n>>>
 672 Get get() {
 673   return Get();
 674 }
 675
 676 // construct Dest from each value
 677 template <class Dest, class Cast = detail::Map<Cast<Dest>>>
 678 Cast eachAs() {
 679   return Cast();
 680 }
 681
 682 // call folly::to on each value
 683 template <class Dest, class To = detail::Map<To<Dest>>>
 684 To eachTo() {
 685   return To();
 686 }
 687
 688 template <class Value>
 689 detail::TypeAssertion<Value> assert_type() {
 690   return {};
 691 }
 692
 693 /*
 694  * Sink Factories
 695  */
 696
 697 /**
 698  * any() - For determining if any value in a sequence satisfies a predicate.
 699  *
 700  * The following is an example for checking if any computer is broken:
 701  *
 702  *   bool schrepIsMad = from(computers) | any(isBroken);
 703  *
 704  * (because everyone knows Schrep hates broken computers).
 705  *
 706  * Note that if no predicate is provided, 'any()' checks if any of the values
 707  * are true when cased to bool. To check if any of the scores are nonZero:
 708  *
 709  *   bool somebodyScored = from(scores) | any();
 710  *
 711  * Note: Passing an empty sequence through 'any()' will always return false. In
 712  * fact, 'any()' is equivilent to the composition of 'filter()' and 'notEmpty'.
 713  *
 714  *   from(source) | any(pred) == from(source) | filter(pred) | notEmpty
 715  */
 716
 717 template <
 718     class Predicate = Identity,
 719     class Filter = detail::Filter<Predicate>,
 720     class NotEmpty = detail::IsEmpty<false>,
 721     class Composed = detail::Composed<Filter, NotEmpty>>
 722 Composed any(Predicate pred = Predicate()) {
 723   return Composed(Filter(std::move(pred)), NotEmpty());
 724 }
 725
 726 /**
 727  * all() - For determining whether all values in a sequence satisfy a predicate.
 728  *
 729  * The following is an example for checking if all members of a team are cool:
 730  *
 731  *   bool isAwesomeTeam = from(team) | all(isCool);
 732  *
 733  * Note that if no predicate is provided, 'all()'' checks if all of the values
 734  * are true when cased to bool.
 735  * The following makes sure none of 'pointers' are nullptr:
 736  *
 737  *   bool allNonNull = from(pointers) | all();
 738  *
 739  * Note: Passing an empty sequence through 'all()' will always return true. In
 740  * fact, 'all()' is equivilent to the composition of 'filter()' with the
 741  * reversed predicate and 'isEmpty'.
 742  *
 743  *   from(source) | all(pred) == from(source) | filter(negate(pred)) | isEmpty
 744  */
 745
 746 template <
 747     class Predicate = Identity,
 748     class Filter = detail::Filter<Negate<Predicate>>,
 749     class IsEmpty = detail::IsEmpty<true>,
 750     class Composed = detail::Composed<Filter, IsEmpty>>
 751 Composed all(Predicate pred = Predicate()) {
 752   return Composed(Filter(std::move(negate(pred))), IsEmpty());
 753 }
 754
 755 template <class Seed, class Fold, class FoldLeft = detail::FoldLeft<Seed, Fold>>
 756 FoldLeft foldl(Seed seed = Seed(),
 757                Fold fold = Fold()) {
 758   return FoldLeft(std::move(seed),
 759                   std::move(fold));
 760 }
 761
 762 template <class Reducer, class Reduce = detail::Reduce<Reducer>>
 763 Reduce reduce(Reducer reducer = Reducer()) {
 764   return Reduce(std::move(reducer));
 765 }
 766
 767 template <class Selector = Identity, class Min = detail::Min<Selector, Less>>
 768 Min minBy(Selector selector = Selector()) {
 769   return Min(std::move(selector));
 770 }
 771
 772 template <class Selector, class MaxBy = detail::Min<Selector, Greater>>
 773 MaxBy maxBy(Selector selector = Selector()) {
 774   return MaxBy(std::move(selector));
 775 }
 776
 777 template <class Collection, class Collect = detail::Collect<Collection>>
 778 Collect as() {
 779   return Collect();
 780 }
 781
 782 template <
 783     template <class, class> class Container = std::vector,
 784     template <class> class Allocator = std::allocator,
 785     class Collect = detail::CollectTemplate<Container, Allocator>>
 786 Collect as() {
 787   return Collect();
 788 }
 789
 790 template <class Collection, class Append = detail::Append<Collection>>
 791 Append appendTo(Collection& collection) {
 792   return Append(&collection);
 793 }
 794
 795 template <
 796     class Needle,
 797     class Contains = detail::Contains<typename std::decay<Needle>::type>>
 798 Contains contains(Needle&& needle) {
 799   return Contains(std::forward<Needle>(needle));
 800 }
 801
 802 template <
 803     class Exception,
 804     class ErrorHandler,
 805     class GuardImpl =
 806         detail::GuardImpl<Exception, typename std::decay<ErrorHandler>::type>>
 807 GuardImpl guard(ErrorHandler&& handler) {
 808   return GuardImpl(std::forward<ErrorHandler>(handler));
 809 }
 810
 811 template <
 812     class Fallback,
 813     class UnwrapOr = detail::UnwrapOr<typename std::decay<Fallback>::type>>
 814 UnwrapOr unwrapOr(Fallback&& fallback) {
 815   return UnwrapOr(std::forward<Fallback>(fallback));
 816 }
 817 } // gen
 818 } // folly
 819
 820 #include <folly/gen/Base-inl.h>