Remove dead var
[oota-llvm.git] / lib / Analysis / DataStructure / DataStructure.cpp
index 6371196c1f7dee0f1012543f43d83fa1ac29760d..241c2a9e35485a339b852cda1845254ddbd36e0a 100644 (file)
@@ -9,6 +9,8 @@
 #include "llvm/iOther.h"
 #include "llvm/DerivedTypes.h"
 #include "llvm/Target/TargetData.h"
+#include "llvm/Assembly/Writer.h"
+#include "Support/Debug.h"
 #include "Support/STLExtras.h"
 #include "Support/Statistic.h"
 #include "Support/Timer.h"
@@ -49,8 +51,8 @@ DSNode *DSNodeHandle::HandleForwarding() const {
 // DSNode Implementation
 //===----------------------------------------------------------------------===//
 
-DSNode::DSNode(unsigned NT, const Type *T, DSGraph *G)
-  : NumReferrers(0), Size(0), ParentGraph(G), Ty(Type::VoidTy), NodeType(NT) {
+DSNode::DSNode(const Type *T, DSGraph *G)
+  : NumReferrers(0), Size(0), ParentGraph(G), Ty(Type::VoidTy), NodeType(0) {
   // Add the type entry if it is specified...
   if (T) mergeTypeInfo(T, 0);
   G->getNodes().push_back(this);
@@ -58,8 +60,8 @@ DSNode::DSNode(unsigned NT, const Type *T, DSGraph *G)
 
 // DSNode copy constructor... do not copy over the referrers list!
 DSNode::DSNode(const DSNode &N, DSGraph *G)
-  : NumReferrers(0), Size(N.Size), ParentGraph(G), Ty(N.Ty),
-    Links(N.Links), Globals(N.Globals), NodeType(N.NodeType) {
+  : NumReferrers(0), Size(N.Size), ParentGraph(G),
+    Ty(N.Ty), Links(N.Links), Globals(N.Globals), NodeType(N.NodeType) {
   G->getNodes().push_back(this);
 }
 
@@ -68,6 +70,13 @@ void DSNode::assertOK() const {
           Ty == Type::VoidTy && (Size == 0 ||
                                  (NodeType & DSNode::Array))) &&
          "Node not OK!");
+
+  assert(ParentGraph && "Node has no parent?");
+  const DSGraph::ScalarMapTy &SM = ParentGraph->getScalarMap();
+  for (unsigned i = 0, e = Globals.size(); i != e; ++i) {
+    assert(SM.find(Globals[i]) != SM.end());
+    assert(SM.find(Globals[i])->second.getNode() == this);
+  }
 }
 
 /// forwardNode - Mark this node as being obsolete, and all references to it
@@ -107,14 +116,13 @@ void DSNode::addGlobal(GlobalValue *GV) {
 /// single byte with a single TypeEntry of "void".
 ///
 void DSNode::foldNodeCompletely() {
-  assert(!hasNoReferrers() &&
-         "Why would we collapse a node with no referrers?");
   if (isNodeCompletelyFolded()) return;  // If this node is already folded...
 
   ++NumFolds;
 
   // Create the node we are going to forward to...
-  DSNode *DestNode = new DSNode(NodeType|DSNode::Array, 0, ParentGraph);
+  DSNode *DestNode = new DSNode(0, ParentGraph);
+  DestNode->NodeType = NodeType|DSNode::Array;
   DestNode->Ty = Type::VoidTy;
   DestNode->Size = 1;
   DestNode->Globals.swap(Globals);
@@ -144,6 +152,121 @@ bool DSNode::isNodeCompletelyFolded() const {
 }
 
 
+namespace {
+  /// TypeElementWalker Class - Used for implementation of physical subtyping...
+  ///
+  class TypeElementWalker {
+    struct StackState {
+      const Type *Ty;
+      unsigned Offset;
+      unsigned Idx;
+      StackState(const Type *T, unsigned Off = 0)
+        : Ty(T), Offset(Off), Idx(0) {}
+    };
+
+    std::vector<StackState> Stack;
+  public:
+    TypeElementWalker(const Type *T) {
+      Stack.push_back(T);
+      StepToLeaf();
+    }
+
+    bool isDone() const { return Stack.empty(); }
+    const Type *getCurrentType()   const { return Stack.back().Ty;     }
+    unsigned    getCurrentOffset() const { return Stack.back().Offset; }
+
+    void StepToNextType() {
+      PopStackAndAdvance();
+      StepToLeaf();
+    }
+
+  private:
+    /// PopStackAndAdvance - Pop the current element off of the stack and
+    /// advance the underlying element to the next contained member.
+    void PopStackAndAdvance() {
+      assert(!Stack.empty() && "Cannot pop an empty stack!");
+      Stack.pop_back();
+      while (!Stack.empty()) {
+        StackState &SS = Stack.back();
+        if (const StructType *ST = dyn_cast<StructType>(SS.Ty)) {
+          ++SS.Idx;
+          if (SS.Idx != ST->getElementTypes().size()) {
+            const StructLayout *SL = TD.getStructLayout(ST);
+            SS.Offset += SL->MemberOffsets[SS.Idx]-SL->MemberOffsets[SS.Idx-1];
+            return;
+          }
+          Stack.pop_back();  // At the end of the structure
+        } else {
+          const ArrayType *AT = cast<ArrayType>(SS.Ty);
+          ++SS.Idx;
+          if (SS.Idx != AT->getNumElements()) {
+            SS.Offset += TD.getTypeSize(AT->getElementType());
+            return;
+          }
+          Stack.pop_back();  // At the end of the array
+        }
+      }
+    }
+
+    /// StepToLeaf - Used by physical subtyping to move to the first leaf node
+    /// on the type stack.
+    void StepToLeaf() {
+      if (Stack.empty()) return;
+      while (!Stack.empty() && !Stack.back().Ty->isFirstClassType()) {
+        StackState &SS = Stack.back();
+        if (const StructType *ST = dyn_cast<StructType>(SS.Ty)) {
+          if (ST->getElementTypes().empty()) {
+            assert(SS.Idx == 0);
+            PopStackAndAdvance();
+          } else {
+            // Step into the structure...
+            assert(SS.Idx < ST->getElementTypes().size());
+            const StructLayout *SL = TD.getStructLayout(ST);
+            Stack.push_back(StackState(ST->getElementTypes()[SS.Idx],
+                                       SS.Offset+SL->MemberOffsets[SS.Idx]));
+          }
+        } else {
+          const ArrayType *AT = cast<ArrayType>(SS.Ty);
+          if (AT->getNumElements() == 0) {
+            assert(SS.Idx == 0);
+            PopStackAndAdvance();
+          } else {
+            // Step into the array...
+            assert(SS.Idx < AT->getNumElements());
+            Stack.push_back(StackState(AT->getElementType(),
+                                       SS.Offset+SS.Idx*
+                                       TD.getTypeSize(AT->getElementType())));
+          }
+        }
+      }
+    }
+  };
+}
+
+/// ElementTypesAreCompatible - Check to see if the specified types are
+/// "physically" compatible.  If so, return true, else return false.  We only
+/// have to check the fields in T1: T2 may be larger than T1.
+///
+static bool ElementTypesAreCompatible(const Type *T1, const Type *T2) {
+  TypeElementWalker T1W(T1), T2W(T2);
+  
+  while (!T1W.isDone() && !T2W.isDone()) {
+    if (T1W.getCurrentOffset() != T2W.getCurrentOffset())
+      return false;
+
+    const Type *T1 = T1W.getCurrentType();
+    const Type *T2 = T2W.getCurrentType();
+    if (T1 != T2 && !T1->isLosslesslyConvertibleTo(T2))
+      return false;
+    
+    T1W.StepToNextType();
+    T2W.StepToNextType();
+  }
+  
+  return T1W.isDone();
+}
+
+
 /// mergeTypeInfo - This method merges the specified type into the current node
 /// at the specified offset.  This may update the current node's type record if
 /// this gives more information to the node, it may do nothing to the node if
@@ -152,7 +275,8 @@ bool DSNode::isNodeCompletelyFolded() const {
 ///
 /// This method returns true if the node is completely folded, otherwise false.
 ///
-bool DSNode::mergeTypeInfo(const Type *NewTy, unsigned Offset) {
+bool DSNode::mergeTypeInfo(const Type *NewTy, unsigned Offset,
+                           bool FoldIfIncompatible) {
   // Check to make sure the Size member is up-to-date.  Size can be one of the
   // following:
   //  Size = 0, Ty = Void: Nothing is known about this node.
@@ -213,14 +337,14 @@ bool DSNode::mergeTypeInfo(const Type *NewTy, unsigned Offset) {
     // It is illegal to grow this node if we have treated it as an array of
     // objects...
     if (isArray()) {
-      foldNodeCompletely();
+      if (FoldIfIncompatible) foldNodeCompletely();
       return true;
     }
 
     if (Offset) {  // We could handle this case, but we don't for now...
-      DEBUG(std::cerr << "UNIMP: Trying to merge a growth type into "
-                      << "offset != 0: Collapsing!\n");
-      foldNodeCompletely();
+      std::cerr << "UNIMP: Trying to merge a growth type into "
+                << "offset != 0: Collapsing!\n";
+      if (FoldIfIncompatible) foldNodeCompletely();
       return true;
     }
 
@@ -277,7 +401,7 @@ bool DSNode::mergeTypeInfo(const Type *NewTy, unsigned Offset) {
       break;
     }
     default:
-      foldNodeCompletely();
+      if (FoldIfIncompatible) foldNodeCompletely();
       return true;
     }
   }
@@ -287,12 +411,20 @@ bool DSNode::mergeTypeInfo(const Type *NewTy, unsigned Offset) {
   // If we found our type exactly, early exit
   if (SubType == NewTy) return false;
 
+  unsigned SubTypeSize = SubType->isSized() ? TD.getTypeSize(SubType) : 0;
+
+  // Ok, we are getting desperate now.  Check for physical subtyping, where we
+  // just require each element in the node to be compatible.
+  if (NewTySize <= SubTypeSize && NewTySize && NewTySize < 256 &&
+      SubTypeSize && SubTypeSize < 256 && 
+      ElementTypesAreCompatible(NewTy, SubType))
+    return false;
+
   // Okay, so we found the leader type at the offset requested.  Search the list
   // of types that starts at this offset.  If SubType is currently an array or
   // structure, the type desired may actually be the first element of the
   // composite type...
   //
-  unsigned SubTypeSize = SubType->isSized() ? TD.getTypeSize(SubType) : 0;
   unsigned PadSize = SubTypeSize; // Size, including pad memory which is ignored
   while (SubType != NewTy) {
     const Type *NextSubType = 0;
@@ -335,8 +467,8 @@ bool DSNode::mergeTypeInfo(const Type *NewTy, unsigned Offset) {
 
   // Check to see if we have a compatible, but different type...
   if (NewTySize == SubTypeSize) {
-    // Check to see if this type is obviously convertable... int -> uint f.e.
-    if (NewTy->isLosslesslyConvertableTo(SubType))
+    // Check to see if this type is obviously convertible... int -> uint f.e.
+    if (NewTy->isLosslesslyConvertibleTo(SubType))
       return false;
 
     // Check to see if we have a pointer & integer mismatch going on here,
@@ -351,12 +483,16 @@ bool DSNode::mergeTypeInfo(const Type *NewTy, unsigned Offset) {
     return false;
   }
 
+  Module *M = 0;
+  if (getParentGraph()->getReturnNodes().size())
+    M = getParentGraph()->getReturnNodes().begin()->first->getParent();
+  DEBUG(std::cerr << "MergeTypeInfo Folding OrigTy: ";
+        WriteTypeSymbolic(std::cerr, Ty, M) << "\n due to:";
+        WriteTypeSymbolic(std::cerr, NewTy, M) << " @ " << Offset << "!\n"
+                  << "SubType: ";
+        WriteTypeSymbolic(std::cerr, SubType, M) << "\n\n");
 
-  DEBUG(std::cerr << "MergeTypeInfo Folding OrigTy: " << Ty
-                  << "\n due to:" << NewTy << " @ " << Offset << "!\n"
-                  << "SubType: " << SubType << "\n\n");
-
-  foldNodeCompletely();
+  if (FoldIfIncompatible) foldNodeCompletely();
   return true;
 }
 
@@ -444,10 +580,21 @@ void DSNode::MergeNodes(DSNodeHandle& CurNodeH, DSNodeHandle& NH) {
   unsigned NOffset = CurNodeH.getOffset()-NH.getOffset();
   unsigned NSize = NH.getNode()->getSize();
 
-  // Merge the type entries of the two nodes together...
+  // If the two nodes are of different size, and the smaller node has the array
+  // bit set, collapse!
+  if (NSize != CurNodeH.getNode()->getSize()) {
+    if (NSize < CurNodeH.getNode()->getSize()) {
+      if (NH.getNode()->isArray())
+        NH.getNode()->foldNodeCompletely();
+    } else if (CurNodeH.getNode()->isArray()) {
+      NH.getNode()->foldNodeCompletely();
+    }
+  }
+
+  // Merge the type entries of the two nodes together...    
   if (NH.getNode()->Ty != Type::VoidTy)
     CurNodeH.getNode()->mergeTypeInfo(NH.getNode()->Ty, NOffset);
-  assert((CurNodeH.getNode()->NodeType & DSNode::DEAD) == 0);
+  assert(!CurNodeH.getNode()->isDeadNode());
 
   // If we are merging a node with a completely folded node, then both nodes are
   // now completely folded.
@@ -472,12 +619,14 @@ void DSNode::MergeNodes(DSNodeHandle& CurNodeH, DSNodeHandle& NH) {
 
   DSNode *N = NH.getNode();
   if (CurNodeH.getNode() == N || N == 0) return;
-  assert((CurNodeH.getNode()->NodeType & DSNode::DEAD) == 0);
+  assert(!CurNodeH.getNode()->isDeadNode());
 
-  // Start forwarding to the new node!
+  // Merge the NodeType information...
   CurNodeH.getNode()->NodeType |= N->NodeType;
+
+  // Start forwarding to the new node!
   N->forwardNode(CurNodeH.getNode(), NOffset);
-  assert((CurNodeH.getNode()->NodeType & DSNode::DEAD) == 0);
+  assert(!CurNodeH.getNode()->isDeadNode());
 
   // Make all of the outgoing links of N now be outgoing links of CurNodeH.
   //
@@ -523,8 +672,7 @@ void DSNode::mergeWith(const DSNodeHandle &NH, unsigned Offset) {
   if (N == 0 || (N == this && NH.getOffset() == Offset))
     return;  // Noop
 
-  assert((N->NodeType & DSNode::DEAD) == 0);
-  assert((NodeType & DSNode::DEAD) == 0);
+  assert(!N->isDeadNode() && !isDeadNode());
   assert(!hasNoReferrers() && "Should not try to fold a useless node!");
 
   if (N == this) {
@@ -569,24 +717,43 @@ Function &DSCallSite::getCaller() const {
 // DSGraph Implementation
 //===----------------------------------------------------------------------===//
 
-DSGraph::DSGraph(const DSGraph &G) : Func(G.Func), GlobalsGraph(0) {
+/// getFunctionNames - Return a space separated list of the name of the
+/// functions in this graph (if any)
+std::string DSGraph::getFunctionNames() const {
+  switch (getReturnNodes().size()) {
+  case 0: return "Globals graph";
+  case 1: return getReturnNodes().begin()->first->getName();
+  default:
+    std::string Return;
+    for (DSGraph::ReturnNodesTy::const_iterator I = getReturnNodes().begin();
+         I != getReturnNodes().end(); ++I)
+      Return += I->first->getName() + " ";
+    Return.erase(Return.end()-1, Return.end());   // Remove last space character
+    return Return;
+  }
+}
+
+
+DSGraph::DSGraph(const DSGraph &G) : GlobalsGraph(0) {
   PrintAuxCalls = false;
-  hash_map<const DSNode*, DSNodeHandle> NodeMap;
-  RetNode = cloneInto(G, ScalarMap, NodeMap);
+  NodeMapTy NodeMap;
+  cloneInto(G, ScalarMap, ReturnNodes, NodeMap);
+  InlinedGlobals.clear();               // clear set of "up-to-date" globals
 }
 
-DSGraph::DSGraph(const DSGraph &G,
-                 hash_map<const DSNode*, DSNodeHandle> &NodeMap)
-  : Func(G.Func), GlobalsGraph(0) {
+DSGraph::DSGraph(const DSGraph &G, NodeMapTy &NodeMap)
+  : GlobalsGraph(0) {
   PrintAuxCalls = false;
-  RetNode = cloneInto(G, ScalarMap, NodeMap);
+  cloneInto(G, ScalarMap, ReturnNodes, NodeMap);
+  InlinedGlobals.clear();               // clear set of "up-to-date" globals
 }
 
 DSGraph::~DSGraph() {
   FunctionCalls.clear();
   AuxFunctionCalls.clear();
+  InlinedGlobals.clear();
   ScalarMap.clear();
-  RetNode.setNode(0);
+  ReturnNodes.clear();
 
   // Drop all intra-node references, so that assertions don't fail...
   std::for_each(Nodes.begin(), Nodes.end(),
@@ -603,7 +770,7 @@ void DSGraph::dump() const { print(std::cerr); }
 /// remapLinks - Change all of the Links in the current node according to the
 /// specified mapping.
 ///
-void DSNode::remapLinks(hash_map<const DSNode*, DSNodeHandle> &OldNodeMap) {
+void DSNode::remapLinks(DSGraph::NodeMapTy &OldNodeMap) {
   for (unsigned i = 0, e = Links.size(); i != e; ++i) {
     DSNodeHandle &H = OldNodeMap[Links[i].getNode()];
     Links[i].setNode(H.getNode());
@@ -612,16 +779,135 @@ void DSNode::remapLinks(hash_map<const DSNode*, DSNodeHandle> &OldNodeMap) {
 }
 
 
-// cloneInto - Clone the specified DSGraph into the current graph, returning the
-// Return node of the graph.  The translated ScalarMap for the old function is
-// filled into the OldValMap member.  If StripAllocas is set to true, Alloca
-// markers are removed from the graph, as the graph is being cloned into a
-// calling function's graph.
-//
-DSNodeHandle DSGraph::cloneInto(const DSGraph &G, 
-                                hash_map<Value*, DSNodeHandle> &OldValMap,
-                              hash_map<const DSNode*, DSNodeHandle> &OldNodeMap,
-                                unsigned CloneFlags) {
+/// cloneReachableNodes - Clone all reachable nodes from *Node into the
+/// current graph.  This is a recursive function.  The map OldNodeMap is a
+/// map from the original nodes to their clones.
+/// 
+void DSGraph::cloneReachableNodes(const DSNode*  Node,
+                                  unsigned BitsToClear,
+                                  NodeMapTy& OldNodeMap,
+                                  NodeMapTy& CompletedNodeMap) {
+  if (CompletedNodeMap.find(Node) != CompletedNodeMap.end())
+    return;
+
+  DSNodeHandle& NH = OldNodeMap[Node];
+  if (NH.getNode() != NULL)
+    return;
+
+  // else Node has not yet been cloned: clone it and clear the specified bits
+  NH = new DSNode(*Node, this);          // enters in OldNodeMap
+  NH.getNode()->maskNodeTypes(~BitsToClear);
+
+  // now recursively clone nodes pointed to by this node
+  for (unsigned i = 0, e = Node->getNumLinks(); i != e; ++i) {
+    const DSNodeHandle &Link = Node->getLink(i << DS::PointerShift);
+    if (const DSNode* nextNode = Link.getNode())
+      cloneReachableNodes(nextNode, BitsToClear, OldNodeMap, CompletedNodeMap);
+  }
+}
+
+void DSGraph::cloneReachableSubgraph(const DSGraph& G,
+                                     const hash_set<const DSNode*>& RootNodes,
+                                     NodeMapTy& OldNodeMap,
+                                     NodeMapTy& CompletedNodeMap,
+                                     unsigned CloneFlags) {
+  if (RootNodes.empty())
+    return;
+
+  assert(OldNodeMap.empty() && "Returned OldNodeMap should be empty!");
+  assert(&G != this && "Cannot clone graph into itself!");
+  assert((*RootNodes.begin())->getParentGraph() == &G &&
+         "Root nodes do not belong to this graph!");
+
+  // Remove alloca or mod/ref bits as specified...
+  unsigned BitsToClear = ((CloneFlags & StripAllocaBit)? DSNode::AllocaNode : 0)
+    | ((CloneFlags & StripModRefBits)? (DSNode::Modified | DSNode::Read) : 0)
+    | ((CloneFlags & StripIncompleteBit)? DSNode::Incomplete : 0);
+  BitsToClear |= DSNode::DEAD;  // Clear dead flag...
+
+  // Clone all nodes reachable from each root node, using a recursive helper
+  for (hash_set<const DSNode*>::const_iterator I = RootNodes.begin(),
+         E = RootNodes.end(); I != E; ++I)
+    cloneReachableNodes(*I, BitsToClear, OldNodeMap, CompletedNodeMap);
+
+  // Merge the map entries in OldNodeMap and CompletedNodeMap to remap links
+  NodeMapTy MergedMap(OldNodeMap);
+  MergedMap.insert(CompletedNodeMap.begin(), CompletedNodeMap.end());
+
+  // Rewrite the links in the newly created nodes (the nodes in OldNodeMap)
+  // to point into the current graph.  MergedMap gives the full mapping.
+  for (NodeMapTy::iterator I=OldNodeMap.begin(), E=OldNodeMap.end(); I!= E; ++I)
+    I->second.getNode()->remapLinks(MergedMap);
+
+  // Now merge cloned global nodes with their copies in the current graph
+  // Just look through OldNodeMap to find such nodes!
+  for (NodeMapTy::iterator I=OldNodeMap.begin(), E=OldNodeMap.end(); I!= E; ++I)
+    if (I->first->isGlobalNode()) {
+      DSNodeHandle &GClone = I->second;
+      assert(GClone.getNode() != NULL && "NULL node in OldNodeMap?");
+      const std::vector<GlobalValue*> &Globals = I->first->getGlobals();
+      for (unsigned gi = 0, ge = Globals.size(); gi != ge; ++gi) {
+        DSNodeHandle &GH = ScalarMap[Globals[gi]];
+        GH.mergeWith(GClone);
+      }
+    }
+}
+
+
+/// updateFromGlobalGraph - This function rematerializes global nodes and
+/// nodes reachable from them from the globals graph into the current graph.
+/// It invokes cloneReachableSubgraph, using the globals in the current graph
+/// as the roots.  It also uses the vector InlinedGlobals to avoid cloning and
+/// merging globals that are already up-to-date in the current graph.  In
+/// practice, in the TD pass, this is likely to be a large fraction of the
+/// live global nodes in each function (since most live nodes are likely to
+/// have been brought up-to-date in at _some_ caller or callee).
+/// 
+void DSGraph::updateFromGlobalGraph() {
+
+  // Use a map to keep track of the mapping between nodes in the globals graph
+  // and this graph for up-to-date global nodes, which do not need to be cloned.
+  NodeMapTy CompletedMap;
+
+  // Put the live, non-up-to-date global nodes into a set and the up-to-date
+  // ones in the map above, mapping node in GlobalsGraph to the up-to-date node.
+  hash_set<const DSNode*> GlobalNodeSet;
+  for (ScalarMapTy::const_iterator I = getScalarMap().begin(),
+         E = getScalarMap().end(); I != E; ++I)
+    if (GlobalValue* GV = dyn_cast<GlobalValue>(I->first)) {
+      DSNode* GNode = I->second.getNode();
+      assert(GNode && "No node for live global in current Graph?");
+      if (const DSNode* GGNode = GlobalsGraph->ScalarMap[GV].getNode())
+        if (InlinedGlobals.count(GV) == 0) // GNode is not up-to-date
+          GlobalNodeSet.insert(GGNode);
+        else {                                       // GNode is up-to-date 
+          CompletedMap[GGNode] = I->second;
+          assert(GGNode->getNumLinks() == GNode->getNumLinks() &&
+                 "Links dont match in a node that is supposed to be up-to-date?"
+                 "\nremapLinks() will not work if the links don't match!");
+        }
+    }
+
+  // Clone the subgraph reachable from the vector of nodes in GlobalNodes
+  // and merge the cloned global nodes with the corresponding ones, if any.
+  NodeMapTy OldNodeMap;
+  cloneReachableSubgraph(*GlobalsGraph, GlobalNodeSet, OldNodeMap,CompletedMap);
+
+  // Merging global nodes leaves behind unused nodes: get rid of them now.
+  OldNodeMap.clear();      // remove references before dead node cleanup 
+  CompletedMap.clear();    // remove references before dead node cleanup 
+  removeTriviallyDeadNodes();
+}
+
+/// cloneInto - Clone the specified DSGraph into the current graph.  The
+/// translated ScalarMap for the old function is filled into the OldValMap
+/// member, and the translated ReturnNodes map is returned into ReturnNodes.
+///
+/// The CloneFlags member controls various aspects of the cloning process.
+///
+void DSGraph::cloneInto(const DSGraph &G, ScalarMapTy &OldValMap,
+                        ReturnNodesTy &OldReturnNodes, NodeMapTy &OldNodeMap,
+                        unsigned CloneFlags) {
   assert(OldNodeMap.empty() && "Returned OldNodeMap should be empty!");
   assert(&G != this && "Cannot clone graph into itself!");
 
@@ -631,13 +917,14 @@ DSNodeHandle DSGraph::cloneInto(const DSGraph &G,
   Nodes.reserve(FN+G.Nodes.size());
 
   // Remove alloca or mod/ref bits as specified...
-  unsigned clearBits = (CloneFlags & StripAllocaBit ? DSNode::AllocaNode : 0)
-    | (CloneFlags & StripModRefBits ? (DSNode::Modified | DSNode::Read) : 0);
-  clearBits |= DSNode::DEAD;  // Clear dead flag...
+  unsigned BitsToClear = ((CloneFlags & StripAllocaBit)? DSNode::AllocaNode : 0)
+    | ((CloneFlags & StripModRefBits)? (DSNode::Modified | DSNode::Read) : 0)
+    | ((CloneFlags & StripIncompleteBit)? DSNode::Incomplete : 0);
+  BitsToClear |= DSNode::DEAD;  // Clear dead flag...
   for (unsigned i = 0, e = G.Nodes.size(); i != e; ++i) {
     DSNode *Old = G.Nodes[i];
     DSNode *New = new DSNode(*Old, this);
-    New->NodeType &= ~clearBits;
+    New->maskNodeTypes(~BitsToClear);
     OldNodeMap[Old] = New;
   }
 
@@ -650,19 +937,17 @@ DSNodeHandle DSGraph::cloneInto(const DSGraph &G,
     Nodes[i]->remapLinks(OldNodeMap);
 
   // Copy the scalar map... merging all of the global nodes...
-  for (hash_map<Value*, DSNodeHandle>::const_iterator I = G.ScalarMap.begin(),
+  for (ScalarMapTy::const_iterator I = G.ScalarMap.begin(),
          E = G.ScalarMap.end(); I != E; ++I) {
-    DSNodeHandle &H = OldValMap[I->first];
     DSNodeHandle &MappedNode = OldNodeMap[I->second.getNode()];
-    H.setOffset(I->second.getOffset()+MappedNode.getOffset());
-    H.setNode(MappedNode.getNode());
+    DSNodeHandle &H = OldValMap[I->first];
+    H.mergeWith(DSNodeHandle(MappedNode.getNode(),
+                             I->second.getOffset()+MappedNode.getOffset()));
 
-    if (isa<GlobalValue>(I->first)) {  // Is this a global?
-      hash_map<Value*, DSNodeHandle>::iterator GVI = ScalarMap.find(I->first);
-      if (GVI != ScalarMap.end())     // Is the global value in this fn already?
-        GVI->second.mergeWith(H);
-      else
-        ScalarMap[I->first] = H;      // Add global pointer to this graph
+    // If this is a global, add the global to this fn or merge if already exists
+    if (GlobalValue* GV = dyn_cast<GlobalValue>(I->first)) {
+      ScalarMap[GV].mergeWith(H);
+      InlinedGlobals.insert(GV);
     }
   }
 
@@ -682,10 +967,15 @@ DSNodeHandle DSGraph::cloneInto(const DSGraph &G,
       AuxFunctionCalls.push_back(DSCallSite(G.AuxFunctionCalls[i], OldNodeMap));
   }
 
-  // Return the returned node pointer...
-  DSNodeHandle &MappedRet = OldNodeMap[G.RetNode.getNode()];
-  return DSNodeHandle(MappedRet.getNode(),
-                      MappedRet.getOffset()+G.RetNode.getOffset());
+  // Map the return node pointers over...
+  for (ReturnNodesTy::const_iterator I = G.getReturnNodes().begin(),
+         E = G.getReturnNodes().end(); I != E; ++I) {
+    const DSNodeHandle &Ret = I->second;
+    DSNodeHandle &MappedRet = OldNodeMap[Ret.getNode()];
+    OldReturnNodes.insert(std::make_pair(I->first,
+                          DSNodeHandle(MappedRet.getNode(),
+                                       MappedRet.getOffset()+Ret.getOffset())));
+  }
 }
 
 /// mergeInGraph - The method is used for merging graphs together.  If the
@@ -693,25 +983,29 @@ DSNodeHandle DSGraph::cloneInto(const DSGraph &G,
 /// merges the nodes specified in the call site with the formal arguments in the
 /// graph.
 ///
-void DSGraph::mergeInGraph(DSCallSite &CS, const DSGraph &Graph,
-                           unsigned CloneFlags) {
-  hash_map<Value*, DSNodeHandle> OldValMap;
+void DSGraph::mergeInGraph(const DSCallSite &CS, Function &F,
+                           const DSGraph &Graph, unsigned CloneFlags) {
+  ScalarMapTy OldValMap, *ScalarMap;
   DSNodeHandle RetVal;
-  hash_map<Value*, DSNodeHandle> *ScalarMap = &OldValMap;
 
   // If this is not a recursive call, clone the graph into this graph...
   if (&Graph != this) {
     // Clone the callee's graph into the current graph, keeping
     // track of where scalars in the old graph _used_ to point,
     // and of the new nodes matching nodes of the old graph.
-    hash_map<const DSNode*, DSNodeHandle> OldNodeMap;
+    NodeMapTy OldNodeMap;
     
     // The clone call may invalidate any of the vectors in the data
     // structure graph.  Strip locals and don't copy the list of callers
-    RetVal = cloneInto(Graph, OldValMap, OldNodeMap, CloneFlags);
+    ReturnNodesTy OldRetNodes;
+    cloneInto(Graph, OldValMap, OldRetNodes, OldNodeMap, CloneFlags);
+
+    // We need to map the arguments for the function to the cloned nodes old
+    // argument values.  Do this now.
+    RetVal = OldRetNodes[&F];
     ScalarMap = &OldValMap;
   } else {
-    RetVal = getRetNode();
+    RetVal = getReturnNodeFor(F);
     ScalarMap = &getScalarMap();
   }
 
@@ -719,7 +1013,6 @@ void DSGraph::mergeInGraph(DSCallSite &CS, const DSGraph &Graph,
   RetVal.mergeWith(CS.getRetVal());
 
   // Resolve all of the function arguments...
-  Function &F = Graph.getFunction();
   Function::aiterator AI = F.abegin();
 
   for (unsigned i = 0, e = CS.getNumPtrArgs(); i != e; ++i, ++AI) {
@@ -741,19 +1034,33 @@ void DSGraph::mergeInGraph(DSCallSite &CS, const DSGraph &Graph,
   }
 }
 
+/// getCallSiteForArguments - Get the arguments and return value bindings for
+/// the specified function in the current graph.
+///
+DSCallSite DSGraph::getCallSiteForArguments(Function &F) const {
+  std::vector<DSNodeHandle> Args;
+
+  for (Function::aiterator I = F.abegin(), E = F.aend(); I != E; ++I)
+    if (isPointerType(I->getType()))
+      Args.push_back(getScalarMap().find(I)->second);
+
+  return DSCallSite(*(CallInst*)0, getReturnNodeFor(F), &F, Args);
+}
+
+
 
 // markIncompleteNodes - Mark the specified node as having contents that are not
 // known with the current analysis we have performed.  Because a node makes all
-// of the nodes it can reach imcomplete if the node itself is incomplete, we
+// of the nodes it can reach incomplete if the node itself is incomplete, we
 // must recursively traverse the data structure graph, marking all reachable
 // nodes as incomplete.
 //
 static void markIncompleteNode(DSNode *N) {
   // Stop recursion if no node, or if node already marked...
-  if (N == 0 || (N->NodeType & DSNode::Incomplete)) return;
+  if (N == 0 || N->isIncomplete()) return;
 
   // Actually mark the node
-  N->NodeType |= DSNode::Incomplete;
+  N->setIncompleteMarker();
 
   // Recusively process children...
   for (unsigned i = 0, e = N->getSize(); i < e; i += DS::PointerSize)
@@ -782,10 +1089,16 @@ static void markIncomplete(DSCallSite &Call) {
 //
 void DSGraph::markIncompleteNodes(unsigned Flags) {
   // Mark any incoming arguments as incomplete...
-  if ((Flags & DSGraph::MarkFormalArgs) && Func && Func->getName() != "main")
-    for (Function::aiterator I = Func->abegin(), E = Func->aend(); I != E; ++I)
-      if (isPointerType(I->getType()) && ScalarMap.find(I) != ScalarMap.end())
-        markIncompleteNode(ScalarMap[I].getNode());
+  if (Flags & DSGraph::MarkFormalArgs)
+    for (ReturnNodesTy::iterator FI = ReturnNodes.begin(), E =ReturnNodes.end();
+         FI != E; ++FI) {
+      Function &F = *FI->first;
+      if (F.getName() != "main")
+        for (Function::aiterator I = F.abegin(), E = F.aend(); I != E; ++I)
+          if (isPointerType(I->getType()) &&
+              ScalarMap.find(I) != ScalarMap.end())
+            markIncompleteNode(ScalarMap[I].getNode());
+    }
 
   // Mark stuff passed into functions calls as being incomplete...
   if (!shouldPrintAuxCalls())
@@ -799,14 +1112,15 @@ void DSGraph::markIncompleteNodes(unsigned Flags) {
   // Mark all global nodes as incomplete...
   if ((Flags & DSGraph::IgnoreGlobals) == 0)
     for (unsigned i = 0, e = Nodes.size(); i != e; ++i)
-      if (Nodes[i]->NodeType & DSNode::GlobalNode)
+      if (Nodes[i]->isGlobalNode() && Nodes[i]->getNumLinks())
         markIncompleteNode(Nodes[i]);
 }
 
 static inline void killIfUselessEdge(DSNodeHandle &Edge) {
   if (DSNode *N = Edge.getNode())  // Is there an edge?
     if (N->getNumReferrers() == 1)  // Does it point to a lonely node?
-      if ((N->NodeType & ~DSNode::Incomplete) == 0 && // No interesting info?
+      // No interesting info?
+      if ((N->getNodeFlags() & ~DSNode::Incomplete) == 0 &&
           N->getType() == Type::VoidTy && !N->isNodeCompletelyFolded())
         Edge.setNode(0);  // Kill the edge!
 }
@@ -819,8 +1133,8 @@ static inline bool nodeContainsExternalFunction(const DSNode *N) {
   return false;
 }
 
-static void removeIdenticalCalls(std::vector<DSCallSite> &Calls,
-                                 const std::string &where) {
+static void removeIdenticalCalls(std::vector<DSCallSite> &Calls) {
+
   // Remove trivially identical function calls
   unsigned NumFns = Calls.size();
   std::sort(Calls.begin(), Calls.end());  // Sort by callee as primary key!
@@ -836,7 +1150,7 @@ static void removeIdenticalCalls(std::vector<DSCallSite> &Calls,
     // If the Callee is a useless edge, this must be an unreachable call site,
     // eliminate it.
     if (CS.isIndirectCall() && CS.getCalleeNode()->getNumReferrers() == 1 &&
-        CS.getCalleeNode()->NodeType == 0) {  // No useful info?
+        CS.getCalleeNode()->getNodeFlags() == 0) {  // No useful info?
       std::cerr << "WARNING: Useless call site found??\n";
       CS.swap(Calls.back());
       Calls.pop_back();
@@ -866,6 +1180,7 @@ static void removeIdenticalCalls(std::vector<DSCallSite> &Calls,
             LastCalleeContainsExternalFunction = LastCalleeFunc->isExternal();
         }
         
+#if 1
         if (LastCalleeContainsExternalFunction ||
             // This should be more than enough context sensitivity!
             // FIXME: Evaluate how many times this is tripped!
@@ -879,6 +1194,7 @@ static void removeIdenticalCalls(std::vector<DSCallSite> &Calls,
           else if (CS.getNumPtrArgs() > OCS.getNumPtrArgs())
             OCS = CS;
         }
+#endif
       } else {
         if (CS.isDirectCall()) {
           LastCalleeFunc = CS.getCalleeFunc();
@@ -899,8 +1215,7 @@ static void removeIdenticalCalls(std::vector<DSCallSite> &Calls,
   NumCallNodesMerged += NumFns-Calls.size();
 
   DEBUG(if (NumFns != Calls.size())
-          std::cerr << "Merged " << (NumFns-Calls.size())
-                    << " call nodes in " << where << "\n";);
+          std::cerr << "Merged " << (NumFns-Calls.size()) << " call nodes.\n";);
 }
 
 
@@ -910,13 +1225,20 @@ static void removeIdenticalCalls(std::vector<DSCallSite> &Calls,
 // we don't have to perform any non-trivial analysis here.
 //
 void DSGraph::removeTriviallyDeadNodes() {
-  removeIdenticalCalls(FunctionCalls, Func ? Func->getName() : "");
-  removeIdenticalCalls(AuxFunctionCalls, Func ? Func->getName() : "");
+  removeIdenticalCalls(FunctionCalls);
+  removeIdenticalCalls(AuxFunctionCalls);
+
+  bool isGlobalsGraph = !GlobalsGraph;
 
   for (unsigned i = 0; i != Nodes.size(); ++i) {
     DSNode *Node = Nodes[i];
-    if (!(Node->NodeType & ~(DSNode::Composition | DSNode::Array |
-                             DSNode::DEAD))) {
+
+    // Do not remove *any* global nodes in the globals graph.
+    // This is a special case because such nodes may not have I, M, R flags set.
+    if (Node->isGlobalNode() && isGlobalsGraph)
+      continue;
+
+    if (Node->isComplete() && !Node->isModified() && !Node->isRead()) {
       // This is a useless node if it has no mod/ref info (checked above),
       // outgoing edges (which it cannot, as it is not modified in this
       // context), and it has no incoming edges.  If it is a global node it may
@@ -924,7 +1246,7 @@ void DSGraph::removeTriviallyDeadNodes() {
       // scalar map, so we check those now.
       //
       if (Node->getNumReferrers() == Node->getGlobals().size()) {
-        std::vector<GlobalValue*> &Globals = Node->getGlobals();
+        const std::vector<GlobalValue*> &Globals = Node->getGlobals();
 
         // Loop through and make sure all of the globals are referring directly
         // to the node...
@@ -933,20 +1255,42 @@ void DSGraph::removeTriviallyDeadNodes() {
           assert(N == Node && "ScalarMap doesn't match globals list!");
         }
 
-        // Make sure numreferrers still agrees, if so, the node is truely dead.
+        // Make sure NumReferrers still agrees, if so, the node is truly dead.
         if (Node->getNumReferrers() == Globals.size()) {
           for (unsigned j = 0, e = Globals.size(); j != e; ++j)
             ScalarMap.erase(Globals[j]);
+          Node->makeNodeDead();
+        }
+      }
 
-          Globals.clear();
-          assert(Node->hasNoReferrers() && "Shouldn't have refs now!");
-          
-          Node->NodeType = DSNode::DEAD;
+#ifdef SANER_CODE_FOR_CHECKING_IF_ALL_REFERRERS_ARE_FROM_SCALARMAP
+      //
+      // *** It seems to me that we should be able to simply check if 
+      // *** there are fewer or equal #referrers as #globals and make
+      // *** sure that all those referrers are in the scalar map?
+      // 
+      if (Node->getNumReferrers() <= Node->getGlobals().size()) {
+        const std::vector<GlobalValue*> &Globals = Node->getGlobals();
+
+#ifndef NDEBUG
+        // Loop through and make sure all of the globals are referring directly
+        // to the node...
+        for (unsigned j = 0, e = Globals.size(); j != e; ++j) {
+          DSNode *N = ScalarMap.find(Globals[j])->second.getNode();
+          assert(N == Node && "ScalarMap doesn't match globals list!");
         }
+#endif
+
+        // Make sure NumReferrers still agrees.  The node is truly dead.
+        assert(Node->getNumReferrers() == Globals.size());
+        for (unsigned j = 0, e = Globals.size(); j != e; ++j)
+          ScalarMap.erase(Globals[j]);
+        Node->makeNodeDead();
       }
+#endif
     }
 
-    if ((Node->NodeType & ~DSNode::DEAD) == 0 && Node->hasNoReferrers()) {
+    if (Node->getNodeFlags() == 0 && Node->hasNoReferrers()) {
       // This node is dead!
       delete Node;                        // Free memory...
       Nodes[i--] = Nodes.back();
@@ -984,10 +1328,15 @@ void DSCallSite::markReachableNodes(hash_set<DSNode*> &Nodes) {
 // marked as alive...
 //
 static bool CanReachAliveNodes(DSNode *N, hash_set<DSNode*> &Alive,
-                               hash_set<DSNode*> &Visited) {
+                               hash_set<DSNode*> &Visited,
+                               bool IgnoreGlobals) {
   if (N == 0) return false;
   assert(N->getForwardNode() == 0 && "Cannot mark a forwarded node!");
 
+  // If this is a global node, it will end up in the globals graph anyway, so we
+  // don't need to worry about it.
+  if (IgnoreGlobals && N->isGlobalNode()) return false;
+
   // If we know that this node is alive, return so!
   if (Alive.count(N)) return true;
 
@@ -997,7 +1346,8 @@ static bool CanReachAliveNodes(DSNode *N, hash_set<DSNode*> &Alive,
   Visited.insert(N);   // No recursion, insert into Visited...
 
   for (unsigned i = 0, e = N->getSize(); i < e; i += DS::PointerSize)
-    if (CanReachAliveNodes(N->getLink(i).getNode(), Alive, Visited)) {
+    if (CanReachAliveNodes(N->getLink(i).getNode(), Alive, Visited,
+                           IgnoreGlobals)) {
       N->markReachableNodes(Alive);
       return true;
     }
@@ -1008,14 +1358,17 @@ static bool CanReachAliveNodes(DSNode *N, hash_set<DSNode*> &Alive,
 // alive nodes.
 //
 static bool CallSiteUsesAliveArgs(DSCallSite &CS, hash_set<DSNode*> &Alive,
-                                  hash_set<DSNode*> &Visited) {
-  if (CanReachAliveNodes(CS.getRetVal().getNode(), Alive, Visited))
+                                  hash_set<DSNode*> &Visited,
+                                  bool IgnoreGlobals) {
+  if (CanReachAliveNodes(CS.getRetVal().getNode(), Alive, Visited,
+                         IgnoreGlobals))
     return true;
   if (CS.isIndirectCall() &&
-      CanReachAliveNodes(CS.getCalleeNode(), Alive, Visited))
+      CanReachAliveNodes(CS.getCalleeNode(), Alive, Visited, IgnoreGlobals))
     return true;
   for (unsigned i = 0, e = CS.getNumPtrArgs(); i != e; ++i)
-    if (CanReachAliveNodes(CS.getPtrArg(i).getNode(), Alive, Visited))
+    if (CanReachAliveNodes(CS.getPtrArg(i).getNode(), Alive, Visited,
+                           IgnoreGlobals))
       return true;
   return false;
 }
@@ -1027,6 +1380,8 @@ static bool CallSiteUsesAliveArgs(DSCallSite &CS, hash_set<DSNode*> &Alive,
 // inlining graphs.
 //
 void DSGraph::removeDeadNodes(unsigned Flags) {
+  DEBUG(AssertGraphOK(); GlobalsGraph->AssertGraphOK());
+
   // Reduce the amount of work we have to do... remove dummy nodes left over by
   // merging...
   removeTriviallyDeadNodes();
@@ -1038,10 +1393,10 @@ void DSGraph::removeDeadNodes(unsigned Flags) {
   std::vector<std::pair<Value*, DSNode*> > GlobalNodes;
 
   // Mark all nodes reachable by (non-global) scalar nodes as alive...
-  for (hash_map<Value*, DSNodeHandle>::iterator I = ScalarMap.begin(),
-         E = ScalarMap.end(); I != E; )
+  for (ScalarMapTy::iterator I = ScalarMap.begin(), E = ScalarMap.end(); I !=E;)
     if (isa<GlobalValue>(I->first)) {             // Keep track of global nodes
       assert(I->second.getNode() && "Null global node?");
+      assert(I->second.getNode()->isGlobalNode() && "Should be a global node!");
       GlobalNodes.push_back(std::make_pair(I->first, I->second.getNode()));
       ++I;
     } else {
@@ -1056,7 +1411,7 @@ void DSGraph::removeDeadNodes(unsigned Flags) {
       // these, prune the scalar pointing to it.
       //
       DSNode *N = I->second.getNode();
-      if (N->NodeType == DSNode::UnknownNode && !isa<Argument>(I->first)) {
+      if (N->getNodeFlags() == DSNode::UnknownNode && !isa<Argument>(I->first)){
         ScalarMap.erase(I++);
       } else {
         I->second.getNode()->markReachableNodes(Alive);
@@ -1065,57 +1420,119 @@ void DSGraph::removeDeadNodes(unsigned Flags) {
     }
 
   // The return value is alive as well...
-  RetNode.getNode()->markReachableNodes(Alive);
+  for (ReturnNodesTy::iterator I = ReturnNodes.begin(), E = ReturnNodes.end();
+       I != E; ++I)
+    I->second.getNode()->markReachableNodes(Alive);
 
   // Mark any nodes reachable by primary calls as alive...
   for (unsigned i = 0, e = FunctionCalls.size(); i != e; ++i)
     FunctionCalls[i].markReachableNodes(Alive);
 
+  // Copy and merge all information about globals to the GlobalsGraph
+  // if this is not a final pass (where unreachable globals are removed)
+  NodeMapTy GlobalNodeMap;
+  hash_set<const DSNode*> GlobalNodeSet;
+
+  for (std::vector<std::pair<Value*, DSNode*> >::const_iterator
+         I = GlobalNodes.begin(), E = GlobalNodes.end(); I != E; ++I)
+    GlobalNodeSet.insert(I->second);    // put global nodes into a set
+
+  // Now find globals and aux call nodes that are already live or reach a live
+  // value (which makes them live in turn), and continue till no more are found.
+  // 
   bool Iterate;
   hash_set<DSNode*> Visited;
   std::vector<unsigned char> AuxFCallsAlive(AuxFunctionCalls.size());
   do {
     Visited.clear();
-    // If any global nodes points to a non-global that is "alive", the global is
+    // If any global node points to a non-global that is "alive", the global is
     // "alive" as well...  Remove it from the GlobalNodes list so we only have
     // unreachable globals in the list.
     //
     Iterate = false;
-    for (unsigned i = 0; i != GlobalNodes.size(); ++i)
-      if (CanReachAliveNodes(GlobalNodes[i].second, Alive, Visited)) {
-        std::swap(GlobalNodes[i--], GlobalNodes.back()); // Move to end to erase
-        GlobalNodes.pop_back();                          // Erase efficiently
-        Iterate = true;
-      }
-
+    if (!(Flags & DSGraph::RemoveUnreachableGlobals))
+       for (unsigned i = 0; i != GlobalNodes.size(); ++i)
+         if (CanReachAliveNodes(GlobalNodes[i].second, Alive, Visited, 
+                                Flags & DSGraph::RemoveUnreachableGlobals)) {
+           std::swap(GlobalNodes[i--], GlobalNodes.back()); // Move to end to...
+           GlobalNodes.pop_back();                          // erase efficiently
+           Iterate = true;
+         }
+
+    // Mark only unresolvable call nodes for moving to the GlobalsGraph since
+    // call nodes that get resolved will be difficult to remove from that graph.
+    // The final unresolved call nodes must be handled specially at the end of
+    // the BU pass (i.e., in main or other roots of the call graph).
     for (unsigned i = 0, e = AuxFunctionCalls.size(); i != e; ++i)
       if (!AuxFCallsAlive[i] &&
-          CallSiteUsesAliveArgs(AuxFunctionCalls[i], Alive, Visited)) {
+          (AuxFunctionCalls[i].isIndirectCall()
+           || CallSiteUsesAliveArgs(AuxFunctionCalls[i], Alive, Visited,
+                                  Flags & DSGraph::RemoveUnreachableGlobals))) {
         AuxFunctionCalls[i].markReachableNodes(Alive);
         AuxFCallsAlive[i] = true;
         Iterate = true;
       }
   } while (Iterate);
 
-  // Remove all dead aux function calls...
+  // Move dead aux function calls to the end of the list
   unsigned CurIdx = 0;
   for (unsigned i = 0, e = AuxFunctionCalls.size(); i != e; ++i)
     if (AuxFCallsAlive[i])
       AuxFunctionCalls[CurIdx++].swap(AuxFunctionCalls[i]);
+
+  // Copy and merge all global nodes and dead aux call nodes into the
+  // GlobalsGraph, and all nodes reachable from those nodes
+  // 
+  if (!(Flags & DSGraph::RemoveUnreachableGlobals)) {
+
+    // First, add the dead aux call nodes to the set of root nodes for cloning
+    // -- return value at this call site, if any
+    // -- actual arguments passed at this call site
+    // -- callee node at this call site, if this is an indirect call
+    for (unsigned i = CurIdx, e = AuxFunctionCalls.size(); i != e; ++i) {
+      if (const DSNode* RetNode = AuxFunctionCalls[i].getRetVal().getNode())
+        GlobalNodeSet.insert(RetNode);
+      for (unsigned j=0, N=AuxFunctionCalls[i].getNumPtrArgs(); j < N; ++j)
+        if (const DSNode* ArgTarget=AuxFunctionCalls[i].getPtrArg(j).getNode())
+          GlobalNodeSet.insert(ArgTarget);
+      if (AuxFunctionCalls[i].isIndirectCall())
+        GlobalNodeSet.insert(AuxFunctionCalls[i].getCalleeNode());
+    }
+    
+    // There are no "pre-completed" nodes so use any empty map for those.
+    // Strip all alloca bits since the current function is only for the BU pass.
+    // Strip all incomplete bits since they are short-lived properties and they
+    // will be correctly computed when rematerializing nodes into the functions.
+    // 
+    NodeMapTy CompletedMap;
+    GlobalsGraph->cloneReachableSubgraph(*this, GlobalNodeSet,
+                                         GlobalNodeMap, CompletedMap,
+                                         (DSGraph::StripAllocaBit |
+                                          DSGraph::StripIncompleteBit));
+  }
+
+  // Remove all dead aux function calls...
   if (!(Flags & DSGraph::RemoveUnreachableGlobals)) {
     assert(GlobalsGraph && "No globals graph available??");
-    // Move the unreachable call nodes to the globals graph...
-    GlobalsGraph->AuxFunctionCalls.insert(GlobalsGraph->AuxFunctionCalls.end(),
-                                          AuxFunctionCalls.begin()+CurIdx,
-                                          AuxFunctionCalls.end());
+
+    // Copy the unreachable call nodes to the globals graph, updating
+    // their target pointers using the GlobalNodeMap
+    for (unsigned i = CurIdx, e = AuxFunctionCalls.size(); i != e; ++i)
+      GlobalsGraph->AuxFunctionCalls.push_back(DSCallSite(AuxFunctionCalls[i],
+                                                          GlobalNodeMap));
   }
   // Crop all the useless ones out...
   AuxFunctionCalls.erase(AuxFunctionCalls.begin()+CurIdx,
                          AuxFunctionCalls.end());
 
-  // At this point, any nodes which are visited, but not alive, are nodes which
-  // should be moved to the globals graph.  Loop over all nodes, eliminating
-  // completely unreachable nodes, and moving visited nodes to the globals graph
+  // We are finally done with the GlobalNodeMap so we can clear it and
+  // then get rid of unused nodes in the GlobalsGraph produced by merging.
+  GlobalNodeMap.clear();
+  GlobalsGraph->removeTriviallyDeadNodes();
+
+  // At this point, any nodes which are visited, but not alive, are nodes
+  // which can be removed.  Loop over all nodes, eliminating completely
+  // unreachable nodes.
   //
   std::vector<DSNode*> DeadNodes;
   DeadNodes.reserve(Nodes.size());
@@ -1124,57 +1541,23 @@ void DSGraph::removeDeadNodes(unsigned Flags) {
       DSNode *N = Nodes[i];
       Nodes[i--] = Nodes.back();            // move node to end of vector
       Nodes.pop_back();                     // Erase node from alive list.
-      if (!(Flags & DSGraph::RemoveUnreachableGlobals) &&  // Not in TD pass
-          Visited.count(N)) {                    // Visited but not alive?
-        GlobalsGraph->Nodes.push_back(N);        // Move node to globals graph
-        N->setParentGraph(GlobalsGraph);
-      } else {                                 // Otherwise, delete the node
-        assert(((N->NodeType & DSNode::GlobalNode) == 0 ||
-                (Flags & DSGraph::RemoveUnreachableGlobals))
-               && "Killing a global?");
-        //std::cerr << "[" << i+1 << "/" << DeadNodes.size()
-        //          << "] Node is dead: "; N->dump();
-        DeadNodes.push_back(N);
-        N->dropAllReferences();
-      }
+      DeadNodes.push_back(N);
+      N->dropAllReferences();
     } else {
       assert(Nodes[i]->getForwardNode() == 0 && "Alive forwarded node?");
     }
 
-  // Now that the nodes have either been deleted or moved to the globals graph,
-  // loop over the scalarmap, updating the entries for globals...
-  //
-  if (!(Flags & DSGraph::RemoveUnreachableGlobals)) {  // Not in the TD pass?
-    // In this array we start the remapping, which can cause merging.  Because
-    // of this, the DSNode pointers in GlobalNodes may be invalidated, so we
-    // must always go through the ScalarMap (which contains DSNodeHandles [which
-    // cannot be invalidated by merging]).
-    //
-    for (unsigned i = 0, e = GlobalNodes.size(); i != e; ++i) {
-      Value *G = GlobalNodes[i].first;
-      hash_map<Value*, DSNodeHandle>::iterator I = ScalarMap.find(G);
-      assert(I != ScalarMap.end() && "Global not in scalar map anymore?");
-      assert(I->second.getNode() && "Global not pointing to anything?");
-      assert(!Alive.count(I->second.getNode()) && "Node is alive??");
-      GlobalsGraph->ScalarMap[G].mergeWith(I->second);
-      assert(GlobalsGraph->ScalarMap[G].getNode() &&
-             "Global not pointing to anything?");
-      ScalarMap.erase(I);
-    }
-
-    // Merging leaves behind silly nodes, we remove them to avoid polluting the
-    // globals graph.
-    if (!GlobalNodes.empty())
-      GlobalsGraph->removeTriviallyDeadNodes();
-  } else {
-    // If we are in the top-down pass, remove all unreachable globals from the
-    // ScalarMap...
-    for (unsigned i = 0, e = GlobalNodes.size(); i != e; ++i)
+  // Remove all unreachable globals from the ScalarMap.
+  // If flag RemoveUnreachableGlobals is set, GlobalNodes has only dead nodes.
+  // In either case, the dead nodes will not be in the set Alive.
+  for (unsigned i = 0, e = GlobalNodes.size(); i != e; ++i) {
+    assert(((Flags & DSGraph::RemoveUnreachableGlobals) ||
+            !Alive.count(GlobalNodes[i].second)) && "huh? non-dead global");
+    if (!Alive.count(GlobalNodes[i].second))
       ScalarMap.erase(GlobalNodes[i].first);
   }
 
-  // Loop over all of the dead nodes now, deleting them since their referrer
-  // count is zero.
+  // Delete all dead nodes now since their referrer counts are zero.
   for (unsigned i = 0, e = DeadNodes.size(); i != e; ++i)
     delete DeadNodes[i];
 
@@ -1184,13 +1567,13 @@ void DSGraph::removeDeadNodes(unsigned Flags) {
 void DSGraph::AssertGraphOK() const {
   for (unsigned i = 0, e = Nodes.size(); i != e; ++i)
     Nodes[i]->assertOK();
-  return;  // FIXME: remove
-  for (hash_map<Value*, DSNodeHandle>::const_iterator I = ScalarMap.begin(),
+
+  for (ScalarMapTy::const_iterator I = ScalarMap.begin(),
          E = ScalarMap.end(); I != E; ++I) {
     assert(I->second.getNode() && "Null node in scalarmap!");
     AssertNodeInGraph(I->second.getNode());
     if (GlobalValue *GV = dyn_cast<GlobalValue>(I->first)) {
-      assert((I->second.getNode()->NodeType & DSNode::GlobalNode) &&
+      assert(I->second.getNode()->isGlobalNode() &&
              "Global points to node, but node isn't global?");
       AssertNodeContainsGlobal(I->second.getNode(), GV);
     }
@@ -1198,3 +1581,32 @@ void DSGraph::AssertGraphOK() const {
   AssertCallNodesInGraph();
   AssertAuxCallNodesInGraph();
 }
+
+/// mergeInGlobalsGraph - This method is useful for clients to incorporate the
+/// globals graph into the DS, BU or TD graph for a function.  This code retains
+/// all globals, i.e., does not delete unreachable globals after they are
+/// inlined.
+///
+void DSGraph::mergeInGlobalsGraph() {
+  NodeMapTy GlobalNodeMap;
+  ScalarMapTy OldValMap;
+  ReturnNodesTy OldRetNodes;
+  cloneInto(*GlobalsGraph, OldValMap, OldRetNodes, GlobalNodeMap,
+            DSGraph::KeepAllocaBit | DSGraph::DontCloneCallNodes |
+            DSGraph::DontCloneAuxCallNodes);
+  
+  // Now merge existing global nodes in the GlobalsGraph with their copies
+  for (ScalarMapTy::iterator I = ScalarMap.begin(), E = ScalarMap.end(); 
+       I != E; ++I)
+    if (isa<GlobalValue>(I->first)) {             // Found a global node
+      DSNodeHandle &GH = I->second;
+      DSNodeHandle &GGNodeH = GlobalsGraph->getScalarMap()[I->first];
+      GH.mergeWith(GlobalNodeMap[GGNodeH.getNode()]);
+    }
+  
+  // Merging leaves behind unused nodes: get rid of them now.
+  GlobalNodeMap.clear();
+  OldValMap.clear();
+  OldRetNodes.clear();
+  removeTriviallyDeadNodes();
+}