Small improvements in TsigasCycleQueue
[libcds.git] / cds / intrusive / michael_list_rcu.h
index 59ee10acf7a2aeb05af1449c28964da16ed9795e..b77cc9e880f4ec02484a21301f18621974de48f0 100644 (file)
@@ -232,14 +232,16 @@ namespace cds { namespace intrusive {
 
         bool unlink_node( position& pos, erase_node_mask nMask )
         {
+            assert(gc::is_locked() );
+
             // Mark the node (logical deletion)
             marked_node_ptr next(pos.pNext, 0);
 
-            if ( pos.pCur->m_pNext.compare_exchange_strong( next, next | nMask, memory_model::memory_order_acq_rel, atomics::memory_order_relaxed )) {
+            if ( pos.pCur->m_pNext.compare_exchange_strong( next, next | nMask, memory_model::memory_order_release, atomics::memory_order_relaxed )) {
 
                 // Try physical removal - fast path
                 marked_node_ptr cur(pos.pCur);
-                if ( pos.pPrev->compare_exchange_strong(cur, marked_node_ptr(pos.pNext), memory_model::memory_order_acquire, atomics::memory_order_relaxed) {
+                if ( pos.pPrev->compare_exchange_strong(cur, marked_node_ptr(pos.pNext), memory_model::memory_order_acquire, atomics::memory_order_relaxed )) {
                     if ( nMask == erase_mask )
                         link_to_remove_chain( pos, pos.pCur );
                 }
@@ -445,11 +447,12 @@ namespace cds { namespace intrusive {
             return insert_at( m_pHead, val, f );
         }
 
-        /// Ensures that the \p item exists in the list
+        /// Updates the item
         /**
             The operation performs inserting or changing data with lock-free manner.
 
-            If the item \p val not found in the list, then \p val is inserted into the list.
+            If the item \p val not found in the list, then \p val is inserted into the list
+            iff \p bAllowInsert is \p true.
             Otherwise, the functor \p func is called with item found.
             The functor signature is:
             \code
@@ -460,15 +463,15 @@ namespace cds { namespace intrusive {
             with arguments:
             - \p bNew - \p true if the item has been inserted, \p false otherwise
             - \p item - item of the list
-            - \p val - argument \p val passed into the \p ensure function
+            - \p val - argument \p val passed into the \p update() function
             If new item has been inserted (i.e. \p bNew is \p true) then \p item and \p val arguments
             refer to the same thing.
 
             The functor may change non-key fields of the \p item; however, \p func must guarantee
             that during changing no any other modifications could be made on this item by concurrent threads.
 
-            Returns <tt> std::pair<bool, bool>  </tt> where \p first is true if operation is successfull,
-            \p second is true if new item has been added or \p false if the item with \p key
+            Returns <tt> std::pair<bool, bool>  </tt> where \p first is \p true if operation is successfull,
+            \p second is \p true if new item has been added or \p false if the item with \p key
             already is in the list.
 
             The function makes RCU lock internally.
@@ -476,9 +479,16 @@ namespace cds { namespace intrusive {
             @warning See \ref cds_intrusive_item_creating "insert item troubleshooting"
         */
         template <typename Func>
+        std::pair<bool, bool> update( value_type& val, Func func, bool bAllowInsert = true )
+        {
+            return update_at( m_pHead, val, func, bAllowInsert );
+        }
+        //@cond
+        template <typename Func>
+        CDS_DEPRECATED("ensure() is deprecated, use update()")
         std::pair<bool, bool> ensure( value_type& val, Func func )
         {
-            return ensure_at( m_pHead, val, func );
+            return update( val, func, true );
         }
 
         /// Unlinks the item \p val from the list
@@ -671,7 +681,7 @@ namespace cds { namespace intrusive {
 
         /// Finds \p key using \p pred predicate for searching
         /**
-            The function is an analog of \ref cds_intrusive_MichaelList_rcu_find_func "find(Q&, Func)"
+            The function is an analog of \p find(Q&, Func)
             but \p pred is used for key comparing.
             \p Less functor has the interface like \p std::less.
             \p pred must imply the same element order as the comparator used for building the list.
@@ -691,30 +701,45 @@ namespace cds { namespace intrusive {
         }
         //@endcond
 
-        /// Finds \p key
-        /** \anchor cds_intrusive_MichaelList_rcu_find_val
+        /// Checks whether the list contains \p key
+        /**
             The function searches the item with key equal to \p key
-            and returns \p true if \p val found or \p false otherwise.
+            and returns \p true if it is found, and \p false otherwise.
         */
         template <typename Q>
-        bool find( Q const& key )
+        bool contains( Q const& key )
         {
             return find_at( m_pHead, key, key_comparator() );
         }
+        //@cond
+        template <typename Q>
+        CDS_DEPRECATED("deprecated, use contains()")
+        bool find( Q const& key )
+        {
+            return contains( key );
+        }
+        //@endcond
 
-        /// Finds \p key using \p pred predicate for searching
+        /// Checks whether the map contains \p key using \p pred predicate for searching
         /**
-            The function is an analog of \ref cds_intrusive_MichaelList_rcu_find_val "find(Q const&)"
-            but \p pred is used for key comparing.
+            The function is an analog of <tt>contains( key )</tt> but \p pred is used for key comparing.
             \p Less functor has the interface like \p std::less.
-            \p pred must imply the same element order as the comparator used for building the list.
+            \p Less must imply the same element order as the comparator used for building the list.
         */
         template <typename Q, typename Less>
-        bool find_with( Q const& key, Less pred )
+        bool contains( Q const& key, Less pred )
         {
             CDS_UNUSED( pred );
             return find_at( m_pHead, key, cds::opt::details::make_comparator_from_less<Less>() );
         }
+        //@cond
+        template <typename Q, typename Less>
+        CDS_DEPRECATED("deprecated, use contains()")
+        bool find_with( Q const& key, Less pred )
+        {
+            return contains( key, pred );
+        }
+        //@endcond
 
         /// Finds \p key and return the item found
         /** \anchor cds_intrusive_MichaelList_rcu_get
@@ -884,22 +909,22 @@ namespace cds { namespace intrusive {
         }
 
         template <typename Func>
-        std::pair<iterator, bool> ensure_at_( atomic_node_ptr& refHead, value_type& val, Func func )
+        std::pair<iterator, bool> update_at_( atomic_node_ptr& refHead, value_type& val, Func func, bool bInsert )
         {
             position pos( refHead );
             {
                 rcu_lock l;
-                return ensure_at_locked( pos, val, func );
+                return update_at_locked( pos, val, func, bInsert );
             }
         }
 
         template <typename Func>
-        std::pair<bool, bool> ensure_at( atomic_node_ptr& refHead, value_type& val, Func func )
+        std::pair<bool, bool> update_at( atomic_node_ptr& refHead, value_type& val, Func func, bool bInsert )
         {
             position pos( refHead );
             {
                 rcu_lock l;
-                std::pair<iterator, bool> ret = ensure_at_locked( pos, val, func );
+                std::pair<iterator, bool> ret = update_at_locked( pos, val, func, bInsert );
                 return std::make_pair( ret.first != end(), ret.second );
             }
         }
@@ -932,18 +957,21 @@ namespace cds { namespace intrusive {
             back_off bkoff;
             check_deadlock_policy::check();
 
+            node_type * pDel;
             for (;;) {
                 {
                     rcu_lock l;
                     if ( !search( pos.refHead, val, pos, cmp ) )
                         return false;
+                    // store pCur since it may be changed by unlink_node() slow path
+                    pDel = pos.pCur;
                     if ( !unlink_node( pos, erase_mask )) {
                         bkoff();
                         continue;
                     }
                 }
-
-                f( *node_traits::to_value_ptr( *pos.pCur ) );
+                assert( pDel );
+                f( *node_traits::to_value_ptr( pDel ) );
                 --m_ItemCounter;
                 return true;
             }
@@ -970,18 +998,23 @@ namespace cds { namespace intrusive {
             back_off bkoff;
             assert( !gc::is_locked() )  ;   // RCU must not be locked!!!
 
+            node_type * pExtracted;
             {
                 rcu_lock l;
                 for (;;) {
                     if ( !search( refHead, val, pos, cmp ) )
                         return nullptr;
+                    // store pCur since it may be changed by unlink_node() slow path
+                    pExtracted = pos.pCur;
                     if ( !unlink_node( pos, extract_mask )) {
                         bkoff();
                         continue;
                     }
 
                     --m_ItemCounter;
-                    return node_traits::to_value_ptr( pos.pCur );
+                    value_type * pRet = node_traits::to_value_ptr( pExtracted );
+                    assert( pExtracted->m_pDelChain == nullptr );
+                    return pRet;
                 }
             }
         }
@@ -1056,8 +1089,8 @@ namespace cds { namespace intrusive {
 
                 pNext = pCur->m_pNext.load(memory_model::memory_order_acquire);
 
-                if ( pPrev->load(memory_model::memory_order_relaxed) != pCur
-                    || pNext != pCur->m_pNext.load(memory_model::memory_order_relaxed))
+                if ( pPrev->load(memory_model::memory_order_acquire) != pCur
+                    || pNext != pCur->m_pNext.load(memory_model::memory_order_acquire))
                 {
                     bkoff();
                     goto try_again;
@@ -1110,7 +1143,7 @@ namespace cds { namespace intrusive {
         }
 
         template <typename Func>
-        std::pair<iterator, bool> ensure_at_locked( position& pos, value_type& val, Func func )
+        std::pair<iterator, bool> update_at_locked( position& pos, value_type& val, Func func, bool bInsert )
         {
             // RCU lock should be locked!!!
             assert( gc::is_locked() );
@@ -1123,6 +1156,9 @@ namespace cds { namespace intrusive {
                     return std::make_pair( iterator( pos.pCur ), false );
                 }
                 else {
+                    if ( !bInsert )
+                        return std::make_pair( end(), false );
+
                     link_checker::is_empty( node_traits::to_node_ptr( val ) );
 
                     if ( link_node( node_traits::to_node_ptr( val ), pos ) ) {