java hashcode算法，疫苗：JAVA HASHMAP的死循環-函數-匯編語言學習筆記

java hashcode算法，疫苗：JAVA HASHMAP的死循環

2023-10-18 阅读 30 评论 0

摘要：轉至：https://coolshel ? 在淘寶內網里看到同事發了貼說了一個CPU被100%的線上故障，并且這個事發生了很多次，原因是在Java語言在并發情況下使用HashMap造成Race Condition，從而導致死循環。這個事情我4、5年前也經歷過，本來覺得沒什么好寫

轉至：https://coolshel

在淘寶內網里看到同事發了貼說了一個CPU被100%的線上故障，并且這個事發生了很多次，原因是在Java語言在并發情況下使用HashMap造成Race Condition，從而導致死循環。這個事情我4、5年前也經歷過，本來覺得沒什么好寫的，因為Java的HashMap是非線程安全的，所以在并發下必然出現問題。但是，我發現近幾年，很多人都經歷過這個事（在網上查“HashMap Infinite Loop”可以看到很多人都在說這個事）所以，覺得這個是個普遍問題，需要寫篇疫苗文章說一下這個事，并且給大家看看一個完美的“Race Condition”是怎么形成的。

問題的癥狀

java hashcode算法？從前我們的Java代碼因為一些原因使用了HashMap這個東西，但是當時的程序是單線程的，一切都沒有問題。后來，我們的程序性能有問題，所以需要變成多線程的，于是，變成多線程后到了線上，發現程序經常占了100%的CPU，查看堆棧，你會發現程序都Hang在了HashMap.get()這個方法上了，重啟程序后問題消失。但是過段時間又會來。而且，這個問題在測試環境里可能很難重現。

我們簡單的看一下我們自己的代碼，我們就知道HashMap被多個線程操作。而Java的文檔說HashMap是非線程安全的，應該用ConcurrentHashMap。

但是在這里我們可以來研究一下原因。

Hash表數據結構

java序列化接口、我需要簡單地說一下HashMap這個經典的數據結構。

HashMap通常會用一個指針數組（假設為table[]）來做分散所有的key，當一個key被加入時，會通過Hash算法通過key算出這個數組的下標i，然后就把這個<key, value>插到table[i]中，如果有兩個不同的key被算在了同一個i，那么就叫沖突，又叫碰撞，這樣會在table[i]上形成一個鏈表。

我們知道，如果table[]的尺寸很小，比如只有2個，如果要放進10個keys的話，那么碰撞非常頻繁，于是一個O(1)的查找算法，就變成了鏈表遍歷，性能變成了O(n)，這是Hash表的缺陷（可參看《Hash Collision DoS 問題》）。

所以，Hash表的尺寸和容量非常的重要。一般來說，Hash表這個容器當有數據要插入時，都會檢查容量有沒有超過設定的thredhold，如果超過，需要增大Hash表的尺寸，但是這樣一來，整個Hash表里的無素都需要被重算一遍。這叫rehash，這個成本相當的大。

jdk8接口默認方法、相信大家對這個基礎知識已經很熟悉了。

HashMap的rehash源代碼

下面，我們來看一下Java的HashMap的源代碼。

Put一個Key,Value對到Hash表中：

 public V put(K key, V value)
{
????......
????//算Hash值
????int hash = hash(key.hashCode());
????int i = indexFor(hash, table.length);
????//如果該key已被插入，則替換掉舊的value （鏈接操作）
????for (Entry<K,V> e = table[i]; e != null; e = e.next) {
????????Object k;
????????if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
????????????V oldValue = e.value;
????????????e.value = value;
????????????e.recordAccess(this);
????????????return oldValue;
????????}
????}
????modCount++;
????//該key不存在，需要增加一個結點
????addEntry(hash, key, value, i);
????return null;
}

檢查容量是否超標

 void addEntry(int hash, K key, V value, int bucketIndex)
{
????Entry<K,V> e = table[bucketIndex];
????table[bucketIndex] = new Entry<K,V>(hash, key, value, e);
????//查看當前的size是否超過了我們設定的閾值threshold，如果超過，需要resize
????if (size++ >= threshold)
????????resize(2 * table.length);
}

Java redis、新建一個更大尺寸的hash表，然后把數據從老的Hash表中遷移到新的Hash表中。

 void resize(int newCapacity)
{
????Entry[] oldTable = table;
????int oldCapacity = oldTable.length;
????......
????//創建一個新的Hash Table
????Entry[] newTable = new Entry[newCapacity];
????//將Old Hash Table上的數據遷移到New Hash Table上
????transfer(newTable);
????table = newTable;
????threshold = (int)(newCapacity * loadFactor);
}

遷移的源代碼，注意高亮處：

 void transfer(Entry[] newTable)
{
????Entry[] src = table;
????int newCapacity = newTable.length;
????//下面這段代碼的意思是：
????//? 從OldTable里摘一個元素出來，然后放到NewTable中
????for (int j = 0; j < src.length; j++) {
????????Entry<K,V> e = src[j];
????????if (e != null) {
????????????src[j] = null;
????????????do {
????????????????Entry<K,V> next = e.next;
????????????????int i = indexFor(e.hash, newCapacity);
????????????????e.next = newTable[i];
????????????????newTable[i] = e;
????????????????e = next;
????????????} while (e != null);
????????}
????}
}

好了，這個代碼算是比較正常的。而且沒有什么問題。

正常的ReHash的過程

畫了個圖做了個演示。

我假設了我們的hash算法就是簡單的用key mod 一下表的大小（也就是數組的長度）。

最上面的是old hash 表，其中的Hash表的size=2, 所以key = 3, 7, 5，在mod 2以后都沖突在table[1]這里了。

接下來的三個步驟是Hash表 resize成4，然后所有的<key,value> 重新rehash的過程

java問題？

并發下的Rehash

1）假設我們有兩個線程。我用紅色和淺藍色標注了一下。

我們再回頭看一下我們的 transfer代碼中的這個細節：

 do {
????Entry<K,V> next = e.next; // <--假設線程一執行到這里就被調度掛起了
????int i = indexFor(e.hash, newCapacity);
????e.next = newTable[i];
????newTable[i] = e;
????e = next;
} while (e != null);