Elasticsearch中multiSearch的最佳批量查詢大小

Question

我試圖用multisearch查詢elasticsearch，但似乎並沒有改善很多。

對於約70K查詢，時間由不同bulk_sizes的有：

對於單個搜索爲每個項目花費時間= 2611s

對於multisearch（bulksize = 1000）時間拍下= 2400s

對於multis採取的操作搜索（bulksize = 10）時間= 2326s

所以，我需要知道

一）這是做MultiSearch正確的方法是什麼？

b）什麼是多搜索的最佳批量大小？

Here'e我的代碼：

search_arr = [] 

     for k in range(i,i+BULK_SIZE): 
      search_arr.append({'index':'test'}) 
      search_arr.append({"query": {"match": {"title": title[k]}}, "size": 5}) 
     request ='' 
     for each in search_arr: 
      request += '%s \n' %json.dumps(each) 

     resp = es.msearch(body=request) 

Answer 1

併發搜索的數量由搜索線程池的限制。

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html

對於計數/搜索操作。 線程池類型是固定的，其尺寸爲int（（available_processors的＃* 3）/ 2）+ 1，1000

的queue_size這意味着如果你有單個處理器，那麼你將有2次併發的搜索，其餘的請求將進入隊列，並在線程再次可用時處理。