摘要：工作中，經常會遇到講一些json數據錄入到Elasticsearch中，時間久了，總結了一些技巧來提高錄入速度：1. 使用Elasticsearch的Bulk API可以顯著提高數據錄入的速度。Bulk AP...

工作中，經常會遇到講一些json數據錄入到Elasticsearch中，時間久了，總結了一些技巧來提高錄入速度：

1. 使用Elasticsearch的Bulk API可以顯著提高數據錄入的速度。Bulk API允許您一次性發送大量的操作（索引、更新、刪除），而不是逐個發送請求。這樣可以減少網絡開銷和提高效率。

2. 將數據分成多個批次，并使用多個線程或進程同時向Elasticsearch發送請求，這樣可以加快數據錄入的速度。

3. 可以調整索引的副本數，臨時將索引的副本數改成0，快速錄入完后，再將其改成1或其他值。

4. 可以關閉索引的自動刷新功能，待數據導入完成后再手動執行一次刷新操作。關閉自動刷新可以減少磁盤IO開銷，提高數據導入速度。

5. 如果您的數據源是日志文件等結構化數據，可以考慮使用Elasticsearch的官方數據處理工具Logstash。

6. 在錄入數據之前，確保您的索引Mapping設置合理。避免頻繁的Mapping更改可以提高數據錄入的效率。

7. 如果可能的話，考慮優化硬件配置，例如使用更快的硬盤、增加節點數量等，以提高Elasticsearch的整體性能。

以上比較容易被忽略的點是第三、第四點：

關閉索引自動刷新：

PUT /your_index/_settings
{
  "index" : {
    "refresh_interval" : "-1"
  }
}

當您手動執行一次索引刷新操作后，索引的自動刷新并不會自動開啟。關閉索引的自動刷新是一個持久性設置，一旦您將refresh_interval參數設置為-1，直到您再次手動修改設置為其他值或重新啟用自動刷新，索引都會保持關閉狀態。

因此，如果您手動執行了一次索引刷新操作后，索引的自動刷新仍然會保持關閉狀態，直到您明確地再次設置refresh_interval參數為一個有效的值，才會重新啟用索引的自動刷新功能。

開啟索引自動刷新：

PUT /your_index/_settings
{
  "settings": {
    "index.refresh_interval": "1s"
  }
}

手動刷新索引：

POST /<your_index_name>/_refresh

這里補充一下 刷新 和 Flush刷新的區別：

刷新（Refresh）：

刷新是指將索引中的最近索引的文檔（即已經被索引但尚未刷新到 Lucene 索引中）使之可搜索的過程。在Elasticsearch中，新添加的文檔首先會被索引到內存中的倒排索引中，然后通過刷新操作將這些變更應用到磁盤上的 Lucene 索引中，使之對搜索可見。

刷新操作是實時的，可以通過設置refresh_interval參數控制自動刷新的頻率，或者手動執行刷新操作來立即使變更生效。

刷新（Flush）：

刷新是將內存中的索引數據寫入磁盤的過程。當執行刷新操作時，Elasticsearch會將內存中的索引數據寫入磁盤，確保數據持久化，同時清空內存中的索引緩存。

刷新操作是為了確保數據的持久性，防止數據丟失。在Elasticsearch中，刷新操作是比較耗費資源的，因為需要將數據寫入磁盤。

總的來說，刷新（Refresh）是使最近索引的文檔可搜索，而刷新（Flush）是將內存中的索引數據寫入磁盤。兩者都是確保數據的一致性和可搜索性的重要操作，但針對的對象和操作層面略有不同。

修改副本數，錄入時將索引的副本數設置成0：

PUT /your_index/_settings
{
  "number_of_replicas": 0
}

完成數據錄入后，您可以再次將副本數設置為1或更高，以確保數據的冗余性和可用性。

PUT /your_index/_settings
{
  "number_of_replicas": 1
}