[elasticsearch] index size , shard size , heap size design

先簡單總結一句，elasticsearch 的這些值，全部還是取決與需求與硬體規劃。


index 是有若干 shard 組成。 ( 每個shard 為一個獨立 lucene index )
在Elasticsearch的設計中， 接受到 request 的 requesting node ，會把請求轉發給所屬的shard。

非常清楚的，最佳的 search 狀態為，每個shard都可以再一次load到memory之中，不用作多次的GC。 所以，最推薦的值是 shard size << ES_HEAP_SIZE ，當在做aggregation 的操作也比較不會OutOfMemory。

由此說來，我們可以先推估，我們可以提供的硬體 memory可以有多大，在去評估 query 的情境下，哪些條件可以選擇我們要search 哪個 index 把 index 拆分開來。


cf.
peicheng-note: elasticsearch 相關 elasticsearch文章
http://peichengnote.blogspot.tw/search/label/elasticsearch

peicheng note: [elasticsearch] 關於 brain split / cluster split 成兩個 clusters

http://peichengnote.blogspot.tw/2014/07/elasticsearch-brain-split-cluster-split.html

peicheng note: [elasticsearch] 再談 _all field
http://peichengnote.blogspot.tw/2014/06/elasticsearch-all-field.html
peicheng note: [elasticsearch]range query depends on the field type
http://peichengnote.blogspot.tw/2014/06/elasticsearchrange-query-depends-on.htmlpeicheng-note: [elasticsearch] document id _id field uuid
http://peichengnote.blogspot.tw/2014/05/elasticsearch-document-id-id-field-uuid.html
peicheng-note: [elasticsearch/logstash] logstash id 自動產生 document id "_id" automatic id generation
http://peichengnote.blogspot.tw/2014/04/elasticsearchlogstash-logstash-id.html