Ⅰ ElasticSearch数据存储内容
很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下Elasticsearch中的数据是如何存储。文章中我以Elasticsearch 2.3版本为示例，对应的lucene版本是5.5，Elasticsearch现在已经来到了6.5版本，数字类型、列存等存储结构有些变化，但基本的概念变化不多，文章中的内容依然适用。
Elasticsearch对外提供的是index的概念，可以类比为DB，用户查询是在index上完成的，每个index由若干个shard组成，以此来达到分布式可扩展的能力。比如下图是一个由10个shard组成的index。
shard是Elasticsearch数据存储的最小单位，index的存储容量为所有shard的存储容量之和。Elasticsearch集群的存储容量则为所有index存储容量之和。
一个shard就对应了一个lucene的library。对于一个shard，Elasticsearch增加了translog的功能，类似于HBase WAL，是数据写入过程中的中间数据，其余的数据都在lucene库中管理的。
所以Elasticsearch索引使用的存储内容主要取决于lucene中的数据存储。
下面我们主要看下lucene的文件内容，在了解lucene文件内容前，大家先了解些lucene的基本概念。
lucene包的文件是由很多segment文件组成的，segments_xxx文件记录了lucene包下面的segment文件数量。每个segment会包含如下的文件。
下面我们以真实的数据作为示例，看看lucene中各类型数据的容量占比。
写100w数据，有一个uuid字段，写入的是长度为36位的uuid，字符串总为3600w字节，约为35M。
数据使用一个shard，不带副本，使用默认的压缩算法，写入完成后merge成一个segment方便观察。
使用线上默认的配置，uuid存为不分词的字符串类型。创建如下索引：
首先写入100w不同的uuid，使用磁盘容量细节如下：
可以看到正排数据、倒排索引数据，列存数据容量占比几乎相同，正排数据和倒排数据还会存储Elasticsearch的唯一id字段，所以容量会比列存多一些。
35M的uuid存入Elasticsearch后，数据膨胀了3倍，达到了122.7mb。Elasticsearch竟然这么消耗资源，不要着急下结论，接下来看另一个测试结果。
我们写入100w一样的uuid，然后看看Elasticsearch使用的容量。
这回35M的数据Elasticsearch容量只有13.2mb，其中还有主要的占比还是Elasticsearch的唯一id，100w的uuid几乎不占存储容积。
所以在Elasticsearch中建立索引的字段如果基数越大(count distinct)，越占用磁盘空间。
我们再看看存100w个不一样的整型会是如何。
从结果可以看到，100w整型数据，Elasticsearch的存储开销为13.6mb。如果以int型计算100w数据的长度的话，为400w字节，大概是3.8mb数据。忽略Elasticsearch唯一id字段的影响，Elasticsearch实际存储容量跟整型数据长度差不多。
我们再看一下开启最佳压缩参数对存储空间的影响：
结果中可以发现，只有正排数据会启动压缩，压缩能力确实强劲，不考虑唯一id字段，存储容量大概压缩到接近50%。
我们还做了一些实验，Elasticsearch默认是开启_all参数的，_all可以让用户传入的整体json数据作为全文检索的字段，可以更方便的检索，但在现实场景中已经使用的不多，相反会增加很多存储容量的开销，可以看下开启_all的磁盘空间使用情况：
开启_all比不开启多了40mb的存储空间，多的数据都在倒排索引上，大约会增加30%多的存储开销。所以线上都直接禁用。
然后我还做了其他几个尝试，为了验证存储容量是否和数据量成正比，写入1000w数据的uuid，发现存储容量基本为100w数据的10倍。我还验证了数据长度是否和数据量成正比，发现把uuid增长2倍、4倍，存储容量也响应的增加了2倍和4倍。在此就不一一列出数据了。
文件名为：segments_xxx
该文件为lucene数据文件的元信息文件，记录所有segment的元数据信息。
该文件主要记录了目前有多少segment，每个segment有一些基本信息，更新这些信息定位到每个segment的元信息文件。
lucene元信息文件还支持记录userData，Elasticsearch可以在此记录translog的一些相关信息。
文件后缀：.si
每个segment都有一个.si文件，记录了该segment的元信息。
segment元信息文件中记录了segment的文档数量，segment对应的文件列表等信息。
文件后缀：.fnm
该文件存储了fields的基本信息。
fields信息中包括field的数量，field的类型，以及IndexOpetions，包括是否存储、是否索引，是否分词，是否需要列存等等。
文件后缀：.fdx, .fdt
索引文件为.fdx，数据文件为.fdt，数据存储文件功能为根据自动的文档id，得到文档的内容，搜索引擎的术语习惯称之为正排数据，即doc_id -> content，es的_source数据就存在这
索引文件记录了快速定位文档数据的索引信息，数据文件记录了所有文档id的具体内容。
索引后缀：.tip,.tim
倒排索引也包含索引文件和数据文件，.tip为索引文件，.tim为数据文件，索引文件包含了每个字段的索引元信息，数据文件有具体的索引内容。
5.5.0版本的倒排索引实现为FST tree，FST tree的最大优势就是内存空间占用非常低 ，具体可以参看下这篇文章： http://www.cnblogs.com/bonelee/p/6226185.html
http://examples.mikemccandless.com/fst.py?terms=&cmd=Build+it 为FST图实例，可以根据输入的数据构造出FST图
生成的 FST 图为:
文件后缀：.doc, .pos, .pay
.doc保存了每个term的doc id列表和term在doc中的词频
全文索引的字段，会有.pos文件，保存了term在doc中的位置
全文索引的字段，使用了一些像payloads的高级特性才会有.pay文件，保存了term在doc中的一些高级特性
文件后缀：.dvm, .dvd
索引文件为.dvm，数据文件为.dvd。
lucene实现的docvalues有如下类型：
其中SORTED_SET 的 SORTED_SINGLE_VALUED类型包括了两类数据 ： binary + numeric， binary是按ord排序的term的列表，numeric是doc到ord的映射。
Ⅱ Es Cluster 配置详解
elasticsearch.yml 服务配置文件
参数：
配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
设置默认索引分片个数，默认为5片。Since elasticsearch 5.x index level settings can NOT be set on the nodes configuration like the elasticsearch.yaml, in system properties or command line arguments.In order to upgrade all indices the settings must be updated via the /${index}/_settings API. Unless all settings are dynamic all indices must be closed
in order to apply the upgradeIndices created in the future should use index templates
to set default values.
Please ensure all required values are updated on all indices by executing:
curl -XPUT ' http://localhost:9200/_all/_settings?preserve_existing=true ' -d '{
"index.number_of_replicas" : "1",
"index.number_of_shards" : "7"
}'
设置默认索引副本个数，默认为1个副本。 5.X版本以上不支持在配置文件里面配置。
节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。
指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。
指定该节点是否存储索引数据，默认为trues
禁止自动创建索引
这个设置使删除只限于特定名称指向的数据，而不允许通过指定_all 或通配符来删除指定索引库。
设置配置文件的存储路径，默认是es根目录下的config文件夹。
设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：
path.data:/path/to/data1,/path/to/data2
设置临时文件的存储路径，默认是es根目录下的work文件夹。
设置日志文件的存储路径，默认是es根目录下的logs文件夹
设置插件的存放路径，默认是es根目录下的plugins文件夹
设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，Linux下可以通过 ulimit-l unlimited 命令。
设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。
设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。
这个参数是用来同时设置bind_host和publish_host上面两个参数。
设置节点间交互的tcp端口，默认是9300。
设置是否压缩tcp传输时的数据，默认为false，不压缩。
设置对外服务的http端口，默认为9200。
设置内容的最大容量，默认100mb
是否使用http协议对外提供服务，默认为true，开启。
gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，Hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。
设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。
预期在群集中的主节点数。一旦预期的主节点数加入集群，就会开始恢复本地分片。默认为0
预期在群集中的数据节点数。一旦预期数量的节点已加入群集，就会启动本地分片的恢复。默认为0
如果未达到预期的节点数，则恢复过程将等待配置的时间量，然后再尝试恢复。
设置初始化数据恢复进程的超时时间，默认是5分钟。
如果recover_after_time 持续时间超时，只要满足以下条件，恢复就会开始：
设置集群中N个节点启动时进行数据恢复，默认为1。意味着至少有一个节点，该集群才可用。
只要此许多数据或主节点已加入群集，即可恢复。
只要这么多主节点已加入群集，就可以恢复。
只要这么多数据节点已加入群集，就可以恢复。
初始化数据恢复时，并发恢复线程的个数，默认为4。
添加删除节点或负载均衡时并发恢复线程的个数，默认为4。
设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。
设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。
设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。
设置是否打开多播发现节点，默认是true。
设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点
Ⅲ elasticsearch数据存储目录data会存哪些信息
elasticsearch数据存储目录data会存哪些信息
如果是默认配置的话,就是放在ES目录下的data文件夹下 如果是默认配置的话,就是放在ES目录下的data文件夹下
Ⅳ 如何查看IT大数据中ElasticSearch组件的数据存储路径
如果是默认配置的话，就是放在ES目录下的data文件夹下
如果是默认配置的话，就是放在ES目录下的data文件夹下
-
Ⅳ es数据存储在内存还是磁盘
磁盘
ES的数据存储在磁盘中,数据操作在内存中。