大数据并发存储有没有什么比较好的数据库推荐

Question

之前用的是mongodb，用了后发现，mongdb不适合我们，mongdb为了查询性能，吃了太多的内存了，很笨重，而且它进行数据备份还巨麻烦，占用了磁盘还不会释放，坑的一批

我们这边主要是对大量数据的保存有比较高的需求，数据是按照时间顺序存储的，查询上基本没有什么太高的性能要求，不用缓存热数据，由于数据量大，我们的用的又是云服务，所以要定时的从服务器备份转移数据到本地，释放磁盘空间，节省开支

Answer 1

如果仅仅是因为这个，直接搞云mongo？比如阿里云的？

Answer 2

1 云服务比如Azure Cloud、阿里云等
2 大数据集群Hive + HBase

Answer 3

要个啥数据库。

IO操作，数据直接写文件里，文件名就是时间，一个时间段的放一个文件里。

Answer 4

既然数据可以迁移到本地, 那用什么数据库都是好的. 每一个月/ 天 一个database/table. 然后直接数据库文件copy下来就完事了.

如果大量数据需要在同一个库而且是时序类型的, 比如几百亿, 可以考虑像 tidb, yugabyte, cassandra等.

Answer 5

了解一下  《操作系统》等，磁盘是块设备，不管你cpu多块，到达磁盘接口都是队列，所谓并行 写入 本身就是伪命题。

几乎所有提供了Index等基础数据功能的模块或者软件 都会提供 内存占用的参数设置。

你无非就是想做个周期 策略而已，自行分个周期Interval，然后 获取 删除就搞定了，这个删除不是delete rows 1 billion，是del file。