关于千万级数据的OLAP场景是什么样的


关于千万级数据的OLAP场景是什么样的,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。前段时间接手一个比较棘手的项目.6千万的股票行情数据聚合场景.用户发起query, 到解析, 再到聚合, 最后展现给用户耗时不超过2秒.因为聚合维度比较多, 可以划分为时间维度, 指标维度. 指标维度多达10几个.使用mongo, 先扔进去了2千万左右的数据, 不加索引的情况下, 几乎出不了结果.如果每个维度都使用索引的话成本太高, 最后果断放弃了mongo.使用 香港云主机mysql, 数据分片, 很细粒度的, 准备以空间换时间.主要是以时间维度做数据冗余, 针对几个主要的时间段, 时间点提前做数据准备.其他维度采用硬算的方式.想法是好的, 测试的结果对我来说相当残酷.1.硬算时间太长.2.非主要时间维度跨度太细, 不是所有都做数据pre.采用elasticsearch, 准备了5台服务器. 准备采用5台es集群应对OLAP场景.导进5千万数据后, 开始测试.时间维度+其他单一维度在1秒以内时间维度+其他多维度(3个以内)在3秒内看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注开发云行业资讯频道,感谢您对开发云的支持。

相关推荐: ThinkPhp中怎么实现多语言

ThinkPhp中怎么实现多语言,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大 香港云主机家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。使用框架为v5.1.38 LTS来到配置文件config/app.php可以看到关于语言的…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 08/12 18:01
下一篇 08/12 18:01

相关推荐