Java如何实现多线程大批量同步数据


本文小编为大家详细介绍“Java如何实现多线程大批量同步数据”,内容详细,步骤清晰,细节处理妥当,希望这篇“Java如何实现多线程大批量同步数据”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。最近遇到个功能,两个月有300w+的数据,之后还在累加,因一开始该数据就全部存储在mysql表,现需要展示在页面,还需要关联另一张表的数据,而且产品要求页面的查询条件多达20个条件,最终,这个功能卡的要死,基本查不出来数据。最后是打算把这两张表的数据同时存储到MongoDB中去,以提高查询效率。一开始同步的时候,采用单线程,循环以分页免费云主机域名的模式去同步这两张表数据,结果是…一晚上,只同步了30w数据,特慢!!!最后,改造了一番,2小时,就成功同步了300w+数据。以下是主要逻辑。线程的个数请根据你自己的服务器性能酌情设置。先通过count查出结果集的总条数,设置每个线程分页查询的条数,通过总条数和单次条数得到线程数量,通过改变limit的下标实现分批查询。ListUtils工具读到这里,这篇“Java如何实现多线程大批量同步数据”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注百云主机行业资讯频道。

相关推荐: php怎么返回json

本篇内容主要讲解“php怎么返回json”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“php怎么返回json”吧! php返回json的方法:1、在php文件中设置“header(‘Content-Type:app…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 03/28 08:54
下一篇 03/28 08:55

相关推荐