Welcome toVigges Developer Community-Open, Learning,Share
Ask a Question
Welcome To Ask or Share your Answers For Others

Categories

两个数据量很大的集合求差集的高效方法

0 votes
3.5k views
in Technique[技术] by (71.8m points)

两个数据量很大的集合求差集的高效方法

如题，两个集合如 List<String>，每个集合的数据量可能在 50-100w之间，如何 高效的计算出 list-1 diff list-2 的结果，耗时 以及内存占用 尽可能优

可以使用任何一切手段，如 调用脚本等


与恶龙缠斗过久,自身亦成为恶龙；凝视深渊过久,深渊将回以凝视…
Welcome To Ask or Share your Answers For Others

1 Answer

0 votes
by (71.8m points)

在一楼的基础上 用多线程 对集合分块剔除 最后在合并结果 只要线程够多 快到你无法想象
其次 用底层语言 机器指令最好
硬件方面 如果一台不行 加机器 加内存 加cpu 还不行 考虑大数据方面吧 终极方案 干掉出问题的人
image.png


与恶龙缠斗过久,自身亦成为恶龙；凝视深渊过久,深渊将回以凝视…
Welcome to Vigges Developer Community for programmer and developer-Open, Learning and Share

Just Browsing Browsing

2.1m questions

2.1m answers

63 comments

56.5k users

Most popular tags

Snow Theme by Q2A Market
Powered by Question2Answer
...