Welcome toVigges Developer Community-Open, Learning,Share
Ask a Question
Welcome To Ask or Share your Answers For Others

Categories

Python 处理亿级数据量有什么方案？

0 votes
290 views
in Technique[技术] by (71.8m points)

Python 处理亿级数据量有什么方案？

最近遇到一个问题，要把2亿多的数据插入到 ES 中。

现在的方案是：生成器分段读取文本内容，再对每行内容进行处理，放入到一个列表

ES 方面是循环这个列表，每次取 500 条批量插入到 ES 中
以上方案速度巨慢，跑了一两个小时才1900万，不到2000万，请问这种情况有什么好的方案？


与恶龙缠斗过久,自身亦成为恶龙；凝视深渊过久,深渊将回以凝视…
Welcome To Ask or Share your Answers For Others

1 Answer

0 votes
by (71.8m points)

没太听懂，“ES 方面是循环这个列表，每次取 500 条批量插入到 ES 中” es自己导入新库？
处理慢就多开进程，问题应该是 es如何高效写入 吧 我也不会 百度吧


与恶龙缠斗过久,自身亦成为恶龙；凝视深渊过久,深渊将回以凝视…
Welcome to Vigges Developer Community for programmer and developer-Open, Learning and Share

Just Browsing Browsing

2.1m questions

2.1m answers

63 comments

56.6k users

Most popular tags

Snow Theme by Q2A Market
Powered by Question2Answer
...