| 留言与评论（共有 0 条评论） |
Python在数亿级数据集中查找某个元素是否存在解决方案？
发布时间：2020-04-15 16:52:19
我用python+txt处理过1.7亿条数据，压力不算特别大，可以接受。
有几点要注意：
1、不要用python写循环，1.7亿的循环跑到你电脑没电。
2、多用pandas和numpy，用他们自带的查找方法。
3、如果内存不够，pandas.readcsv时要用 iterator，当然这时分线程意义也不大了，因为你的瓶颈是IO。
相关内容推荐：
- 话题列表
- 推荐阅读
-
- 优质推荐
全站搜索