超大文本数据的处理有关问题
超大文本数据的处理问题!
要读取大文本中的N万条的记录进行处理,不知道如何进行?
搜索了相关的文章,不过多是提及文件的直接读写,
我这里还要进行每条记录的处理.
请大虾帮忙一下.谢谢!
------解决方案--------------------
你是要如何处理，仅仅是分析记录还是要编辑修改？
如果是分析就简单了，但如果涉及到插入删除，那么对后继的大量数据的等处理就需要特别的处理算法了。
处理时可以用内存映射文件，映射到要处理的一段区域上，由操作系统来完成文件IO，由于内存映射是由系统的虚拟内存调度机制控制的，比自己读取文件效率要好得多。
如果对效率要求极高，还可以使用两个内存映射，当处理其中一个时，用另外一个线程把另一个映射到下一段要处理的区域上，如此循环交替使用。
要读取大文本中的N万条的记录进行处理,不知道如何进行?
搜索了相关的文章,不过多是提及文件的直接读写,
我这里还要进行每条记录的处理.
请大虾帮忙一下.谢谢!
------解决方案--------------------
你是要如何处理，仅仅是分析记录还是要编辑修改？
如果是分析就简单了，但如果涉及到插入删除，那么对后继的大量数据的等处理就需要特别的处理算法了。
处理时可以用内存映射文件，映射到要处理的一段区域上，由操作系统来完成文件IO，由于内存映射是由系统的虚拟内存调度机制控制的，比自己读取文件效率要好得多。
如果对效率要求极高，还可以使用两个内存映射，当处理其中一个时，用另外一个线程把另一个映射到下一段要处理的区域上，如此循环交替使用。