100万条数据三小时内处理完毕 算法怎么写
100万条数据三小时内处理完毕 算法如何写?
近期,遇到一个问题,是这样的,求算法。
有个日志文件,里面存放了100万条数据,每条是一行。
另外有个函数,对每一行字符串处理后,放入另外一个文本文件中,此函数执行一次需要耗时1秒。
求一算法(方法),在三小时内将所有数据处理完毕。
先谢谢大家啦!
------解决方案--------------------
多线程异步处理,集群服务器,优化算法。
好比原先你 有一个工人排队干活,现在你有1000个 工人同时干活。
前提是每行的计算结果不互相干扰,不互相依赖。
------解决方案--------------------
我下载论文的 程序就 这么干的,每个任务丢过去就不管了,启动下一个。
这样计算机会尽自己最大的能力去干活。
------解决方案--------------------
感觉和网上的下载工具类型
分段
也就是分页查询处理
利用多线程
------解决方案--------------------
把数据读入内存再分,启用线程池,10分钟以内准能搞定。
近期,遇到一个问题,是这样的,求算法。
有个日志文件,里面存放了100万条数据,每条是一行。
另外有个函数,对每一行字符串处理后,放入另外一个文本文件中,此函数执行一次需要耗时1秒。
求一算法(方法),在三小时内将所有数据处理完毕。
先谢谢大家啦!
------解决方案--------------------
多线程异步处理,集群服务器,优化算法。
好比原先你 有一个工人排队干活,现在你有1000个 工人同时干活。
前提是每行的计算结果不互相干扰,不互相依赖。
------解决方案--------------------
我下载论文的 程序就 这么干的,每个任务丢过去就不管了,启动下一个。
这样计算机会尽自己最大的能力去干活。
------解决方案--------------------
感觉和网上的下载工具类型
分段
也就是分页查询处理
利用多线程
------解决方案--------------------
把数据读入内存再分,启用线程池,10分钟以内准能搞定。