成都市支付宝面试归来

这个我自己也没有，因为公司的开发内网是封闭的，偶不是骇客，没得那个技术。。
除非一行一行的抄出来。。
个人也不是很赞同公司的做法。
而且我觉得两年前写的东西也不是很好，对日志的格式要求搞，没有用正则表达式处理这个问题，没有做ui接口，只能将分析后的日志分类到各个不同的文本文件中。

这个source我也没有，因为开发在公司内网，所有的代码都拿不出来，偶不是骇客，没那个技术。
不好意思。个人也不是很赞同公司的做法。

我觉得这个问题不复杂啊，可以用LineNumberReader处理，它是扩展了BufferedReader，可以设置缓冲区大小。如果像楼上的朋友，需要要有涉及多个处理过程，那就使用管道就应该可以搞定了

http://java.sun.com/developer/technicalArticles/Programming/PerfTuning/

大家到这里看一看吧，是英文版

只用vc写过一个类似的日志分析器
分别在子线程里读并解析日志
每次读一定数量的行到内存里
不然高频率io太耗资源了
解析完就马上释放了内存
当然不忘定量Sleep下
分析个几百M的日志文件似乎还马马虎虎

我用BufferedReader去一行行读一个450M的文件，然后每行去检验在不在一个size 为100左右的 ArrayList里面，整个文件匹配完需要6分钟。。。

昨天用我也弄了一个代码测试了一下。文件大小有589,839K，不过不知道楼上的朋友怎么存储匹配的结果。放内存中肯定要OutOfMemomry，我写到文件中，产生的日志有600多M。所以我在测试的时候就没有存储结果了。下面是代码


import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.LineNumberReader;
import java.util.LinkedList;
import java.util.List;

public class SearchKeyDemo {

final public String fileName;

final public String key;

//缓冲区大小
int size = 8 * 1024;

List<String> list = new LinkedList<String>();

public SearchKeyDemo(String fileName, String key) {
this.fileName = fileName;
this.key = key;
             if(this.fileName==null||this.key==null)
               throw new NullPointException();

}

public void pocessSearch() {

File file = new File(fileName);
if (file.isFile() == false || key == null || key.length() <= 0) {
return;
}
FileInputStream input = null;
LineNumberReader reader = null;
try {
input = new FileInputStream(file);

// 读数据
reader = new LineNumberReader(new InputStreamReader(input), size);
String s = null;
while ((s = reader.readLine()) != null) {
proccessLine(reader.getLineNumber(), s, key);
}

} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} finally {
if (reader != null) {
try {
reader.close();
} catch (IOException e) {

}
}
if (input != null) {
try {
input.close();
} catch (IOException e) {

}
}
}
}

public List<String> getList() {
return list;
}

public void proccessLine(final int line, String value, String key) {
int index = 0;
do {
// 获取子串
String subString = value.substring(index);
if (subString == null || subString.trim().length() <= 0) {
break;
}
int position = getKeyIndex(subString, key);
if (position < 0) {
break;
}
index += position;
// 保存得到的记录
// list.add(line + "行," + index + "列");
// 要检查的子串长度小于关键字的字符串的长度，则退出
if (index + 2 * key.length() > value.length()) {
break;
}
index += key.length();
} while ((index + key.length()) < value.length());

}

/**
* 得到当前字符串的第一个关键字所在的位置
*
* @param value
* @param key
* @return
*/
public int getKeyIndex(String value, String key) {
return value.indexOf(key);
}

/**
* @param args
*/
public static void main(String[] args) {

SearchKeyDemo demo = new SearchKeyDemo("C:/test.txt", "alibaba");
long start = System.currentTimeMillis();
demo.pocessSearch();
long end = System.currentTimeMillis();
System.out.println("用时：" + (end - start) + "ms");

}
}

得到了一组结果：
缓存区大小　　　　　耗时(ms)
默认　　　　　　　　57187
10*1024           55809　
12*1024　           55063
8*1027            54672

如果选择大打印出来，也挺耗时的

时间都在IO上

性能问题，楼主的回答也不能算错的。 性能无非是时间换空间，空间换时间。 没有说运行环境，和性能目标，仅仅"1G大小的文件"这个条件不足以做判断。

是不是用NIO操作，效率比较高。

一般情况一行一行读  是不会内存溢出的
除非一行的数据就有几百M

一行行读应该可以，至于要在N个里面查找，用一些查找算法就行了，比如二分查找，或者把ARRAYLIST做成二叉排序树等等。。。

数据结构学多了就成了学究了，动不动就说一些数据结构的名词，这谁都会说，关键是给出你的解决方案！

呵呵，前面已经说了，读取时一部分一部分的读，处理完就释放然后再读下一部分，这个过程可以是一行行的读，也可以用SLEEK之类的方法定位待读字节位置，然后按字节读，方法很多，自己网上查；查找的就不用多说了，要算法代码网上也很多，另外我说的那些不算学究，发明那些东西创造那些东西的才是学究，希望你搞清关系。如果这都叫学究，那你们也太井底之蛙了吧。。。

数据结构都不懂的话，那玩笑就开大了。

如果问我的话,我就回答为什么会出现这样的问题,改用数据库不可以吗?没有写文件,自然不用读文件,也不会有那么多细节需要处理,都交给数据库就行了.

ls大哥以为数据库是神仙，呵呵。

好些个地方能不用数据库就不用的，否则太多的地方要cactch了。

“好些个地方能不用数据库就不用的”，很不理解哈，做数据存取的，又有这么大的规模，当然是能用数据库则用数据库啊。见过任何mis不用数据库而用文件来做数据存取的吗？本质上数据库的存取也是对数据库文件的存取，但细节被数据库封装了，不用考虑很多底层问题，何乐而不为？

对某些业务来说  数据库是不合适的

比如我现在这个项目就有  是和别的公司的数据库要交互  我们就是用文件来做的  共用一个数据库显然是不现实的  安全性根本就无法保证

晕，这个问题还在争啊，看来真是一个经典问题啊，呵呵