快速找出相同的字符串,该怎么解决

快速找出相同的字符串
在一个文件中存在着百万级别的字符串,一个字符串一行。
例如:前面是字符串,后面是其存在的数据库。
AB3F34FDdfd db9
AB3F34FDdfd db8
我要找出字符串相同的出来。例如上面的就是相同的,且要知道存在db8和db9中。
请问怎么个查找法,时间最快,空间最小?

------解决方案--------------------
分别计算hash值可行?hash值相同就相同。。。
------解决方案--------------------
你的语言如果有hashtable一类的数据结构,直接拿来用就好了,如果没有,网上搜下哈希算法,自己实现一个。貌似有的字典类本身就是hashtable的实现