1 __author__ = 'minmin'
2 #coding:utf-8
3 import re,urllib,sgmllib
4
5 #根据当前的主页url获取html
6 def getHtml(url):
7 page = urllib.urlopen(url)
8 html = page.read()
9 page.close()
10 return html
11
12
13 #html链接的标签是“a”，链接的属性是“href”，也就是要获得html中所有tag=a，attrs=href 值。
14 class URLPaser(sgmllib.SGMLParser):
15 def reset(self):
16 sgmllib.SGMLParser.reset(self)
17 self.urls = []
18
19 def start_a(self,attrs):
20 href = [v for k,v in attrs if k == 'href']
21 if href:
22 self.urls.extend(href)
23
24 #根据html获取想要的文章内容
25 def func(str):
26 #用正则表达式提取自己想要获取的内容
27 result = re.findall(r"<P style="TEXT-INDENT: 2em">([^<>]*)</P>",getHtml(url),re.M)
28 artical =''
29 for j in result:
30 if len(j)<>0:
31 j = j.replace("<STRONG>"," ")#去掉<STRONG>,换成" "
32 j = j.replace("</STRONG>"," ")#去掉</STROGN>换成" "
33 artical = artical + j + '
'
34 return artical
35
36
37 IParser = URLPaser()
38 socket = urllib.urlopen("http://finance.qq.com/")#打开主页
39
40 IParser.feed(socket.read())#开始分析处理
41
42 reg = 'http://finance.qq.com/a/.*'#用来匹配符合条件的链接，使用正则表达式匹配
43
44 pattern = re.compile(reg)
45
46 i = 0
47 url2 = []
48 for url in IParser.urls:#链接都存在urls里
49
50 if pattern.match(url):#匹配符合条件的链接
51 artical = func(url)#调用函数func
52 if url not in url2:#重复的url不再进行提取文章内容
53 url2.append(url)
54 print url
55 if len(artical)<>0:#如果文章捏弄内容不为空
56 print artical
57 i = i + 1
58 #这个文件地址是文件保存地址，可根据要保存位置自己进行相应的更改
59 f = open("qq/Economy/"+str(i) + '.txt','a+')#把提取的内容按顺序保存在相应文件夹中
60 f.write(artical)
61 f.close()
62
63
64 #################################################################################################################
65 #注：本文借鉴http://www.jb51.net/article/52062.htm
66 #并在其基础上改进的 重复的url不再进行爬取，并把提取的内容写到指定的文件夹中
67 #################################################################################################################
