抢救啊 抓取网页数据保存到本地数据库 有1万多页
急救啊 抓取网页数据保存到本地数据库 有1万多页啊
http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882
那位大侠能帮帮小弟 抓取这个网站上的药品信息并保存到本地数据库 最好能进入药品的下级目录 取得更多的数据内容 共1万多页 是在抱歉 图片上传不了
------解决方案--------------------
共11062页 共165919条
平均每页花费3秒的话
取完这 1W 页的数据大约 9+小时
还没有计算中间掉线需要补数据的时间
要求高了一点
扫雷
------解决方案--------------------
http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882
那位大侠能帮帮小弟 抓取这个网站上的药品信息并保存到本地数据库 最好能进入药品的下级目录 取得更多的数据内容 共1万多页 是在抱歉 图片上传不了
------解决方案--------------------
共11062页 共165919条
平均每页花费3秒的话
取完这 1W 页的数据大约 9+小时
还没有计算中间掉线需要补数据的时间
要求高了一点
扫雷
------解决方案--------------------
Clear
nTime = Seconds()
nDelayTime = 2 && 延时时间,如果你的网速慢,秒数酌情放大
Public oie, objTable, nPages
nStartPage = 1 && 起始页
nEndPage = 10 && 结束页
Create Cursor 国产药品 (序号 N (6), 产品名称 C(40), 批准文号 C(20), 生产单位 C(40), 药品本位码 C(70) )
oIE = Createobject("internetexplorer.application")
oIE.Visible = .F.
oIE.Navigate("http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882")
=WaittingFor()
For I = nStartPage To nEndPage
Wait Window "正在提取数据,预计耗时(秒):" + Alltrim( Str((nEndPage - nStartPage + 1) * nDelayTime * 1.1 ) ) + Chr(13) + ;
"现在正在提取:" + Alltrim( Str(I) ) + " of " + Alltrim( Str(nEndPage) ) + " 页" Nowait
nPages = "javascript:devPage(" + Alltrim(Str(I)) + ")"
oIE.Navigate(nPages)
=WaittingFor()
Do GetDates
Endfor
Wait Window "耗时(秒) : " + Alltrim(Str(Seconds() - nTime)) Timeout 3
oIE.Quit()
Go Top
Browse Last
Return
Function WaittingFor && 延时
tStartSecond = Seconds()
Do While oIE.Busy=.T. Or oIE.ReadyState#4