c# WebBrower 与 HttpRequest配合 抓取数据

今天研究一个功能,发现一个问题。

通过webbrower模拟用户自动登录可以完成,并且可以取到相对应的页面内容。

但是如果页面中通过ajax,动态加载的内容,这种方式是取不到的,于是用到了httpRequest get。

如果没有登录还好,有登录以后则需要进行验证。

但是web登录是别人做的,他们的认证机制并不清楚。

于是通过抓包工具,抓下来分析,发现认证sessionid是藏在httphead的cookie中。

于是在httprequest的时候,按照抓包的格式,进行httphead的复制,成功了。

rqst.Headers[HttpRequestHeader.Cookie] = ".....;...."