Libcurl抓取网页文件不完全的有关问题
Libcurl抓取网页文件不完全的问题。
这是我的代码: tmpBuffer是个字符串类
刚开始使用libcurl,很多东西不熟。用以上代码试了几个网站地址,发现获取的数据不完整。我尝试了在回调函数第一句加断点查看ptr和nmemb的大小,然后在抓取百度首页后,仅获得到4300多个字符,而百度mp3首页只能抓到800多个字符(每次抓取到的长度都不同),这明显不是其html文件的大小,请问该如何解决?谢谢!
------解决方案--------------------
http://baike.baidu.com/view/1806203.htm
这是我的代码: tmpBuffer是个字符串类
CURL *curl;
curl = curl_easy_init();
curl_easy_setopt(curl, CURLOPT_URL, m_szURL.c_str());
curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, curl_callback);
CURLcode res = curl_easy_perform(curl);
curl_easy_cleanup(curl);
size_t curl_callback(char *ptr, size_t size, size_t nmemb, void *userdata) {
tmpBuffer = ptr;
return 0;
}
刚开始使用libcurl,很多东西不熟。用以上代码试了几个网站地址,发现获取的数据不完整。我尝试了在回调函数第一句加断点查看ptr和nmemb的大小,然后在抓取百度首页后,仅获得到4300多个字符,而百度mp3首页只能抓到800多个字符(每次抓取到的长度都不同),这明显不是其html文件的大小,请问该如何解决?谢谢!
Curl
C
HTML
------解决方案--------------------
http://baike.baidu.com/view/1806203.htm