导入网页数据,有100页左右,下一页是js控制的,该怎么解决

导入网页数据,有100页左右,下一页是js控制的
下一页url地址不会变,是js函数控制的,我怎么循环读取所有页数据呢
------解决方案--------------------
抓一下数据包,你就能看到js读取的url了,你就通过这个url来下载页面,不过有可能是些json数据,这样的话页面你要自己在本地重建实现了