JustYeh的前端博客

关于爬虫的相关文章
使用puppeteer做爬虫的一次实践
这段时间迷上了一本漫画ヽ(✿゚▽゚)ノ,百度了一番,一直没有找到下载的资源,只找到几个可以在线观看的网站,不过网站的观看体验是在太差,小广告飘啊飘的(ノへ ̄、),于是决定把它给爬下来放在本地观看。 nodegrass + cheerio 在这之前我有过写爬虫的体验(使用 nodejs 做爬虫来爬取一本小说),按照以前的经验,选定一个网站就开始操作了,经过漫长下载(5000+张图片)终于完成,结

2019-07-09

使用nodejs做爬虫来爬取一本小说
最近在网上看到了一个小说,感觉挺好看的,在线阅读的网站广告比较多,想下载下来,结果找半天也没个全本下载的。于是想到用爬虫自己来实现,下面记录了我的实现过程。 使用nodegrass做网络请求 刚开始是使用http模块的get方法来做网络请求的,不过一直有中文乱码的问题,于是找到了nodegrass,使用比较简单: var gs = require('nodegrass'); g

2019-01-05