📂爬虫框架
一款流行,高效,生态丰富的Python爬虫框架
一个快速优雅的Golang爬虫框架
python爬虫框架。简单易上手,自带在线编程和任务管理界面
基于Scrapy和Redis的分布式爬虫框架
📂爬虫应用
新浪微博爬虫(Scrapy、Redis)
微信公众号爬虫
🍥 Bilibili 用户爬虫
基于 webmagic 的 Java 爬虫应用
豆瓣读书的爬虫
该分类下的开源项目
#网络爬虫# Python爬虫代理IP池(proxy pool)
#网络爬虫# An advanced Twitter scraping & OSINT tool written in Python that doesn't use Twitter's API, allowing you to scrape a user's followers, following, Tweets and more while evading most API limitations.
翻译 - 使用Python编写的高级Twitter抓取和OSINT工具,不使用Twitter的API,可让您在逃避大多数API限制的同时抓取用户的关注者,关注者,推文等。
#网络爬虫# 一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )
#网络爬虫# webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。
#网络爬虫# 一个Python数据采集框架,能自动提取新闻、文章的标题、关键词、作者、摘要、正文等元数据