📂爬虫框架
一款流行,高效,生态丰富的Python爬虫框架
python爬虫框架。简单易上手,自带在线编程和任务管理界面
Elegant Scraper and Crawler Framework for Golang
翻译 - 用于Golang的优雅的Scraper和Crawler框架
基于Scrapy和Redis的分布式爬虫框架
📂爬虫应用
新浪微博爬虫(Scrapy、Redis)
微信公众号爬虫
基于 webmagic 的 Java 爬虫应用
豆瓣读书的爬虫
🍥 Bilibili 用户爬虫
该分类下开源项目
Python爬虫代理IP池(proxy pool)
News, full-text, and article metadata extraction in Python 3. Advanced docs:
翻译 - Python 3中的新闻,全文和文章元数据提取。高级文档:
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )
A scalable web crawler framework for Java.
翻译 - Java的可伸缩Web搜寻器框架。
An advanced Twitter scraping & OSINT tool written in Python that doesn't use Twitter's API, allowing you to scrape a user's followers, following, Tweets and more while evading most API limitations.
翻译 - 使用Python编写的高级Twitter抓取和OSINT工具,不使用Twitter的API,可让您在逃避大多数API限制的同时抓取用户的关注者,关注者,推文等。