网络爬虫  该页面收集了与爬虫相关的框架和应用程序。

📂爬虫框架

  一款流行,高效,生态丰富的Python爬虫框架

Python47.19 k
scrapy/scrapy

  一个快速优雅的Golang爬虫框架

Go19.25 k
gocolly/colly

  python爬虫框架。简单易上手,自带在线编程和任务管理界面

Python15.88 k
binux/pyspider

  基于Scrapy和Redis的分布式爬虫框架

Python5.28 k
rmax/scrapy-redis
📂爬虫应用

  一个种子嗅探器,它从 BitTorrent 网络获取人们下载音乐、电影、游戏、文档等等时所用的种子

Go3.9 k
fanpei91/torsniff

  新浪微博爬虫(Scrapy、Redis)

Python3.21 k
LiuXingMing/SinaSpider

  微信公众号爬虫

Python3.04 k
bowenpay/wechat-spider

  🍥 Bilibili 用户爬虫

Python2.78 k
airingursb/bilibili-user

  基于 webmagic 的 Java 爬虫应用

Java2.72 k
brianway/webporter

  豆瓣读书的爬虫

Python2.51 k
lanbing510/DouBanSpider
该分类下的开源项目

#爬虫框架#  一款流行,高效,生态丰富的Python爬虫框架

Python47.19 k
scrapy/scrapy

#自动化#  你的代理人,随时待命。Huginn 是一个用于构建自动化任务的web平台。

Ruby38.47 k
huginn/huginn

#网络爬虫#  一个Go语言开发命令行视频下载工具

Go21.11 k
iawia002/lux

#爬虫框架#  一个快速优雅的Golang爬虫框架

Go19.25 k
gocolly/colly

#网络爬虫#  Python爬虫代理IP池(proxy pool)

Python17.94 k
🇨🇳
jhao104/proxy_pool

#网络爬虫#  An advanced Twitter scraping & OSINT tool written in Python that doesn't use Twitter's API, allowing you to scrape a user's followers, following, Tweets and more while evading most API limitations.

翻译使用Python编写的高级Twitter抓取和OSINT工具,不使用Twitter的API,可让您在逃避大多数API限制的同时抓取用户的关注者,关注者,推文等。

Python14.98 k
twintproject/twint

#网络爬虫#  一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

Python12.08 k
🇨🇳
shengqiangzhang/examples-of-web-crawlers

#网络爬虫#  webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。

Java10.84 k
🇨🇳
code4craft/webmagic

#网络爬虫#  一个Python数据采集框架,能自动提取新闻、文章的标题、关键词、作者、摘要、正文等元数据

Python10.09 k
codelucas/newspaper