背景
初中的时候都是玩的博客,论坛和各个网站。那时候搜索引擎把所有内容都聚合在一起,随便一搜就能搜出很多干货。而现在,各个平台把所有的信息都放在了自家的服务器,对搜索引擎做反爬虫处理。想要看各式各样的信息,则需要下载各式各样的 APP,这很繁琐,阅读效率很低。
并且现在信息被创造的门槛就越来越低,一眼望去信息质量较低的内容占大多数。各个平台推出的解决方案是利用算法过滤垃圾信息,筛选用户感兴趣的内容进行展示。还在自己的 APP 范围内提供搜索服务,头条搜索,微信搜索就诞生了。
不否认推荐算法的优势,能帮助我们快速发现更多自己感兴趣的内容。但是也得承认,在资本的介入下,「算法」推荐优质内容并不是目的,占领用户时间才是目的。因此大多数人很容易陷入「被毫无意义的推荐内容浪费了时间」却还浑然不知的处境。而最可怕的地方在于,很多人却还没意识到:自己正被算法所影响,三观一点点的被资本「修正」,变成了算法所认为的你。
技术应当是给人们带来自由和发展,而非被资本用来接管人们的注意力,浪费宝贵的时间。因此,对于那些「真正明白自己需要什么」的人来说,或许需要另一个选择:一款高效且优雅,自由聚合全球优质内容的跨平台同步信息流应用。
出于以上原因,我考虑做一套服务来解决我面临的以上问题,方便我自己使用(因此我看什么内容就做什么内容咯)。
介绍
做这款应用的初衷,就是我觉得互联网应该有一种开放包容的精神,一种技术服务社会的责任(其实就是每天睡前都要点开好多个应用来看看今天的新闻资讯,我觉得很烦)。但很遗憾,这是违法的,不存在任何商业化的可能性,甚至不敢广而告之。理想与现实总是冲突的,昂贵的服务器和带宽只能完全靠我这个作者的爱发电了。
目前的目标是聚合微博,知乎,B 站,微信公众号,博客,推特,YouTuBe 等(还聚合什么平台我还没想好)若干内容。不过开发者只有我一个人,进度缓慢。顺便立一个 Flag:今年年底前,不管有多难都要实现以上内容的全聚合。
截图
Android
Windows
进度
目标 | 已提供的功能 | 开发中的功能 | 备注 | 进度 |
---|---|---|---|---|
微博 | 博主、 | 无 | 之所以停止维护热搜榜,是因为出于技术成本原因。因为我会把内容缓存下来减小爬取压力,但热搜榜是时时刻刻变化的,这对我的服务器内存压力很大,而且爬取微博的热搜榜意义不大,信息含量很低。之所以不做超话,是因为超话里面的粉丝言论有点反智,较为极端,我接受不了,就不想做了。 | 100% |
知乎 | 知乎热榜、知乎想法热榜 | 无 | 100% | |
B 站 | UP 主投稿、UP 主动态 | 无 | 我个人对视频类的信息流一直都不感兴趣,获取信息很低效,所以热门排行榜排期无限延后。另外近期在考虑是否要停止维护,因为 B 站视频的游客清晰度比较低,观看体验较差。想要高清晰度需要设置 Cookie,但多人使用同一 Cookie 会导致封号,一人一 Cookie 又和我的初衷相违背,我并不想拿用户的任何信息来做任何事,哪怕是完全有益的。思来想去这方面比较难做,如果近期想不到好的优化方案的话,那只能停止维护了。 | 100% |
微信公众号 | 微信公众号 | 无 | 公众号直接抓取困难,故目前提供几种间接抓取方案,请自行选择。 | 100% |
博客 | 任意博客信息 | 无 | 天然开放包容,无需我适配。 | 100% |
无 | 之所以停止维护热门瞬间,是因为其内容低龄,大多是未成年人的无病呻吟和搔首弄姿的自拍,无高质量内容,没有意义。 | 100% | ||
开源中国 | 资讯 | 无 | 100% | |
推特 | 无 | 博主 | 没有特别关注的博主,优先级不高,排期延后~ | 70% |
YouTuBe | 无 | 博主 | 没有特别关注的博主,优先级不高,排期延后~ | 0% |
Keep | 运动日记 | 无 | 100% | |
Telegram | 频道 | 无 | 100% | |
今日头条 | 关键词 | 无 | 100% | |
36kr | 资讯 | 无 | 100% | |
V2EX | 最热/最新主题 | 无 | 100% |
API 文档
请不要无脑刷新标明反爬严格的接口哦,会被限制的。
可以使用我的信息接口自行开发信息流聚合服务,信息 API 接口域名为 https://rsshub.zhangtianci.cn/
。
也可以直接用我已封装好的信息流聚合服务,信息流聚合服务接口域名为 https://rss.zhangtianci.cn/fever/
或 https://rss.zhangtianci.cn/v1/
(此接口有一定限制)。
微博
对于微博内容,在 routeParams
参数中以 query string 格式指定选项,指定更多与默认值不同的参数选项可以改善可读性。
键 | 含义 | 接受的值 | 默认值 |
---|---|---|---|
readable | 是否开启细节排版可读性优化 | 0/1/true/false | false |
authorNameBold | 是否加粗作者名字 | 0/1/true/false | false |
showAuthorInTitle | 是否在标题处显示作者 | 0/1/true/false | false(/weibo/keyword/ 中为 true) |
showAuthorInDesc | 是否在正文处显示作者 | 0/1/true/false | false(/weibo/keyword/ 中为 true) |
showAuthorAvatarInDesc | 是否在正文处显示作者头像(若阅读器会提取正文图片,不建议开启) | 0/1/true/false | false |
showEmojiForRetweet | 显示 “🔁” 取代 “转发” 两个字 | 0/1/true/false | false |
showRetweetTextInTitle | 在标题出显示转发评论(置为 false 则在标题只显示被转发微博) | 0/1/true/false | true |
addLinkForPics | 为图片添加可点击的链接 | 0/1/true/false | false |
showTimestampInDescription | 在正文处显示被转发微博的时间戳 | 0/1/true/false | false |
widthOfPics | 微博配图宽(生效取决于阅读器) | 不指定 / 数字 | 不指定 |
heightOfPics | 微博配图高(生效取决于阅读器) | 不指定 / 数字 | 不指定 |
sizeOfAuthorAvatar | 作者头像大小 | 数字 | 48 |
displayVideo | 是否直接显示微博视频,只在博主 RSS 中有效 | 0/1/true/false | true |
博主
反爬严格,部分博主仅登录可见,不支持订阅,可以通过打开 https://m.weibo.cn/u/:uid
验证。
仅爬取公开的微博。
路由
/weibo/user/:uid/:routeParams?
参数
uid
必选,用户 id。
博主主页打开控制台执行 $CONFIG.oid
获取。
routeParams
可选,额外参数。
请参阅上面的说明和表格,当 routeParams=1
时开启微博视频显示。
热搜榜(停止维护)
反爬严格。
出于技术成本原因,后期考虑下掉这个接口。因为我会把内容缓存下来减小爬取压力,但热搜榜是时时刻刻变化的,这对我的服务器内存压力很大,而且爬取微博的热搜榜意义不大,信息含量很低。
路由
/weibo/search/hot
知乎
知乎热榜
反爬严格。
路由
/zhihu/hotlist
知乎想法热榜
反爬严格。
路由
/zhihu/pin/hotlist
微信
公众号直接抓取困难,故目前提供几种间接抓取方案,请自行选择。
公众号(CareerEngine 来源)
路由
/wechat/ce/:id
参数
id
必选,公众号 id。
在 CareerEngine 搜索公众号,通过 URL 中找到对应的公众号 id。
公众号(二十次幂来源)
反爬严格。
路由
/wechat/ershicimi/:id
参数
id
必选,公众号 id。
打开公众号页, 在 URL 中找到 id。
Bilibili
近期在考虑是否要停止维护,因为 B 站视频的游客清晰度比较低,观看体验较差。想要高清晰度需要设置 Cookie,但多人使用同一 Cookie 会导致封号,一人一 Cookie 又和我的初衷相违背,我并不想拿用户的任何信息来做任何事,哪怕是完全有益的。思来想去这方面比较难做,如果近期想不到好的优化方案的话,那只能停止维护了。
UP 主投稿
反爬严格。
路由
/bilibili/user/video/:uid/:disableEmbed?
参数
uid
必选,用户 id,可在 UP 主主页中找到。
disableEmbed
可选,默认为开启内嵌视频, 任意值为关闭。
UP 主动态
反爬严格。
路由
/bilibili/user/dynamic/:uid/:disableEmbed?
参数
uid
必选,用户 id, 可在 UP 主主页中找到。
disableEmbed
可选,默认为开启内嵌视频, 任意值为关闭。
Soul
热门瞬间(停止维护)
内容低龄,大多是未成年人的无病呻吟和搔首弄姿的自拍,无高质量内容,没有意义。
路由
/soul/posts/hot/:pid*
参数
pid*
必选,瞬间 id,分享用户瞬间时的 URL 的 postIdEcpt 参数。
提供不同内容的 pid
,可以得到不同的热门瞬间推荐,如果想看多个种类的热门可以用 /
把不同的 pid
连起来,例如:NXJiSlM5V21kamJWVlgvZUh1NEExdz09/MkM0amxSTUNiTEpLcHhzSlRzTEI1dz09
。
瞬间更新
路由
/soul/:id
参数
id
必选,用户 id,分享用户主页时的 URL 的 userIdEcpt 参数。
开源中国
资讯
路由
/oschina/news/:category?
参数
category
可选,板块名。
综合资讯 | 软件更新资讯 | 行业资讯 | 编程语言资讯 |
---|---|---|---|
industry | project | industry-news | programming |
订阅 全部板块资讯 可以使用 /oschina/news
。
Keep
运动日记
路由
/keep/user/:id
参数
id
必选,Keep 用户 id。
Telegram
频道
部分涉及色情、版权、政治的频道无法订阅。
路由
/telegram/channel/:username/:searchQuery?
参数
username
必选,频道 username。
searchQuery
可选,搜索关键词,如需搜索 tag 请用 %23
替代 #
。
今日头条
关键词
反爬严格。
路由
/jinritoutiao/keyword/:keyword
参数
keyword
必选,关键词。
36kr
资讯
路由
/36kr/news/:caty
参数
caty
必选,资讯分类。
最新 | 推荐 | 创投 | 中概股 | 汽车 | 科技 | 企服 | 金融 | 生活 | 创新 | 房产 | 职场 | 其他 |
---|---|---|---|---|---|---|---|---|---|---|---|---|
latest | recommend | contact | ccs | travel | technology | enterpriseservice | banking | life | innovate | real_estate | workplace | other |
V2EX
最新/最热主题
路由
/v2ex/topics/:type
参数
type
必选,hot 或 latest。