【爬虫实战】使用Python采集小红书笔记的评论,爬了10000多条,含多级评论! 发表于 2023-11-13 分类于 乐趣 阅读次数: 一、目标整理今天的目标是爬取小红书上指定笔记下的所有评论数据。阅读全文 »
使用Python刷某博客平台的阅读量 发表于 2023-11-07 分类于 开发 阅读次数: 近期重新拾起来了久违的爬虫,有时候就想练练手,正好想起来了某个博客平台,虽然这个平台的评价不高,但是也是有一定存在意义的。那就用Python的方式的方式刷一下阅读量吧。目标分析阅读全文 »
关于混合部署方案的设想 发表于 2023-10-31 分类于 云原生 阅读次数: 理论依据在时效性上来区分任务,常规的任务一般分为在线任务和离线任务。其中在线任务消耗的资源相对较少,但是要求相应时间较短,比如web服务;而离线任务则对时效性要求不高,但是任务量大,需要的资源更多。因此把两种项目混合部署在一起就叫做混合部署。阅读全文 »
关于协程的认知 发表于 2023-10-31 分类于 Python 阅读次数: 前言在执行IO密集型任务的时候,程序经常会因为等待IO而阻塞。比如平时使用的requests库来进行请求接口,如果响应过慢,程序会一直等待响应,最后导致抓取数据的效率低下。为了解决这一问题,来研究一下异步协程加速的方法。阅读全文 »
深入理解StatefulSet(二) 发表于 2023-10-31 分类于 云原生 阅读次数: 前言上一篇介绍了 StatefulSet 的基础原理,但是只使用了应用之一的拓扑状态。这一篇将会介绍使用存储状态。阅读全文 »