Medivh's castle

数据蜘蛛工作室

近期重新拾起来了久违的爬虫,有时候就想练练手,正好想起来了某个博客平台,虽然这个平台的评价不高,但是也是有一定存在意义的。那就用Python的方式的方式刷一下阅读量吧。

目标分析

阅读全文 »

理论依据

在时效性上来区分任务,常规的任务一般分为在线任务和离线任务。其中在线任务消耗的资源相对较少,但是要求相应时间较短,比如web服务;而离线任务则对时效性要求不高,但是任务量大,需要的资源更多。因此把两种项目混合部署在一起就叫做混合部署。

阅读全文 »

前言

上周空气有点干燥,打算把加湿器拿出来用上,但是它不出雾了!
明明上个月的时候还用过呢,咋就不行了呢?

阅读全文 »

前言

在执行IO密集型任务的时候,程序经常会因为等待IO而阻塞。比如平时使用的requests库来进行请求接口,如果响应过慢,程序会一直等待响应,最后导致抓取数据的效率低下。为了解决这一问题,来研究一下异步协程加速的方法。

阅读全文 »
0%