Python 爬虫（47）—— Python 异步爬虫与 K8S 弹性伸缩：构建百万级并发数据采集引擎
在现代数据采集和处理工作中，如何高效地爬取和存储海量数据是一个极为重要的课题。Python 提供了许多异步编程的工具，可以帮助我们大规模并发地进行数据爬取。此外，借助 Kubernetes (K8S) 的弹性伸缩能力，可以让我们在面对大规模数据采集时，动态扩展计算资源，轻松应对高并发和大流量的数据请求。
本篇教程将通过构建一个异步爬虫系统，并结合 Kubernetes 实现弹性伸缩，展示如何打造一个百万级并发的数据采集引擎。
1. 了解异步爬虫
在传统的同步爬虫中，我们的代码会等待每个请求完成后才会发起下一个请求，这样会导致网络延迟和 I/O 操作的浪费。而异步编程允许我们在等待网络响应时同时处理其他请求，从而提高爬虫的效率。
为什么使用异步爬虫？
- 提升性能：通过非阻塞 I/O 操作，可以在一个线程中发起多个 HTTP 请求。
- 高效并发：能处理大量的并发请求，特别适合抓取大规模数据的场景。
- 降低资源消耗：异步爬虫的内存和 CPU 占用通常较低，可以处理大量的请求而不增加过多的资源消耗。
2. 异步爬虫的基础：aiohttp 和 asyncio
在 Python 中，我们使用 aiohttp 进行异步 HTTP 请求，通过 asyncio 协程来管理并发。
安装依赖
pip install aiohttp asyncio
编写基本的异步爬虫
import aiohttp
import asyncio
async def fetch(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as response:
return await response.text()
async def main():
urls = ['https://example.com', 'https://example.org', 'https://example.net']
tasks = []
for url in urls:
tasks.append(fetch(url)) # 创建每个请求的任务
results = await asyncio.gather(*tasks) # 异步执行所有请求
for result in results:
print(result) # 输出爬取的网页内容
if __name__ == "__main__":
asyncio.run(main())
代码解析：
async def fetch(url)：定义了一个异步函数，使用aiohttp发送 HTTP 请求并等待响应。async with aiohttp.ClientSession() as session：创建一个会话对象，它用于管理连接池和请求的复用。asyncio.gather(*tasks)：并行执行多个任务，gather()会等待所有任务完成并返回结果。
3. 异步爬虫的高级特性
3.1 设置请求头和超时控制
在实际爬虫开发中，通常需要添加请求头，以模拟浏览器行为，防止爬虫被封禁。此外，超时控制也是非常重要的，防止某些请求因长时间无响应而阻塞程序。
import aiohttp
import asyncio
async def fetch(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
timeout = aiohttp.ClientTimeout(total=10) # 设置超时时间为 10 秒
async with aiohttp.ClientSession(headers=headers, timeout=timeout) as session:
async with session.get(url) as response:
return await response.text()
3.2 限制并发数
当并发请求过多时，可能会给目标网站带来很大压力，导致 IP 被封禁。可以通过 asyncio.Semaphore 控制并发的数量。
import aiohttp
import asyncio
sem = asyncio.Semaphore(10) # 最多并发 10 个请求
async def fetch(url):
async with sem: # 限制并发数
async with aiohttp.ClientSession() as session:
async with session.get(url) as response:
return await response.text()
# 其他代码保持不变
4. 结合 Kubernetes 实现弹性伸缩
当爬虫的并发量增加时，单一机器的处理能力可能会成为瓶颈。此时，借助 Kubernetes (K8S) 可以实现弹性伸缩，自动扩展或缩减爬虫的实例数，确保爬虫的高效运行。
4.1 部署 Python 异步爬虫到 Kubernetes 集群
首先需要准备一个 Docker 镜像，将爬虫代码打包成镜像，以便部署到 Kubernetes 集群。
1. 创建 Dockerfile
# 使用官方 Python 3.9 镜像作为基础镜像
FROM python:3.9-slim
# 设置工作目录
WORKDIR /app
# 复制当前目录的内容到容器内
COPY . /app
# 安装依赖
RUN pip install -r requirements.txt
# 设置容器启动命令
CMD ["python", "async_scraper.py"]
2. 构建 Docker 镜像
docker build -t async-scraper .
3. 推送镜像到容器仓库
docker tag async-scraper username/async-scraper:v1
docker push username/async-scraper:v1
4. 部署到 Kubernetes
接下来，我们创建一个 Kubernetes 部署文件 deployment.yaml，用来部署爬虫到 K8S 集群。
apiVersion: apps/v1
kind: Deployment
metadata:
name: async-scraper
spec:
replicas: 3 # 设置初始副本数
selector:
matchLabels:
app: async-scraper
template:
metadata:
labels:
app: async-scraper
spec:
containers:
- name: async-scraper
image: username/async-scraper:v1 # 替换成你的 Docker 镜像
resources:
limits:
memory: "512Mi"
cpu: "1"
requests:
memory: "256Mi"
cpu: "0.5"
---
apiVersion: v1
kind: Service
metadata:
name: async-scraper-service
spec:
selector:
app: async-scraper
ports:
- protocol: TCP
port: 80
targetPort: 8080
在这个配置中，我们创建了一个名为 async-scraper 的部署，它包含 3 个副本。Kubernetes 会自动管理这些副本的创建和负载均衡。
5. 部署到 K8S 集群
kubectl apply -f deployment.yaml
5. 自动弹性伸缩
为了应对爬虫请求量的波动，可以使用 Kubernetes 的自动弹性伸缩功能（HPA, Horizontal Pod Autoscaler）。HPA 会根据 CPU 或内存使用情况自动调整 Pod 的数量。
配置 HPA
创建一个 hpa.yaml 文件，设置基于 CPU 使用率进行自动扩展。
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: async-scraper-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: async-scraper
minReplicas: 3 # 最小副本数
maxReplicas: 10 # 最大副本数
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50 # 当 CPU 使用率超过 50% 时进行扩展
应用 HPA 配置：
kubectl apply -f hpa.yaml
Kubernetes 将根据 CPU 使用率自动伸缩爬虫实例。
6. 总结
通过结合 异步编程 和 Kubernetes 弹性伸缩，我们能够构建一个高效、灵活的大规模并发数据采集系统。aiohttp 和 asyncio 提供了强大的异步编程支持，使我们能够高效地处理大量并发请求，而 Kubernetes 的弹性伸缩能力则确保了系统可以根据负载动态扩展资源，从而保证爬虫系统的高效和稳定。
在实际应用中，这种架构不仅能够应对大规模数据采集任务，还可以提高爬虫的稳定性和抗压能力，是构建百万级并发数据采集引擎的理想方案。
发表回复