python爬虫最全教程_python网路爬虫基本教程第六单元协程爬虫基本示例
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
async with aiohttp.ClientSession() as session:
html = await fetch(session, 'http://httpbin.org/headers')
print(html)
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
这段代码使用了asyncio和aiohttp库来编写一个简单的异步HTTP客户端。fetch
函数负责发送HTTP请求并获取响应文本,而main
函数则使用异步上下文管理器async with
来管理ClientSession
,并调用fetch
函数获取网页内容。最后,使用异步事件循环asyncio.get_event_loop()
运行main
函数。这是Python异步协程编程的一个基本示例。
评论已关闭