快乐学Python,数据分析之获取数据方法【公开数据或爬虫】
warning:
这篇文章距离上次修改已过190天,其中的内容可能已经有所变动。
在Python中,获取数据可以通过几种方式完成,包括使用公开API、从网页爬取数据以及从数据库中读取数据。以下是使用公开API和网页爬取的两种方法的示例代码。
- 使用公开API获取数据:
import requests
# 假设我们要获取的是OpenCorporates的公司信息
api_url = 'https://api.opencorporates.com/v0.3/companies/search'
querystring = {"q": "Apple", "jurisdiction_code": "US", "api_token": "你的API_TOKEN"}
response = requests.request("GET", api_url, params=querystring)
data = response.json()
# 打印返回的数据
print(data)
- 使用网页爬虫获取数据:
import requests
from bs4 import BeautifulSoup
url = 'https://example.com/data'
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 假设我们要获取的数据在表格中
table = soup.find('table', {'id': 'data-table'})
# 解析表格数据
rows = table.find_all('tr')
data = []
for row in rows:
cols = row.find_all('td')
cols = [ele.text.strip() for ele in cols]
data.append(cols)
# 打印解析到的数据
print(data)
注意:在实际应用中,请确保您遵守API服务和网站的使用条款,并且不要进行滥用。爬虫经常受到反爬虫策略的挑战,需要合适的反反爬技术,并且在使用爬虫时需要考虑网站的robots.txt文件。
评论已关闭