快乐学Python,数据分析之获取数据方法「公开数据或爬虫」
在Python中,获取数据可以通过几种方式完成,包括使用公开API、从网页爬取数据以及从数据库中读取数据。以下是一些示例代码:
- 使用公开API获取数据:
import requests
# 假设有一个公开API URL
api_url = 'https://api.example.com/data'
response = requests.get(api_url)
if response.status_code == 200:
data = response.json()
print(data)
else:
print('Error:', response.status_code)
- 使用BeautifulSoup库从网页爬取数据:
import requests
from bs4 import BeautifulSoup
# 假设我们要从一个网页获取数据
url = 'https://example.com'
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 假设我们要获取所有的段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
- 从数据库中读取数据(例如使用SQLite):
import sqlite3
# 假设有一个SQLite数据库文件
database_path = 'data.db'
# 连接到数据库
conn = sqlite3.connect(database_path)
cursor = conn.cursor()
# 执行SQL查询
query = 'SELECT * FROM table_name'
cursor.execute(query)
# 获取查询结果
rows = cursor.fetchall()
for row in rows:
print(row)
# 关闭连接
cursor.close()
conn.close()
这些示例展示了如何从不同的来源获取数据。实际应用中,你需要根据具体的数据源选择合适的方法,并且可能需要处理额外的安全性、权限和性能因素。
评论已关闭