您的位置：宽带测速网 > 网络知识 > python request爬虫如何进行数据存储

python request爬虫如何进行数据存储

2025-06-16 18:55来源：互联网 [ 大 中 小 ]

在Python中，使用requests库进行网络请求并将数据存储到文件或数据库中，可以通过以下步骤实现：

    安装requests库：
pip install requests
    导入所需的库：
import requestsimport json
    发送HTTP请求并获取响应：
url = 'https://api.example.com/data'# 替换为你要请求的URLresponse = requests.get(url)
    检查响应状态码，确保请求成功：
if response.status_code == 200:data = response.json()# 假设返回的数据是JSON格式else:print(f"请求失败，状态码：{response.status_code}")
    将数据存储到文件中：
with open('output.json', 'w', encoding='utf-8') as file:json.dump(data, file, ensure_ascii=False, indent=4)
    将数据存储到数据库中（以SQLite为例）：首先，安装sqlite3模块（Python内置）：
import sqlite3

然后，创建一个SQLite数据库连接：

conn = sqlite3.connect('output.db')cursor = conn.cursor()

接着，创建一个表格来存储数据：

cursor.execute('''CREATE TABLE IF NOT EXISTS data (id INTEGER PRIMARY KEY AUTOINCREMENT,key TEXT NOT NULL,value TEXT NOT NULL)''')

将数据插入到数据库中：

for item in data:cursor.execute("INSERT INTO data (key, value) VALUES (?, ?)", (item['key'], item['value']))

最后，提交更改并关闭数据库连接：

conn.commit()conn.close()

这样，你就可以使用Python的requests库进行网络请求，并将获取到的数据存储到文件或数据库中了。

相关阅读