python数据爬虫如何进行数据存储

在Python中进行数据爬虫并将数据存储起来，通常有以下几种方法：

保存到文件：

CSV文件：使用csv模块将数据写入CSV文件。

import csvdata = [['Name', 'Age'], ['Alice', 25], ['Bob', 30]]with open('output.csv', 'w', newline='', encoding='utf-8') as file:writer = csv.writer(file)writer.writerows(data)

JSON文件：使用json模块将数据写入JSON文件。

import jsondata = {'Name': 'Alice', 'Age': 25}with open('output.json', 'w', encoding='utf-8') as file:json.dump(data, file, ensure_ascii=False, indent=4)

文本文件：将数据写入纯文本文件。

data = 'Alice,25\nBob,30'with open('output.txt', 'w', encoding='utf-8') as file:file.write(data)

保存到数据库：

SQLite：使用sqlite3模块将数据存储到SQLite数据库。

import sqlite3conn = sqlite3.connect('example.db')cursor = conn.cursor()cursor.execute('''CREATE TABLE IF NOT EXISTS users (name TEXT, age INTEGER)''')data = [('Alice', 25), ('Bob', 30)]cursor.executemany('INSERT INTO users VALUES (?, ?)', data)conn.commit()conn.close()

MySQL：使用mysql-connector-python或pymysql模块将数据存储到MySQL数据库。

import mysql.connectorconn = mysql.connector.connect(host='localhost',user='yourusername',password='yourpassword',database='mydatabase')cursor = conn.cursor()cursor.execute('''CREATE TABLE IF NOT EXISTS users (name VARCHAR(255), age INT)''')data = [('Alice', 25), ('Bob', 30)]cursor.executemany('INSERT INTO users VALUES (%s, %s)', data)conn.commit()conn.close()

PostgreSQL：使用psycopg2模块将数据存储到PostgreSQL数据库。

import psycopg2conn = psycopg2.connect(host='localhost',user='yourusername',password='yourpassword',database='mydatabase')cursor = conn.cursor()cursor.execute('''CREATE TABLE IF NOT EXISTS users (name VARCHAR(255), age INT)''')data = [('Alice', 25), ('Bob', 30)]cursor.executemany('INSERT INTO users VALUES (%s, %s)', data)conn.commit()conn.close()

保存到文件系统：

JSON Lines：将数据逐行写入JSON文件。

import jsondata = [{'Name': 'Alice', 'Age': 25}, {'Name': 'Bob', 'Age': 30}]with open('output.jsonl', 'w', encoding='utf-8') as file:for item in data:file.write(json.dumps(item) + '\n')

Pickle：使用pickle模块将数据序列化后保存到文件。

import pickledata = {'Name': 'Alice', 'Age': 25}with open('output.pkl', 'wb') as file:pickle.dump(data, file)

保存到缓存：

Redis：使用redis-py模块将数据存储到Redis缓存。

import redisr = redis.Redis(host='localhost', port=6379, db=0)data = {'Name': 'Alice', 'Age': 25}r.set('user:1', json.dumps(data))

选择哪种存储方式取决于你的具体需求，例如数据量大小、是否需要快速访问、是否需要跨系统共享等。