python 多线程连mysql

基础概念

Python的多线程是指在一个进程中同时执行多个线程，以提高程序的执行效率。MySQL是一种关系型数据库管理系统，用于存储和管理数据。多线程连接MySQL是指在多线程环境下，多个线程同时与MySQL数据库进行交互。

类型

线程池：预先创建一组线程，当有任务需要执行时，从线程池中取出线程来执行任务。
普通线程：每次需要执行任务时，创建一个新的线程来执行任务。

应用场景

高并发系统：如Web服务器、在线游戏等需要处理大量并发请求的场景。
数据处理密集型应用：如数据分析、数据挖掘等需要大量数据处理的场景。

遇到的问题及解决方法

问题1：线程安全问题

原因：多个线程同时访问和修改共享资源（如数据库连接池），可能会导致数据不一致或冲突。

解决方法：

使用线程锁（如threading.Lock）来保护共享资源。
使用线程安全的数据库连接池（如SQLAlchemy的连接池）。

import threading
import mysql.connector.pooling

# 创建数据库连接池
db_config = {
    "host": "localhost",
    "user": "root",
    "password": "password",
    "database": "test"
}
pool = mysql.connector.pooling.MySQLConnectionPool(pool_name="mypool", pool_size=5, **db_config)

# 线程锁
lock = threading.Lock()

def worker():
    try:
        # 从连接池中获取连接
        conn = pool.get_connection()
        cursor = conn.cursor()
        
        # 执行数据库操作
        with lock:
            cursor.execute("SELECT * FROM table")
            result = cursor.fetchall()
        
        # 关闭连接
        cursor.close()
        conn.close()
    except Exception as e:
        print(f"Error: {e}")

# 创建多个线程
threads = []
for i in range(10):
    t = threading.Thread(target=worker)
    threads.append(t)
    t.start()

# 等待所有线程完成
for t in threads:
    t.join()

问题2：数据库连接数过多

原因：多个线程同时创建数据库连接，可能会导致数据库连接数过多，超出数据库的最大连接数限制。

解决方法：

使用连接池来管理数据库连接，限制最大连接数。
及时关闭不再使用的数据库连接。

import mysql.connector.pooling

# 创建数据库连接池，限制最大连接数为5
pool = mysql.connector.pooling.MySQLConnectionPool(pool_name="mypool", pool_size=5, **db_config)

def worker():
    try:
        # 从连接池中获取连接
        conn = pool.get_connection()
        cursor = conn.cursor()
        
        # 执行数据库操作
        cursor.execute("SELECT * FROM table")
        result = cursor.fetchall()
        
        # 关闭连接
        cursor.close()
        conn.close()  # 连接会返回到连接池，而不是真正关闭
    except Exception as e:
        print(f"Error: {e}")