当前位置:

首页 > 编程开发 > Python与MySQL数据库结合的实践指南

Python与MySQL数据库结合的实践指南

一、背景我是在Anacondanotebook中进行连接实验的,环境Python3.6,当然也可以在PythonShell里面进行操作。最常用也最稳定的用于连接MySQL数据库的python库是PyMySQL。二、基本操作1、安装PyMySQL库最简单的方式:在命令行输入pipinstallpymysql或者:下载whl文件[1]进行安装,安装过程自行百度。2、安装MySQL数据库MySQL数据库有两种:MySQL和MariaDB我用的是MariaDB,它是MySQL的一个分支。两者在绝大部分性能上是兼容

本文目录

    一、背景

    我是在Anaconda notebook中进行连接实验的,环境Python3.6,当然也可以在Python Shell里面进行操作。

    最常用也最稳定的用于连接MySQL数据库的python库是PyMySQL。

    二、基本操作

    1、安装PyMySQL库

    最简单的方式:

    在命令行输入 pip install pymysql

    或者:

    下载whl文件[1]进行安装,安装过程自行百度。

    2、安装MySQL数据库

    MySQL数据库有两种:

    MySQL和MariaDB

    我用的是MariaDB,它是MySQL的一个分支。

    两者在绝大部分性能上是兼容的,使用起来感觉不到啥区别。

    给出下载地址:MySQL[2],MariaDB[3],安装过程很简单,一路Next Step,不过要记好密码。

    有个小插曲,MySQL和MariaDB相当于姐姐妹妹的关系,两者由同一个人(Widenius)创建的。

    MySQL被Oracle收购后,Widenius先生觉得不爽,于是搞了个MariaDB,可以完全替代MySQL。

    大牛就是任性。

    3、SQL基本语法

    下面要用SQL的表创建、查询、数据插入等功能,这里简要介绍一下SQL语言的基本语句。

    • 查看数据库:SHOW DATABASES;

    • 创建数据库:CREATE DATEBASE 数据库名称;

    • 使用数据库:USE 数据库名称;

    • 查看数据表:SHOW TABLES;

    • 创建数据表:CREATE TABLE 表名称(列名1 (数据类型1),列名2 (数据类型2));

    • 插入数据:INSERT INTO 表名称(列名1,列名2) VALUES(数据1,数据2);

    • 查看数据:SELECT * FROM 表名称;

    • 更新数据:UPDATE 表名称 SET 列名1=新数据1,列名2=新数据2 WHERE 某列=某数据;

    4、连接数据库

    安装好必要得文件和库后,接下来正式开始连接数据库吧,虽然神秘却不难哦!

    #首先导入PyMySQL库
    import pymysql
    #连接数据库,创建连接对象connection
    #连接对象作用是:连接数据库、发送数据库信息、处理回滚操作(查询中断时,数据库回到最初状态)、创建新的光标对象
    connection = pymysql.connect(host = 'localhost' #host属性
                                user = 'root' #用户名
                                password = '******'  #此处填登录数据库的密码
                                db = 'mysql' #数据库名
                                )

    执行这段代码就连接好了!

    5、增删改查操作

    首先来查看一下有哪些数据库:

    #创建光标对象,一个连接可以有很多光标,一个光标跟踪一种数据状态。
    #光标对象作用是:、创建、删除、写入、查询等等
    cur = connection.cursor()
    #查看有哪些数据库,通过cur.fetchall()获取查询所有结果
    print(cur.fetchall())

    打印出所有数据库:

    (('information_schema',),
    ('law',),
    ('mysql',),
    ('performance_schema',),
    ('test',))

    在test数据库里创建表:

    #使用数据库test
    cur.execute('USE test')
    #在test数据库里创建表student,有name列和age列
    cur.execute('CREATE TABLE student(name VARCHAR(20),age TINYINT(3))')

    向数据表student中插入一条数据:

    sql = 'INSERT INTO student (name,age) VALUES (%s,%s)'
    cur.execute(sql,('XiaoMing',23))

    查看数据表student内容:

    cur.execute('SELECT * FROM student')
    print(cur.fetchone())

    打印输出为:('XiaoMing', 23)

    Bingo!是我们刚刚插入的一条数据

    最后,要记得关闭光标和连接:

    #关闭连接对象,否则会导致连接泄漏,消耗数据库资源
    connection.close()
    #关闭光标
    cur.close()

    OK了,整个流程大致如此。

    当然这里都是很基础的操作,更多的使用方法需要在PyMySQL官方文档[4]里去寻找。

    三、导入大数据文件

    以csv文件为例,csv文件导入数据库一般有两种方法:

    1、通过SQL的insert方法一条一条导入,适合数据量小的CSV文件,这里不做赘述。

    2、通过load data方法导入,速度快,适合大数据文件,也是本文的重点。

    样本CSV文件如下:

    Python与MySQL数据库结合的实践指南

    总体工作分为3步:

    1、用python连接mysql数据库;

    2、基于CSV文件表格字段创建表;

    3、使用load data方法导入CSV文件内容。

    sql的load data语法简介:

    LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES

    csv_file_path 指文件绝对路径 table_name指表名称 FIELDS TERMINATED BY ','指以逗号分隔 LINES TERMINATED BY '\\r\\n'指换行 IGNORE 1 LINES指跳过第一行,因为第一行是表的字段名

    下面给出全部代码:

    #导入pymysql方法
    import pymysql
    
    
    #连接数据库
    config = {:'',
             :3306,
             :'username',
             :'password',
             :'utf8mb4',
             :1
             }
    conn = pymysql.connect(**config)
    cur = conn.cursor()
    
    
    #load_csv函数,参数分别为csv文件路径,表名称,数据库名称
    def load_csv(csv_file_path,table_name,database='evdata'):
       #打开csv文件
       file = open(csv_file_path, 'r',encoding='utf-8')
       #读取csv文件第一行字段名,创建表
       reader = file.readline()
       b = reader.split(',')
       colum = ''
       for a in b:
           colum = colum + a + ' varchar(255),'
       colum = colum[:-1]
       #编写sql,create_sql负责创建表,data_sql负责导入数据
       create_sql = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8'
       data_sql = "LOAD DATA LOCAL INFILE '%s' INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" % (csv_filename,table_name)
    
       #使用数据库
       cur.execute('use %s' % database)
       #设置编码格式
       cur.execute('SET NAMES utf8;')
       cur.execute('SET character_set_connection=utf8;')
       #执行create_sql,创建表
       cur.execute(create_sql)
       #执行data_sql,导入数据
       cur.execute(data_sql)
       conn.commit()
       #关闭连接
       conn.close()
       cur.close()
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 Python MySQL
    相关文章 更多
    navicat导入数据库步骤详解及常见问题处理教程
    navicat导入数据库步骤详解及常见问题处理教程

    详解Navicat导入数据库的标准步骤,涵盖SQL脚本执行与CSV数据导入两种核心场景。针对导入过程中常见的字符集乱码、主键冲突及外键约束错误,提供具体的设置方法与修复建议,确保数据迁移准确无误。

    python删除一个列表里的重复元素的方法与代码示例
    python删除一个列表里的重复元素的方法与代码示例

    学习如何使用Python高效删除列表中的重复元素。本文提供5种常见方法的代码示例,涵盖保持顺序与不保持顺序的场景,适合初学者和进阶开发者参考。

    SQL主键约束和唯一约束有什么区别
    SQL主键约束和唯一约束有什么区别

    深入理解SQL PRIMARY KEY与UNIQUE约束的区别。文章从行标识与重复限制的目标出发,详解主键的非空特性、外键引用角色以及多数据库对NULL值的处理差异。结合users表实战示例,指导开发者如何根据字段稳定性与业务语义合理选择约束类型,避免设计误区。

    SQL约束有哪些类型及作用
    SQL约束有哪些类型及作用

    刚开始设计关系型数据库?了解PRIMARY KEY、FOREIGN KEY、UNIQUE、NOT NULL、CHECK、DEFAULT等约束的作用、语法和排错方法。本文以PostgreSQL语法为主,结合用户订单场景,清晰展示如何防止脏数据并处理常见约束冲突。

    SQL游标常见错误排查:死锁与资源未释放问题
    SQL游标常见错误排查:死锁与资源未释放问题

    深入解析SQL游标导致的死锁与资源未释放问题。通过PostgreSQL与MySQL语法对比,展示如何识别长事务持锁、分析锁等待链,并提供短事务提交、异常清理及批量处理的最佳实践,确保数据库连接与锁资源及时释放。

    SQL中怎么创建和删除约束
    SQL中怎么创建和删除约束

    后端开发者在维护数据库时,常需对现有表添加主键、唯一或外键约束。若直接执行ADD CONSTRAINT,往往因存量数据不合规导致报错。本文详解操作前的数据清洗步骤、标准SQL语法及MySQL等特殊写法,帮助你在生产环境安全完成结构变更。

    Python写接口的步骤及完整代码示例
    Python写接口的步骤及完整代码示例

    详细讲解使用Python编写Web接口的核心步骤与完整代码示例,涵盖环境准备、路由定义、数据校验、服务启动及调试测试方法。

    SQL分组统计查询:GROUP BY与HAVING子句用法示例
    SQL分组统计查询:GROUP BY与HAVING子句用法示例

    针对 SQL 初学者的分组统计实战指南。深入解析 GROUP BY 分组机制、WHERE 与 HAVING 的执行时机差异,以及 COUNT 函数对 NULL 值的处理逻辑。通过具体代码示例演示如何正确筛选聚合结果,并排查因 JOIN 连接导致的统计数据异常,提升报表准确性。

    SQL Server与MySQL游标基本语法及完整代码示例
    SQL Server与MySQL游标基本语法及完整代码示例

    本文详细对比SQL Server和MySQL中游标的基本用法。从DECLARE声明到FETCH遍历,再到CLOSE关闭与DEALLOCATE/Handler清理,解析两者在语法结构、变量接收及异常处理上的核心差异。通过标准代码示例展示如何安全使用游标,避免资源泄漏,适用于需要进行数据库存储过程开发或跨平台迁移的开发者。

    codex怎么读取word文档及docx文件操作教程
    codex怎么读取word文档及docx文件操作教程

    介绍如何利用编程工具读取和解析Word文档(docx格式),涵盖基础文本提取代码示例、结构化数据处理逻辑,以及处理复杂排版时的技术局限与替代方案。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。