如何批量上传CSV文件数据到MySql表中？使用 LOAD DATA 的一种非常快速的方法

? 简介

您还在使用“for”或“while”循环来迭代行并将它们插入数据库吗？您还在编写单独的代码来读取 .csv 文件并将其上传到 mysql 数据库吗？

用mysql提供的“load data”语句对线性逻辑说“不”。准备好更改代码以最大程度地减少代码行并大幅提高性能。

mysql 提供了 load data 语句，这是一种非常高速的方法，可以用很少的代码从文本文件中读取数据并将其插入表中。

? 什么是 load data infile 语句？

根据 mysql 的官方文档，load data 语句用于以非常快的方式从文件中读取数据，您可以通过一个查询将此数据插入表中，而不是多次访问数据库多次使用“insert into”查询。

mysql还提供了一个语句-> “select…into outfile”，它的作用与”load data”的作用完全相反，就是从表中读取数据到文件。

mysql提供的mysqlimport实用程序内部调用服务器上的load data语句来导入数据。

? 如何使用它？

above gist snippet shows the generic load data statements. all the available options are mentioned in the code above.

lets now focus on a simple example of simply reading a .csv file and inserting it’s rows into a compatible table.

a simple example :

load data infile ‘data.csv’ into table db.my_table

登录后复制登录后复制

a birds-eye example with all essential options :

上面的要点片段显示了通用负载数据语句。上面的代码中提到了所有可用的选项。

现在让我们关注一个简​​单的示例，简单地读取 .csv 文件并将其行插入到兼容的表中。

一个简单的例子：

load data infile ‘data.csv’ into table db.my_table

登录后复制登录后复制

包含所有基本选项的鸟瞰示例：

不用说，您的 csv 文件应该正确格式化才能使此语句发挥作用。

瞧，使用上面的语句，你的超过 10 万行的 .csv 将在几秒钟内导入到你的表中。

现在，一些重要的事情需要注意：

上述语句在mysql级别运行，因此源文件从客户端复制到服务器以便导入它们。

这会带来一些安全问题，我们需要确保使用此代码时客户端-服务器连接的安全。

在mysql 8.0中，使用local的能力默认设置为false。由于您的服务器和客户端应配置为允许 local，因此有些人可能会遇到权限错误。

如果出现权限错误，我们需要通过启用

local_infile
:
来覆盖它

SET GLOBAL local_infile = true;

登录后复制

注意：覆盖此标志并不是安全解决方案，而是承认接受风险，您可以参考此文档以获取更多信息。

?‍? 结论

mysql load data 语句用于在非常短的时间内读取文件。

您可以将此代码与任何后端api一起使用来提供源文件。

源文件可以是任何文本文件，我们在本例中使用.csv。

load data local

通过mysql将源文件复制到您的服务器，因此需要在服务器端实施安全措施。

mysqlimport

实用程序内部使用load data语句。

您可以通过在语句中添加ignore 1 lines来忽略csv中的标头。#??#

#??##??##??#

#??#

? 参考
#??#

#??#官方文档#??#

#??#

#??#

以上就是如何批量上传CSV文件数据到MySql表中？使用 LOAD DATA 的一种非常快速的方法的详细内容，更多请关注叮当号网其它相关文章！