谷歌云SQL:替代LOAD DATA INFILE(Google Cloud SQL: Al

2019-07-04 22:01发布

我在谷歌App Engine的工作,我们有一个在谷歌云SQL转储数据的Python脚本。 一,我们有转储数据集是巨大的。 我们倾倒,每天一次,每天15万左右行数据。

我知道,谷歌云SQL不支持LOAD DATA INFILE ,我会正常使用。 我的问题是,是否有替代LOAD DATA INFILE ,我可以用它来加快数据倾倒的过程。

插入数据正常,没有LOAD DATA INFILE ,大约需要5分钟。

Answer 1:

正如本说明的另一个问题评论 , LOAD DATA LOCAL INFILE通过App Engine的支持。

在MySQL手册解释了如何使用这种说法。



Answer 2:

事情可以做,以获得更好的批量导入的性能:

  • 创建一个.sql文件,并做了一个进口
  • 确保插入语句做一次多行。 一个好的经验法则是每INSERT一兆字节。
  • 切换到异步复制
  • 从App Engine应用程序做进口。 该应用程序将与您的Cloud SQL执行协同定位,大大降低了网络延迟。


文章来源: Google Cloud SQL: Alternative to LOAD DATA INFILE