从文件夹导入多个CSV文件到SQL Server(Import Multiple CSV Files

2019-08-31 11:05发布

我有一个文件夹,名为“转储”。 此文件夹包含各种.CSV文件。 文件夹的位置是“C:\转储”

我想这些文件的内容导入到SQL Server。 我想沿着粗码适当的意见,使我明白了。

我已经试过,我在网上发现了一些代码。 但是,他们还没有完全制定了我一些奇怪的原因。


我想有这些步骤

步骤1:在文件夹中复制所有文件名的表

第2步:在表中迭代并使用批量插入的文件复制数据。


有人这样做,请帮我出这一点。 感谢很多提前:)

Answer 1:

    --BULK INSERT MULTIPLE FILES From a Folder 

    --a table to loop thru filenames drop table ALLFILENAMES
    CREATE TABLE ALLFILENAMES(WHICHPATH VARCHAR(255),WHICHFILE varchar(255))

    --some variables
    declare @filename varchar(255),
            @path     varchar(255),
            @sql      varchar(8000),
            @cmd      varchar(1000)


    --get the list of files to process:
    SET @path = 'C:\Dump\'
    SET @cmd = 'dir ' + @path + '*.csv /b'
    INSERT INTO  ALLFILENAMES(WHICHFILE)
    EXEC Master..xp_cmdShell @cmd
    UPDATE ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null


    --cursor loop
    declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM ALLFILENAMES where WHICHFILE like '%.csv%'
    open c1
    fetch next from c1 into @path,@filename
    While @@fetch_status <> -1
      begin
      --bulk insert won't take a variable name, so make a sql and execute it instead:
       set @sql = 'BULK INSERT Temp FROM ''' + @path + @filename + ''' '
           + '     WITH ( 
                   FIELDTERMINATOR = '','', 
                   ROWTERMINATOR = ''\n'', 
                   FIRSTROW = 2 
                ) '
    print @sql
    exec (@sql)

      fetch next from c1 into @path,@filename
      end
    close c1
    deallocate c1


    --Extras

    --delete from ALLFILENAMES where WHICHFILE is NULL
    --select * from ALLFILENAMES
    --drop table ALLFILENAMES


Answer 2:

对于第1步也许你可以看看:

http://www.sql-server-performance.com/forum/threads/copying-filenames-to-sql-table.11546/

要么

如何列出与SQL Server的文件夹中的文件

然后第2步

如何投变量在T-SQL批量插入?

HTH



Answer 3:

为了解决第1步,xp_dirtree也可以用来列出所有文件和文件夹。

请记住,这是一个未公开的函数。 安全防范措施必须加以考虑。 刻意伪造的文件名可以是一个入侵载体。



Answer 4:

在Python中,你可以使用d6tstack这使得这个简单的

import d6tstack
import glob

c = d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'))
c.to_mssql_combine('mssql+pymssql://usr:pwd@localhost/db', 'tablename')

请参阅SQL实例 。 它还涉及数据架构更改 ,创建表,并允许您预处理数据。 它利用BULK INSERT所以应该是一样快。



文章来源: Import Multiple CSV Files to SQL Server from a Folder