我有一个文件夹,名为“转储”。 此文件夹包含各种.CSV文件。 文件夹的位置是“C:\转储”
我想这些文件的内容导入到SQL Server。 我想沿着粗码适当的意见,使我明白了。
我已经试过,我在网上发现了一些代码。 但是,他们还没有完全制定了我一些奇怪的原因。
我想有这些步骤
步骤1:在文件夹中复制所有文件名的表
第2步:在表中迭代并使用批量插入的文件复制数据。
有人这样做,请帮我出这一点。 感谢很多提前:)
我有一个文件夹,名为“转储”。 此文件夹包含各种.CSV文件。 文件夹的位置是“C:\转储”
我想这些文件的内容导入到SQL Server。 我想沿着粗码适当的意见,使我明白了。
我已经试过,我在网上发现了一些代码。 但是,他们还没有完全制定了我一些奇怪的原因。
我想有这些步骤
步骤1:在文件夹中复制所有文件名的表
第2步:在表中迭代并使用批量插入的文件复制数据。
有人这样做,请帮我出这一点。 感谢很多提前:)
--BULK INSERT MULTIPLE FILES From a Folder
--a table to loop thru filenames drop table ALLFILENAMES
CREATE TABLE ALLFILENAMES(WHICHPATH VARCHAR(255),WHICHFILE varchar(255))
--some variables
declare @filename varchar(255),
@path varchar(255),
@sql varchar(8000),
@cmd varchar(1000)
--get the list of files to process:
SET @path = 'C:\Dump\'
SET @cmd = 'dir ' + @path + '*.csv /b'
INSERT INTO ALLFILENAMES(WHICHFILE)
EXEC Master..xp_cmdShell @cmd
UPDATE ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null
--cursor loop
declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM ALLFILENAMES where WHICHFILE like '%.csv%'
open c1
fetch next from c1 into @path,@filename
While @@fetch_status <> -1
begin
--bulk insert won't take a variable name, so make a sql and execute it instead:
set @sql = 'BULK INSERT Temp FROM ''' + @path + @filename + ''' '
+ ' WITH (
FIELDTERMINATOR = '','',
ROWTERMINATOR = ''\n'',
FIRSTROW = 2
) '
print @sql
exec (@sql)
fetch next from c1 into @path,@filename
end
close c1
deallocate c1
--Extras
--delete from ALLFILENAMES where WHICHFILE is NULL
--select * from ALLFILENAMES
--drop table ALLFILENAMES
对于第1步也许你可以看看:
http://www.sql-server-performance.com/forum/threads/copying-filenames-to-sql-table.11546/
要么
如何列出与SQL Server的文件夹中的文件
然后第2步
如何投变量在T-SQL批量插入?
HTH
为了解决第1步,xp_dirtree也可以用来列出所有文件和文件夹。
请记住,这是一个未公开的函数。 安全防范措施必须加以考虑。 刻意伪造的文件名可以是一个入侵载体。
在Python中,你可以使用d6tstack这使得这个简单的
import d6tstack
import glob
c = d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'))
c.to_mssql_combine('mssql+pymssql://usr:pwd@localhost/db', 'tablename')
请参阅SQL实例 。 它还涉及数据架构更改 ,创建表,并允许您预处理数据。 它利用BULK INSERT
所以应该是一样快。