读逗号分隔的文本文件到C#的DataTable,列被截断为255个字符(Reading Comma

2019-07-29 07:52发布

我们是从CSV导入到SQL。 要做到这一点,我们正在阅读的CSV文件,并使用SCHEMA.INI写入临时.txt文件。 (我不知道究竟又是为什么在写这个临时文件,但是这是目前的代码是如何工作的)。 从那里,我们使用下面的连接字符串(ASCII文件)加载通过OLEDB数据表。

"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + sPath + ";Extended Properties=\"text;HDR=Yes;FMT=Delimited\"";

我们遇到的问题是,与超过255个字符的字段被截断。 我对这个问题的在线阅读,它似乎在默认情况下,文本字段获得正是如此截断。

我把我的注册表设置ImportMixedTypes=Majority TypeTypeGuessRows=0HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Jet\4.0\Engines\Excel ,希望mycolumns将不再被解释为文本。 这样做之后,临时txt文件被正确的CSV文件中写的,但是当我打电话dataAdapter.Fill ,结果DataTable中仍然有一个截断值。

这是有问题的列定义。 CommaDelimited#TXT注2假真234 130 0 0

任何帮助,将不胜感激。 在这个时候,我没有兴趣使用任何3D方代码来解决这个问题,必须使用内置工具的方式。

下面是表的定义:

<Columns> 
    <TABLE_NAME>CommaDelimited#txt</TABLE_NAME> 
    <COLUMN_NAME>Notes</COLUMN_NAME> 
    <ORDINAL_POSITION>2</ORDINAL_POSITION> 
    <COLUMN_HASDEFAULT>false</COLUMN_HASDEFAULT> 
    <COLUMN_FLAGS>234</COLUMN_FLAGS> 
    <IS_NULLABLE>true</IS_NULLABLE> 
    <DATA_TYPE>130</DATA_TYPE> 
    <CHARACTER_MAXIMUM_LENGTH>0</CHARACTER_MAXIMUM_LENGTH> 
    <CHARACTER_OCTET_LENGTH>0</CHARACTER_OCTET_LENGTH> 
</Columns>

谢谢,

格雷格


我试图编辑SCHEMA.INI指定与宽度的文字,并没有帮助(这是之前设置为备忘录)

[CommaDelimited.txt]格式= CSVDelimited DecimalSymbol =。 COL1 =注释文本宽度5000

Answer 1:

Jet数据库引擎将截断备注字段,如果你问它来处理基于备忘录数据:聚集,去复制,格式化等等。

http://allenbrowne.com/ser-63.html



Answer 2:

下面是用于读取分隔的文件并返回一个DataTable(所有字符串)一个简单的类不会截断字符串。 它有一个重载的方法,如果他们在文件中不是指定列名。 也许你可以使用它?

导入的命名空间

using System;
using System.Text;
using System.Data;
using System.IO;

/// <summary>
/// Simple class for reading delimited text files
/// </summary>
public class DelimitedTextReader
{
    /// <summary>
    /// Read the file and return a DataTable
    /// </summary>
    /// <param name="filename">File to read</param>
    /// <param name="delimiter">Delimiting string</param>
    /// <returns>Populated DataTable</returns>
    public static DataTable ReadFile(string filename, string delimiter)
    {
        return ReadFile(filename, delimiter, null);
    }
    /// <summary>
    /// Read the file and return a DataTable
    /// </summary>
    /// <param name="filename">File to read</param>
    /// <param name="delimiter">Delimiting string</param>
    /// <param name="columnNames">Array of column names</param>
    /// <returns>Populated DataTable</returns>
    public static DataTable ReadFile(string filename, string delimiter, string[] columnNames)
    {
        //  Create the new table
        DataTable data = new DataTable();
        data.Locale = System.Globalization.CultureInfo.CurrentCulture;

        //  Check file
        if (!File.Exists(filename))
            throw new FileNotFoundException("File not found", filename);

        //  Process the file line by line
        string line;
        using (TextReader tr = new StreamReader(filename, Encoding.Default))
        {
            //  If column names were not passed, we'll read them from the file
            if (columnNames == null)
            {
                //  Get the first line
                line = tr.ReadLine();
                if (string.IsNullOrEmpty(line))
                    throw new IOException("Could not read column names from file.");
                columnNames = line.Split(new string[] { delimiter }, StringSplitOptions.RemoveEmptyEntries);
            }

            //  Add the columns to the data table
            foreach (string colName in columnNames)
                data.Columns.Add(colName);

            //  Read the file
            string[] columns;
            while ((line = tr.ReadLine()) != null)
            {
                columns = line.Split(new string[] { delimiter }, StringSplitOptions.None);
                //  Ensure we have the same number of columns
                if (columns.Length != columnNames.Length)
                {
                    string message = "Data row has {0} columns and {1} are defined by column names.";
                    throw new DataException(string.Format(message, columns.Length, columnNames.Length));
                }
                data.Rows.Add(columns);
            }
        }
        return data;

    }
}

必需的命名空间

using System;
using System.Data;
using System.Windows.Forms;
using System.Data.SqlClient;
using System.Diagnostics;

下面是调用它,并上传到SQL数据库的例子:

        Stopwatch sw = new Stopwatch();
        TimeSpan tsRead;
        TimeSpan tsTrunc;
        TimeSpan tsBcp;
        int rows;
        sw.Start();
        using (DataTable dt = DelimitedTextReader.ReadFile(textBox1.Text, "\t"))
        {
            tsRead = sw.Elapsed;
            sw.Reset();
            rows = dt.Rows.Count;
            string connect = @"Data Source=.;Initial Catalog=MyDB;Integrated Security=SSPI";
            using (SqlConnection cn = new SqlConnection(connect))
            using (SqlCommand cmd = new SqlCommand("TRUNCATE TABLE dbo.UploadTable", cn))
            using (SqlBulkCopy bcp = new SqlBulkCopy(cn))
            {
                cn.Open();
                sw.Start();
                cmd.ExecuteNonQuery();
                tsTrunc = sw.Elapsed;
                sw.Reset();

                sw.Start();
                bcp.DestinationTableName = "dbo.UploadTable";
                bcp.ColumnMappings.Add("Column A", "ColumnA");
                bcp.ColumnMappings.Add("Column D", "ColumnD");
                bcp.WriteToServer(dt);
                tsBcp = sw.Elapsed;
                sw.Reset();
            }
        }

        string message = "File read:\t{0}\r\nTruncate:\t{1}\r\nBcp:\t{2}\r\n\r\nTotal time:\t{3}\r\nTotal rows:\t{4}";
        MessageBox.Show(string.Format(message, tsRead, tsTrunc, tsBcp, tsRead + tsTrunc + tsBcp, rows));


Answer 3:

您可以通过正确指定您的纠正这一SCHEMA.INI文件。 相信两个选项是到列设置为备注型,或设置宽度> 255。



Answer 4:

我倾向于是读取CSV文件时,而不是通过写数据到一个不同的文本文件中的额外的步骤将直接创建数据表,仅读回内存第二次。

对于这个问题,你是如何最终从数据表中获取数据到SQL数据库? 如果你只是通过DataTable中循环和做一堆的INSERT语句,为什么不空两个中间商和调用相同的INSERT语句,当你开始阅读CSV文件?



Answer 5:

我认为做的最好的方式,是通过在以下博客使用CSVReader: http://ronaldlemmen.blogspot.com/2008/03/stopping-and-continuing-save-event.html



Answer 6:

我面临着类似的问题,我的Net代码,我是能够使其通过在原来的帖子中提到的更改注册表设置,以Majortity类型只是工作。 我就是这样做在我的情况不同的是:既然我们正试图从一个CSV导入,而不是一个Excel。 所以我不得不改变设置在注册表中(不Excel)中的文本。

试着这样做,我认为它应该工作



文章来源: Reading Comma Delimited Text File to C# DataTable, columns get truncated to 255 characters
标签: c# .net csv oledb jet