用Visual C#实现文件大批量处理

发表于:2007-05-25来源:作者:点击数: 标签:大批量科研文件visual实现
在科研、企业的数据处理中,有时会涉及大量的文件操作。在大量数据处理的时侯,有时需要进行多对一,或一对多的文件操作,即多个数据文件与一个数据文件进行信息交互,Microsoft的.NET 开发 利器C#提供了前所未有的高开发效率,在文件操作方面也有所体现。笔
在科研、企业的数据处理中,有时会涉及大量的文件操作。在大量数据处理的时侯,有时需要进行多对一,或一对多的文件操作,即多个数据文件与一个数据文件进行信息交互,Microsoft的.NET开发利器C#提供了前所未有的高开发效率,在文件操作方面也有所体现。笔者基于.NET平台,以C#开发工具,实现了如下功能:

  1、多个文本文件合并成一个文件;

  2、一个电子表格文件分成多个文件。

  一、编程任务描述

  1、从多个文件中读取数据生成一个文本文件

  笔者是处理测井资料的时侯碰到这种编程需求,现有测井资料若干,每口井一个文件,为进一步处理现需要,将这些数据读到一新文件中去,在实际处理,当然包括一定的计算与筛选及格式化。

  多个源文件在源文件路径下,最终生成的目标文件存在在目标文件路径下。

  例子数据在sourcefile 文件夹下:1.bln,2.bln,3.bln,4,bln,5,bln,6.bln共六个文件,它们合并后生成的total.txt文件在aimfile子文件夹下。

  2、从一个文件中读数据,生成多个文本文件

  例子源文件是:xcsj.xls存放在aimfile文件夹下,其数据内容是:

井名 层位 细分小层号 层顶深度 层厚
13-10 S3中4 1 3263.5 1.5
13-10 S3中5 2 3311.6 1.6
… … …        

  其中多口井的数据在一个表格中,实际工作中需要将其中每口井的资料选出来生成一个独立的文件,文件后缀为.xc,存在目标文件路径下,生成文件的格式为:

井名 层位 细分小层号 层顶深度 层厚
13-10 S3中4 1 3263.5 1.5
13-10 S3中5 2 3311.6 1.6
… … …        


  生成的的目标文件13-10.xc等也存放在aimfile文件夹下。

  二、程序界面

  生成一个窗体,窗体上主要添加如下控件:

  1、三个按扭:一是合并文件; 一是文件拆分; 一是退出;

  2、一个列表框 用来显示程序执行情况

  3、两个文本框,分别用来输入源文件路径与目标文件路径;

  4、一个进度条,用来指示,程序的执行进度;

  程序界面如下:

          



  三、源程序主要代码:

  1、名字空间

using System;using System.Drawing;
using System.Collections;
using System.ComponentModel;
using System.Windows.Forms;
using System.Data;
using System.IO;
//使用StreamWriter与StreamReader必须加的Namespaceusing
System.Data.OleDb;
using System.Data.SqlClient;
//读电子表格文件必须加的Namespace

  2、文件合并按钮响应方法

string winDir1;
//源文件路径
string winDir2;
//目标文件路径
string temp1;
int ii;
winDir1=textBox1.Text.Trim();
winDir2=textBox2.Text.Trim()+"\\total.txt";
//获取winDir1路径下所有文件列表
string[] dirs = Directory.GetFiles(winDir1);
//建立或打开目标文件
StreamWriter writer = new StreamWriter(winDir2);
writer.WriteLine("这是汇总文件头");
writer.WriteLine("这是汇总文件第二行");
ii=0;
foreach(string dir in dirs)
{
 StreamReader reader=new StreamReader(dir);
 try
 {
  reader.ReadLine();
  do
  {
   temp1=reader.ReadLine();
   temp1=temp1.Trim();
   writer.WriteLine(temp1);
  }
  while(reader.Peek() != -1);
   ii=ii+1;
 } catch( Exception err)
 {
  MessageBox.Show(err.Message);
 }
 finally
 {
  reader.Close();
 }
}
addListItem("合并操作结束");
addListItem("本次操作共有"+ii.ToString()+"个文件合并到文件total.txt中去");
addListItem("total.txt文件存放位置为"+textBox2.Text);
writer.Close();

  3、文件拆分按钮响应方法

//定义变量
string winDir;
//文件路径
string filename;
//结果文件名
string [] filename2=new string[300];
//保存生成的文件名
string temp1,temp2,temp3,temp4;
string strCon;
//连接串
int ii;
//统计生成的结果文件数
ii=1;
winDir=textBox2.Text.Trim()+@"\xcsj.xls;";
//创建一个数据链接
strCon= " Provider = Microsoft.Jet.OLEDB.4.0 ;
Data Source ="+winDir+"Extended Properties=Excel 8.0" ;
OleDbConnection myConn = new OleDbConnection ( strCon ) ;
string strCom = " SELECT * FROM [Sheet1$] " ;
myConn.Open ( ) ;
//打开数据链接,得到一个数据集
OleDbDataAdapter myCommand = new OleDbDataAdapter ( strCom , myConn ) ;
//创建一个
DataSet对象 DataSet myDataSet = new DataSet ( ) ;
//得到自己的DataSet对象
myDataSet
try
{
 myCommand.Fill ( myDataSet , "[Sheet1$]" ) ;
} catch( Exception err)
{
 MessageBox.Show(err.Message);
}
//根据电子表格中第一列的井号读出井名到数组中去
temp1=myDataSet.Tables[0].Rows[0][0].ToString().Trim();
filename2[ii]=temp1;
foreach ( DataRow row in myDataSet.Tables[0].Rows )
{
 if (temp1!=row[0].ToString().Trim() )
 {
  ii=ii+1;
  filename2[ii]=row[0].ToString();
  temp1=row[0].ToString().Trim();
 }
}
//进度条初始化
progressBar1.Step=1;
progressBar1.Minimum=1;
progressBar1.Maximum=ii;
winDir=textBox2.Text.Trim();
for(int k=1;k<=ii;k++)
{
 filename=@winDir+"\\"+filename2[k].Trim()+".xc";
 StreamWriter writer = new StreamWriter(filename);
 writer.WriteLine("层位 细分小层号 层顶深度 层厚");
 foreach( DataRow row in myDataSet.Tables[0].Rows )
 {
  temp1=row[1].ToString().Trim();
  temp2=row[2].ToString().Trim();
  temp3=row[3].ToString().Trim();
  temp4=row[4].ToString().Trim();
  writer.WriteLine(temp1+" "+temp2+" "+temp3+" "+temp4);
 }
 writer.Close();
 progressBar1.PerformStep();
}
myConn.Close();
addListItem("操作结果");
addListItem("共生成"+ii.ToString()+"文件");
addListItem(@"文件位置:F:\wangwei\work\h12\xc路径下");
listBox1.Refresh();

  4、为显示执行结果添加了一上列表框,为方便操作列表框需要为表单类添加一个方法:

private void addListItem(string value)
{
 this.listBox1.Items.Add(value);
}

  五、要点分析

  1、用StreamWriter与StreamReader类进行文件存取操作

  这是一对从 Stream 派生的类,用于字节的输入和输出。其名字空间为 system.io

  2、读取电子表数据

  本程序提供了一种连接电子表文件的方法,必要的名字空间要加好,注意连接串不要写错。

  3、Directory类的GetFiles 方法应用

  可以程序自动的读出文件列表到到一个标准数组中去,以备进一步使用,选取文件的方法有多种,这种方法体现了C#的高效性,值得向大家推荐。

  说明:本文附源程序,在运行的时侯注意输入正确的文件路径。若你机器里面没装.net,也可以直接运行已经编译好的执行文件。在\bin\debug子文件夹下面的Csdata.exe。

原文转自:http://www.ltesting.net

评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)