回 帖 发 新 帖 刷新版面

主题:如何从大文本档中(700 MB)读出有用的数据?

我现在从机器中自动生成的文档中读取,摘出有用的数据(大概八万条)进入数据库。首先 数据在文档里不是很有规律,除了有用数字外,还有些文字说明(无用)。怎样做可以既快用准确呢?谢谢 牛人给予解答。。。。 

Scanheader msrange msend linkto your machine; scanend=345.443 scantime=37432 
patch #1 
msposition=0.0015;msintensity=234445 
patch #2 
msposition=0.0025;msintensity=122345 
Scanheader msrange msend linkto your machine; scanend scantime 

我需要的内容: 
msposition=0.0015;msintensity=234445 
msposition=0.0025;msintensity=122345 

回复列表 (共6个回复)

沙发

一行行读 是这个msposition开头的就要

板凳

这样做太慢,有没有其他方法 提高读取效率。。

3 楼

用个MEMO一次读入,然后再做判断,看是否会快点,别的方法暂时没想到,等待高手

4 楼

个人认为MEMO读没有用TLISTBOX读的快,这个我试过,
TLISTBOX的缺点就是它不会自动换行,你的设计好TXT文本的格式

读完之后就可以方便控制了!!

5 楼

一条条处理太慢了,加载就要花半天时间,通过Tstringlist来处理倒是个办法.

不过,我认为,使用SQL Server 或 Oracle批量导入数据库临时表再进行二次处理的方式更快点,毕竟,批导数据是它们的强项,而且,对数据进行筛选排除也非常简单,如果用程序一条条处理,那天都亮了.

以前一个项目,要处理的数据是千万级的,也就这么清理的.

6 楼

这个问题我以前也接触过,开始的时候我也找不到问题的原因,后来我进了一个技术交流群,这个群里的人挺多的,在里面可以沟通技术,你可以进去看一下.群号是:六#二#八#七#八#零#四#三。另外,这个群里可以接项目。

我来回复

您尚未登录,请登录后再回复。点此登录或注册