Office中国论坛/Access中国论坛

标题: 如何读取4G的文本文件？ [打印本页]

作者: duzili 时间: 2006-12-9 00:02
标题: 如何读取4G的文本文件？
单位从ORACLE数据库中导出了一个4.1G的文本文件（1000余万行），要求按照地区进行分割（文本文件的每行均有字符代表不同地区，共300多个地区）。由于access对
超过2G的文件无法处理，foxpro也不能处理如此大的文本，所以我采用以下方法处理：
1、通过open方法打开文本文件，死机，放弃；
2、通过sql server 导入到sql数据库，然后通过adp或vb连接到sql，但是频频连接中断，放弃；
3、迫不得已，通过sql server 导入到sql数据库，然后将数据按照没250万行导出为一个文本文件的方法导出了4个文本文件，这样每个文件
均不大于2G，然后通过access链接表的方法将文本文件链接到mdb数据库，再通过循环逐条判断，写入到新的文本文件中，共耗时12个小时。

问题：
方法3太耗时间了！如果时间能够控制到4小时还是能够接受的。不知道有什么数据库、或者什么思路可以解决？我只会windows系统，对unix一窍不通。
其实我知道对unix，这样的人物是小菜一碟。

各位大虾！救救命！我还要再进行2次这样的工作！

作者: zhuyiwen 时间: 2006-12-13 00:11
直接用VBA的随机文件存取的方法来取得数据，进行分割，不知能不能行?

作者: lwwvb 时间: 2007-1-2 21:39
4G的文本文件,大!

还是有办法的.做个程序,边读N行,边导出保存.不要一次全读出.

欢迎光临 Office中国论坛/Access中国论坛 (http://www.office-cn.net/)