设为首页收藏本站Access中国

Office中国论坛/Access中国论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

返回列表 发新帖
查看: 3126|回复: 2
打印 上一主题 下一主题

如何读取4G的文本文件?

[复制链接]
跳转到指定楼层
1#
发表于 2006-12-9 00:02:00 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
单位从ORACLE数据库中导出了一个4.1G的文本文件(1000余万行),要求按照地区进行分割(文本文件的每行均有字符代表不同地区,共300多个地区)。由于access对
超过2G的文件无法处理,foxpro也不能处理如此大的文本,所以我采用以下方法处理:
1、通过open方法打开文本文件,死机,放弃;
2、通过sql server 导入到sql数据库,然后通过adp或vb连接到sql,但是频频连接中断,放弃;
3、迫不得已,通过sql server 导入到sql数据库,然后将数据按照没250万行导出为一个文本文件的方法导出了4个文本文件,这样每个文件
均不大于2G,然后通过access链接表的方法将文本文件链接到mdb数据库,再通过循环逐条判断,写入到新的文本文件中,共耗时12个小时。

问题:
方法3太耗时间了!如果时间能够控制到4小时还是能够接受的。不知道有什么数据库、或者什么思路可以解决?我只会windows系统,对unix一窍不通。
其实我知道对unix,这样的人物是小菜一碟。

各位大虾!救救命!我还要再进行2次这样的工作!
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 分享分享 分享淘帖 订阅订阅

点击这里给我发消息

2#
发表于 2006-12-13 00:11:00 | 只看该作者
直接用VBA的随机文件存取的方法来取得数据,进行分割,不知能不能行?
3#
发表于 2007-1-2 21:39:00 | 只看该作者
4G的文本文件,大!



还是有办法的.做个程序,边读N行,边导出保存.不要一次全读出.
您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|站长邮箱|小黑屋|手机版|Office中国/Access中国 ( 粤ICP备10043721号-1 )  

GMT+8, 2024-11-26 04:49 , Processed in 0.088518 second(s), 27 queries .

Powered by Discuz! X3.3

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表