Office中国论坛/Access中国论坛

标题: Access挑战Excel第九期：导入一个超过1048576行的数据表 [打印本页]

作者: lwwvb 时间: 2016-3-31 15:22
标题: Access挑战Excel第九期：导入一个超过1048576行的数据表
网友有个问题,说是有一个几百M大小的文本文件,要导入,再排序,再导出为新文本文件.
这个文件有几百万行数据(WEB LOG),
发现EXCEL最大行数为1048576行.ACCESS可以导入超过这个行数的文本文件.所以我最后还是建议网友用ACCESS导入了.
EXCEL可以做到上面的工作吗?

作者: tmtony 时间: 2016-3-31 15:25
哈哈，lwwvb也来了，你这明显是挑Excel的短板来打嘛

作者: 刘苏 时间: 2016-3-31 15:42
你这完全是抡起锤子砸场子

Excel和Access的定位不同，对量级的数据处理能力，Excel本来就显得手短

Excel的强势在于便捷，结构调整便利，轻量级数据处理

前段时间在网上疯传日本老人风景画、Excel网格像素画、Excel初音未来，Access可以吗？

作者: roych 时间: 2016-3-31 15:43
这个我喜欢，最好再加上vlookup来玩玩。

作者: lwwvb 时间: 2016-3-31 16:17

刘苏发表于 2016-3-31 15:42
你这完全是抡起锤子砸场子

Excel和Access的定位不同，对量级的数据处理能力，Excel本来就显得手短

是最近有个挑战赛,又刚好遇到这样的问题,发贴上来问问而已.如果只是用EXCEL,感觉对这样的题目,EXCEL不好办.

作者: roych 时间: 2016-3-31 16:27

刘苏发表于 2016-3-31 15:42
你这完全是抡起锤子砸场子

Excel和Access的定位不同，对量级的数据处理能力，Excel本来就显得手短

其实也可以做。关键是值得做么？
例如，可以用若干足够短的直线来控制，当直线足够短的时候就可以作为像素看待了。——不过估计谁也没有这个耐心。
另外，我也不觉得用Excel作图是一件多么伟大的事情。
要画图，有N多软件：
平面的AI、CDR、PS、PainterX……
工业设计方向的AutoCAD、3D Max、UG、ProE……
数码雕塑方向（结合数位板）的ZBrush、Poser……
有这个闲情，还不如把精力拿来学习上面这些软件，也许还会可以考个什么平面设计师认证之类。
至于Excel有没有平面设计师方向的MVP，我还真不清楚。

作者: pureshadow 时间: 2016-3-31 16:27
Excel也可以做到，先悬念一下，过几天再来写。

作者: lwwvb 时间: 2016-3-31 16:41
能做我也想了解下.但是导入的数据,如何排序再导出是关键难题.

因为排序可能需要是二层,三层的多重排序.单是一层也很麻烦了.
数据可以拆分导入到各工作表中,但如何一起排序,太困难....

作者: pureshadow 时间: 2016-3-31 16:45

lwwvb 发表于 2016-3-31 16:41
能做我也想了解下.但是导入的数据,如何排序再导出是关键难题.

因为排序可能需要是二层,三层的多重排序. ...

晃心，绝对不是拆分工作表这么二的法子。

作者: 刘苏 时间: 2016-3-31 17:45

roych 发表于 2016-3-31 16:27
其实也可以做。关键是值得做么？
例如，可以用若干足够短的直线来控制，当直线足够短的时候就可以作为像 ...

所以我认为也不必拿数据库量级的数据来难为Excel，Excel的定位是桌面级的数据分析处理工具，而不是数据库，就10万行的量，Excel能不能玩转都尚未可知，用百万级的量来折磨Excel，就跟用Excel画图一样

至少我可以轻松使用Access、Orac等数据库处理软件来处理量级的，就跟在Excel里边做平面设计拿不到认证一样，在Excel里处理百万级的数据也只是博眼球。

终端用户能用几千条数据教育你，什么是Excel的极限

作者: tmtony 时间: 2016-3-31 18:14
的确是的，每个组件都有它的优势和短处，不过，互相探探对方的边界和底限在哪里，也是好的。
有时实现一个功能，不在于这个功能本身，可能在实现过程中，有更多的启发，甚至从对方的实现方法中找到一些灵感。
只有碰撞才有火花，只有PK才有认识。

既然某妖同学说可以，我们就拭目以待
有时压力大到一定程度，任督两脉都可以打通的

作者: pureshadow 时间: 2016-4-1 21:30
好，接下来我们就来看看，Excel是如何突破1048576的。
事先声明，我用的是2016版，传说2013版和365也可以做到，还在用其他版本的同学请搬个小板凳参观。

======================================================================
（以上妖气分割线）

Excel本身只有1048576行，再插入行都不会突破这个，但Excel里可以加载个东东：

【文件】选项卡下，找到最下面的【选项】。
[attach]58608[/attach]

【加载项】里选取【COM加载项】，再单击【转到】。
[attach]58609[/attach]

会出来这样一个对话框，把图中显示的那堆蚯蚓文勾选上就行了。
[attach]58610[/attach]

这就是传说中闪亮无比的【Power Pivot】
[attach]58611[/attach]

有了他，再多数据都不是问题。
那个……数据准备好了没？好吧我们从Access里扒拉出一个来。
[attach]58613[/attach]

很明显这个数据源已经超过1048576了。声明一下，我是只厚道的妖，绝对没有删除过行。
然后就开始进入【PowerPivot】吧。
[attach]58612[/attach]

这个界面里的操作，基本上会Excel和Access的人都熟悉的啦，【获取外部数据】，不用多说了吧。
[attach]58614[/attach]

找到刚才那个Access文档。
[attach]58615[/attach]

N个【下一步】
[attach]58616[/attach]

成功导入。
[attach]58617[/attach]

看到没，这数据已经超过1048576了。
至于一些简单的数据处理，像排序什么的，自己看看就会了吧。
[attach]58621[/attach]

不过，谁没事干了，扒着明细表看，一百多万条数据，不得看上两个月啊？
正常人更关注的是一个分类汇总的结果，于是有请【数据透视表】。
[attach]58618[/attach]

这结果，不解释~
[attach]58620[/attach]

嘿嘿，想用1048576来为难Excel，哼哼……哈哈……

作者: pureshadow 时间: 2016-4-1 21:41
我承认在处理Access数据的时候，原本想从Excel里直接复制粘贴几个过去的，结果没弄好，就冒出来上图B10的那些东东……

作者: tmtony 时间: 2016-4-1 22:29
这个比用砖压键盘那个有技术含量

作者: midasli 时间: 2016-4-3 17:30
本帖最后由 midasli 于 2016-4-3 17:32 编辑

嗯嗯，看来很不错，原来EXCEL隐藏着一个这么好的工具可以突破极限行数。。。
这样看来，EXCEL并不是到了这行就不能再增长，它的工作表行是本身是动态的。
谢谢你能为这题做出这么详细的解答。

不好意思，用了另一个帐号登录，我是LWWVB本人。

作者: pureshadow 时间: 2016-4-4 21:57
附件是处理超过1048576行数据操作演示视频

作者: roych 时间: 2016-4-4 22:15
COM插件是2013以后最强悍的秘密武器，很轻易就能整理好数据，或者处理好动态图表。
这也是我为什么一直不挑战Excel的图表的原因之一。——如果不考虑图表美观和多样性的话，其实Access的动态图表比Excel更简单（随便更改下数据源即可，甚至不必排序），不过这一点在Excel 2010引入切片器后，已经没有优势了。

作者: pureshadow 时间: 2016-4-4 22:20
图表？
图表？
图表？
哼哼……哈哈……

作者: cfedf 时间: 2016-4-5 16:58
都好厉害啊

欢迎光临 Office中国论坛/Access中国论坛 (http://www.office-cn.net/)