Office中国论坛/Access中国论坛

标题: 请教怎么增加数据效率高点 怎么都不明白 为何 效率那么低的 [打印本页]
作者: 先下车选4    时间: 2016-1-10 20:54
标题: 请教怎么增加数据效率高点 怎么都不明白 为何 效率那么低的
本帖最后由 先下车选4 于 2016-1-11 09:06 编辑

  2.   
  3.      rst.Open "信息", CurrentProject.Connection, adOpenKeyset, adLockOptimistic
  4.      
  5.      For i = 0 To cid '~=25000
  6.          
  7.          With Datas(i)
  8.           If Not IsEmpty(Datas(i).p_info) Then
  9.           m = UBound(Datas(i).p_info)
  10.             For j = 1 To m
  11.             n = UBound(Datas(i).p_info(j, 5))

  13.                 If n = 0 Then
  14.                     rst.AddNew Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 11, 12, 13, 14, 16), _
  15.                     Array(.p_info(j, 0), .p_info(j, 1), .p_info(j, 2), .p_info(j, 3), .p_info(j, 4), Empty, Empty, Empty, Empty, _
  16.                     .p_info(j, 9), Empty, .p_info(j, 11), .p_info(j, 12), Empty _
  17.                     )

  19.                 Else
  20.                 For k = 1 To n
  21.                     rst.AddNew Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 11, 12, 13, 14, 16), _
  22.                     Array(.p_info(j, 0), .p_info(j, 1), .p_info(j, 2), .p_info(j, 3), .p_info(j, 4), IIf(Datas(i).p_info(j, 5)(k, 0) = "", Empty, idlx(Val(Datas(i).p_info(j, 5)(k, 0)))), IIf(Datas(i).p_info(j, 5)(k, 1) = "", Empty, iddj(Val(Datas(i).p_info(j, 5)(k, 1)))), .p_info(j, 5)(k, 2), .p_info(j, 5)(k, 3), _
  23.                     .p_info(j, 9), .p_info(j, 5)(k, 4), .p_info(j, 11), .p_info(j, 12), .p_info(j, 5)(k, 5) _
  24.                     )

  26.                 Next k
  27.                End If
  28.             Next j
  29.          End If
  30.          
  31.        End With

  33.     Next
  34.      rst.Close
  35.      Set rst = Nothing
  36.          Datas(0-25000+) 结构如下
  37.              |属性1
  38.                  |属性2
  39.                  ...
  40.                  |属性13
  41.         其中 |属性info 为动态数组 维数不定
  42.                     |属性info的子属性1
  43.                         |属性info的子属性2
  44.                         |属性info的子属性3
  45.                         |属性info的子属性4
  46.                         |属性info的子属性5 为动态数组 维数不定
  47.                                                 |属性info的子属性5孙属性1
  48.                                                 |属性info的子属性5孙属性2
  49.                                                 |属性info的子属性5孙属性3
  50.                                                 |属性info的子属性5孙属性4
  51.                                                 |属性info的子属性5孙属性5
  52.                         
  53.                         ...
  54.                         |属性info的子属性8
  55.                         。。。
  56.         idlx 和iddj 是2个已有固定数组
复制代码

需要接近10分钟 太慢了.. 是取datas数组太慢了?!
为什么不在生成数组的时候直接存入表,我只能说我有 暗疾.....说不出的痛
一般情况下 写完后 表[信息] 将有12万条记录为什么这么慢的呢  试过 将 21行的屏蔽后能大概提高1班时间,如果芝士将 21行的iif语句该为直接数组的值(即不取对应固定数组中的值), 有10-20%的提升
作者: 先下车选4    时间: 2016-1-10 20:56
第21行 其实增加的数据量很少的
作者: 先下车选4    时间: 2016-1-10 22:18
自己顶下吧， 如何才能提高效率呢
作者: 先下车选4    时间: 2016-1-11 23:32
没人知道什么原因吗
作者: ganlinlao    时间: 2016-1-12 08:21
和所有的人一样，我忍不住要问一句，你生成这个数组的数据来源在哪里？你为什么不直接去读取数据来源呢？
在一个错误的数据结构进行修修补补，依然是错误，效率会高吗？答案是不可能的！
回头看一下你的代码：
1、你这个数组数据保存到表，单单数据类型得转换十几万次，因为你的数组用的是variant,每一个数据都要进行类型转换。recordset没有variant这种数据类型，access表更没有。
2、所有的计数i,k,m,n之类，都应该定义成Long，没定义，就是variant，2.5万次循环下来，又是一个十几万次的类型转换。
3、array函数是一个性能奇差无比的函数，但你使用了。每一个array函数生成的数组数据都是variant，这对于2.5万次的循环下来，又是一个几十万次的类型转换。所以array函数不应该用，但你用了。
4、因为数组中嵌套数组，所以每一次，都得判断数据是不是数组，几万次下来，性能会快吗？

我只能说，这样的性能提高非常有限。
换思路才是比较可行的办法。在这样的思路上，修补非常有限，而且是错误的。
作者: xinrenq    时间: 2016-1-12 08:30
从代码上来说，没有太多的改变的余地，10分钟呢，是有些长，但具体长在里面的哪个地方可以一点点的分析一下：
1.是不是Datas(i).p_info 的问题，你可以试着直接改个较为简单的来源试一下，
2.把addnew方式改为execute的方式，也可以试一下
3.也不知道数据源是哪种，换成高大上点的，可能会好些。呵。。。

这只能是去自已测试了。
作者: 先下车选4    时间: 2016-1-12 09:26
数据来源 肯定不是某个现成的表或者查询啦 , 是 控件捕捉到的数据返回,
因为有自动增加字段 及 开了多线程获取数据,所以不能 直接在控件中 直接更新access中的表,只好定义1个控件中的类在主程序access中, 作为参数送入各线程中,各线程根据自己的任务涉及到的id ,将取到的数据放入相应的datas[i]中,然后当所有线程都完成后 就开始保存到表中

我没想到  动态数组几层下来 性能这么不好
作者: xinrenq    时间: 2016-1-12 10:01
那就是你的类产生的问题，看来你要另辟蹊径，改变算法了，不给力，是没有办法的事了。
作者: roych    时间: 2016-1-12 10:16
个人觉得，有些类似于JSON结构吧？
是否可以考虑用JSON来解析？
作者: 先下车选4    时间: 2016-1-13 09:06
gai改了 下
提升了1个层级

现在是datas[]{x1,x2,x3,...., a[]{a1,a2,...} , b[]{b1,b2,...}...,xx}
快了小小, 但是还是有点长.哈哈

奇怪的是,
a对应的大概4+万条记录 datas(x).a(y,z) 其中x~=25000,y~={0-8},z=8
b对应的大概12+万条记录 datas(x).b(y,z) 其中x~=25000,y~={0-400},z=14
最终的差距就是 a 4+万条记录8个写入字段 , b 12+万,14个写入字段
同样的循环addnew, a 耗时小于15秒, b 耗时 5还是6(忘记了) 分钟了
作者: 先下车选4    时间: 2016-1-14 18:29
貌似在不改动 数据 来源 应该没什么可以改变了的

尝试只保存前几个数据到另外1个表 只有7个字段, 马上飞快的结束了,  看来和保存的 数据的 字段啊 ,字段内容有好大关系 那么么办法了
现在6分钟左右 写完12+w条 15个字段,1的自动id 1个now() ,勉强接受了,毕竟取数局阶段都还要有1小时嘛




欢迎光临 Office中国论坛/Access中国论坛 (http://www.office-cn.net/) Powered by Discuz! X3.3