Office中国论坛/Access中国论坛

标题: 对多组数据的快速对比 - 新方法 [打印本页]

作者: brucewong 时间: 2008-1-10 17:27
标题: 对多组数据的快速对比 - 新方法
已经解决，思路见17楼
多谢各位！

数据结构如下啊：
数据１　　　　　数据２　　　　　数据３
1234.4867          2344.2362          900
1234.4464          2524.2322          243
1274.4567          2354.2342          234
1284.4262          2344.2522          643
1214.4069          2244.2382          233
.......
最多可达到１０万条数据

VBA方式实现找出对数据1 并且数据2  并且数据3  差别在某个值范围内的数据例如数据1 相差小于0.0003
数据2 小于0.0004 , 数据3小于10；

我目前的实现方法是通过循环遍列数据；
可以实现；但是有个明显的缺点就是效率极其底！
8000行数据差不多要几分钟时间才能完成！期间犹如死机般另人难以忍受，
考虑过用二分法查找。。但是不知道多组数据怎么实现，一旦排序后是不是会错位？
请明白的哥哥指教！
多谢了！

[ 本帖最后由 brucewong 于 2008-1-21 15:57 编辑 ]

作者: brucewong 时间: 2008-1-11 14:39
下面是我做的一一对比！

Dim I
I = 0
Do Until Rs8.EOF
      Do Until Rs7.EOF
         TEMjdc = Abs(Round(Rs8("数据1") - Rs7("数据1"), 2))
         TEMwdc = Abs(Round(Rs8("数据2") - Rs7("数据2"), 2))
         TEMfxc = Abs(Rs8("数据3") - Rs7("数据3"))
         If TEMjdc < 0.03 And TEMwdc < 0.03 And TEMfxc < 20 And Rs8("编号") <> Rs7("编号") Then
            I = I + 1
            Rs9.AddNew
            Rs9!problemitem = I
            Rs9("NO") = Rs8!编号 & "<--->" & Rs7!编号
            Rs9("数据11") = Rs8("数据1")
            Rs9("数据21") = Rs8("数据2")
            Rs9("数据31") = Rs8("数据3")
            Rs9("数据12") = Rs7("数据1")
            Rs9("数据22") = Rs7("数据2")
            Rs9("数据32") = Rs7("数据3")
            Rs9.Update
            Rs7.MoveNext
         Else
            Rs7.MoveNext
         End If
      Loop
      Rs8.MoveNext
      Rs7.MoveFirst
Loop

[ 本帖最后由 brucewong 于 2008-1-21 15:55 编辑 ]

作者: andymark 时间: 2008-1-11 15:07
上下2条语句对比?

作者: brucewong 时间: 2008-1-11 15:32
这样说吧，
数据1 的每一条纪录都需要和数据1的所有纪录进行比较，当有符合要求的情况比对该纪录的数据2和所有数据2纪录；不符合要求那么数据1转到下一行纪录；
当数据1，数据2都符合要求时，进行数据3的比对，如果数据1，2，3 都符合要求那么纪录到新的表对比重复结果!
如此类推！
上面的代码也可以通过查询实现但是效率同样不高！

另外上面的代码还有个问题就是
比如说第10条纪录和第1000条纪录符合选出要求时 “对比重复结果”表会增加一条纪录结构如下
problemitem    NO                数据11       数据21    数据31    数据12    数据22    数据32
1                   10<--->1000 12.0234       22.2356          33          12.0134    22.2301       30
2                   1000<--->10 12.0134       22.2301       30       12.0234       22.2356       33

会将前面找出来的纪录再对比一次当执行到1000条时

作者: andymark 时间: 2008-1-11 15:49
数据量大的惊人
能否上传例子测试

作者: brucewong 时间: 2008-1-11 18:04
附件上传，顺便请帮我检查一下那个进度条
把 'MsgBox L & "--" & L1, vbInformation, "ok"
取消注释你就能看到它动
运算时怎么有这种情况，我将间隔时间小到了100毫秒都不行！

要测试更多数据只消多复制几次就可以了

作者: rjacky 时间: 2008-1-13 12:27
能用查询就应尽量用查询的方法

在我电脑上，只用1个查询生成和你使用记录集一样的结果，耗时仅是后者的8分1

[attach]27849[/attach]

作者: Victor_Duane 时间: 2008-1-13 13:20
为什么不用笛卡尔积的方法来求得你要的数据呢

作者: rjacky 时间: 2008-1-13 13:28
8000行数据差不多要十几秒时间才能完成！期间犹如死机般另人难以忍受

不知道楼主用的是什么级别的服务器，8000行数据用10多秒，在我的电脑上，就你原有的2300行数据，通过记录集花了我4分多

作者: Victor_Duane 时间: 2008-1-13 13:28
SELECT [aFT_PROCESS_1].[编号] & "<---->" & [aFT_PROCESS].[编号] AS [No], AFT_PROCESS_1.数据1 AS [数据1-1], AFT_PROCESS_1.数据2 AS [数据1-2], AFT_PROCESS_1.数据3 AS [数据1-3], AFT_PROCESS.数据1 AS [数据2-1], AFT_PROCESS.数据2 AS [数据2-2], AFT_PROCESS.数据3 AS [数据2-3]
FROM AFT_PROCESS, AFT_PROCESS AS AFT_PROCESS_1
WHERE ((([aft_process].[数据1]-[aft_process_1].[数据1])<0.03) AND (([aft_process].[数据2]-[aft_process_1].[数据2])<0.03) AND (([aft_process].[数据3]-[aft_process_1].[数据3])<20) AND (([aft_process].[编号]-[aft_process_1].[编号])<>0));

作者: Victor_Duane 时间: 2008-1-13 13:36
更正一下:需要用到ABS函数
SELECT [aFT_PROCESS_1].[编号] & "<---->" & [aFT_PROCESS].[编号] AS [No], AFT_PROCESS_1.数据1 AS [数据1-1], AFT_PROCESS_1.数据2 AS [数据1-2], AFT_PROCESS_1.数据3 AS [数据1-3], AFT_PROCESS.数据1 AS [数据2-1], AFT_PROCESS.数据2 AS [数据2-2], AFT_PROCESS.数据3 AS [数据2-3]
FROM AFT_PROCESS, AFT_PROCESS AS AFT_PROCESS_1
WHERE (((Abs([aft_process].[数据1]-[aft_process_1].[数据1]))<0.03) AND ((Abs([aft_process].[数据2]-[aft_process_1].[数据2]))<0.03) AND ((Abs([aft_process].[数据3]-[aft_process_1].[数据3]))<20) AND (([aft_process].[编号]-[aft_process_1].[编号])<>0));

作者: rjacky 时间: 2008-1-13 13:40
VD，改过后的查询结果还是和楼主自己原来的不一样哦

作者: Victor_Duane 时间: 2008-1-13 13:47
其实我不太明白楼主想干什么,只是提供一个思路,相信楼主自己可以做的更加的完善

作者: brucewong 时间: 2008-1-14 11:37

原帖由 Victor_Duane 于 2008-1-13 13:36 发表
更正一下:需要用到ABS函数
SELECT [aFT_PROCESS_1].[编号] & "" & [aFT_PROCESS].[编号] AS [No], AFT_PROCESS_1.数据1 AS [数据1-1], AFT_PROCESS_1.数据2 AS [数据1-2], AFT_PROCESS_1.数据3 AS [数据1-3], AFT_P ...

感谢VICTOR 的回复
目前我就是用查询来实现的！

但是我的想法是查询的效率还是不够高呀！

我的思路是，拿数据1的对比来说（假设对比相等，而不是对比差值）！比如说对比第一条纪录时将数据1按照升序排列
用第一条纪录对比所有纪录中间的一条如果比第一条大那么抛弃后1/2所有纪录，然后将第一条与前1/2数据的1/2位置的纪录数据对比，如果小则再抛弃其前1/2
依次类推
100000条数据最多对比16次即刻得到结果，如果用遍历数据的话那么需要进行100000^2-100000次至少！！

100000/2 =50000
50000/2=25000
25000/2=12500
12500/2=6250
6250/2=3125
3125/2=约1563
718
390
195
97
48
24
12
6
3
1

作者: bach 时间: 2008-1-17 04:44
好复杂,学习一下

作者: bach 时间: 2008-1-17 04:44
学习学习,

作者: brucewong 时间: 2008-1-21 15:53
标题: 已经搞定！

因为数据中有可能有完全重复的数字，
所以用14楼的思路会出现漏掉的情况
解决的思路是将数据排序，然后读入数组（当然也可以不用，我是用VB先排序EXCEL数据然后数组直接读入EXCEL表格的数据），然后分区域对比，满足需求
10000条数据完成对比用时间9秒左右
等整理好了放上来大家参考！

作者: brucewong 时间: 2008-1-21 16:03

原帖由 rjacky 于 2008-1-13 12:27 发表
能用查询就应尽量用查询的方法

在我电脑上，只用1个查询生成和你使用记录集一样的结果，耗时仅是后者的8分1

27849

多谢哥哥的帮助哇！
不过我现在实现的效率是之前的基本上是30倍以上！

欢迎光临 Office中国论坛/Access中国论坛 (http://www.office-cn.net/)