请教excel / access 高手 分分感谢

玎珰

本人是菜鸟 可能叙述不清  向各位高手请教  

问题是关于match 2个数据库

数据库1： 有2 个variables： employer name， employer locaiton   (access 格式）

数据库2： 有3个variables: employer name， employer locaiton and employer ID (excel 格式）

现在想根据employer name， employer locaiton这两个variable是match 2个数据库

但是  数据库1 和数据库2 的同一employer name 可能不是完全表述的一致， e.g. 1个表达为 sydney network ltd 另一个可能是 network ltd （但都是同一家公司）， 或者地址的  一个拼为street 有suburb  一个是st 没有suburb

这种情况下 应该怎么match
谢谢回复

大饼

这数据库谁设计的?
真滥啊

玎珰

大饼 发表于 2013-3-26 17:16
这数据库谁设计的?
真滥啊

政府机关的数据 我也觉得烂呀

kr2000

这没什么好办法，只能模糊match
网上有算法可以给两个字符串区别度打分，你自己定一个值，超过这个值就算不同的employer
如果要excel/access解决那估计不容易

Janet

只有找出一定的规律，然后Match； 剩下的手工了。 数据库设计真滥。

我处理过类似的地址情况，例如Roma Street 和Roma ST， 把所有的都转成缩写形式， 然后Match；

kr2000

我们公司是用的自己写的crm也有很多重复的organisation用不同的名字

这个代码是我现在用来查duplicated数据的，语法是coldfusion不过跟很多语言差不多。返回的值就是s和t的差别

1. function levDistance(s,t) {
   
2.     var d = ArrayNew(2);
   
3.     var i = 1;
   
4.     var j = 1;
   
5.     var s_i = "A";
   
6.     var t_j = "A";
   
7.     var cost = 0;
   
8.    
   
9.     var n = len(s)+1;
   
10.     var m = len(t)+1;
    
11.    
    
12.     d[n][m]=0;
    
13.    
    
14.     if (n is 1) {
    
15.         return m;
    
16.     }
    
17.    
    
18.     if (m is 1) {
    
19.         return n;
    
20.     }
    
21.    
    
22.      for (i = 1; i lte n; i=i+1) {
    
23.       d[i][1] = i-1;
    
24.     }
    
25. 
    
26.     for (j = 1; j lte m; j=j+1) {
    
27.       d[1][j] = j-1;
    
28.     }
    
29.    
    
30.     for (i = 2; i lte n; i=i+1) {
    
31.       s_i = Mid(s,i-1,1);
    
32. 
    
33.       for (j = 2; j lte m; j=j+1) {
    
34.           t_j = Mid(t,j-1,1);
    
35. 
    
36.         if (s_i is t_j) {
    
37.           cost = 0;
    
38.         }
    
39.         else {
    
40.           cost = 1;
    
41.         }
    
42.         d[i][j] = min(d[i-1][j]+1, d[i][j-1]+1);
    
43.         d[i][j] = min(d[i][j], d[i-1][j-1] + cost);
    
44.       }
    
45.     }
    
46.    
    
47.     return d[n][m];
    
48. }

复制代码

wil

http://en.wikipedia.org/wiki/Cosine_similarity

但要先对所有数据进行处理后（如楼上所言）再进行match，可以自行定义阀值，大于某一数值表示匹配，小于某一数值表示不匹配，介于两阀值之间的为不确定，需要人工识别

kr2000

我的算法是这个http://en.wikipedia.org/wiki/Levenshtein_distance

玎珰

kr2000 发表于 2013-3-26 17:35
我的算法是这个http://en.wikipedia.org/wiki/Levenshtein_distance

谢谢回复
非常给力

玎珰

wil 发表于 2013-3-26 17:32
http://en.wikipedia.org/wiki/Cosine_similarity

但要先对所有数据进行处理后（如楼上所言）再进行match ...

谢谢回复 非常给力

克赛前来拜访

数据先整理，然后再匹配。
比如通过查找替换把所有的"空格[S,s][T,t]空格“替换成”空格Street空格"。
然后通过查找逗号把suburb单独分成一列。

wil

http://cs.joensuu.fi/~zhao/Link/Similarity_strings.html

Edit_Distance(sydney network ltd,network ltd)=61.11%
The total escaped time is: 0 (ms).

Cosin_Similarity(sydney network ltd,network ltd)=81.65%
The total escaped time is: 1 (ms).

flyingmel

要分几个步骤来做了
1. 如何展现来自excel和acces的数据，简单的方法就把access的数据导入到excel的一个sheet中
2. 编程来match所有的记录。你可以在excel里面用VB写Macro或者在外面用任何一种别的语言读取这个包含了两组数据的excel。无论用那种方法，你必须要通过几个不同的类别来做match
    1）完全match的，这个简单，只要做字符串的比较就可以了
    2）有相似度的，比如你提到的那几个例子，如果可以提取出pattern，比如street=st，NSW=New South Wales，<location>+employer name=<nil>+employer name，等等，就可以把这些逻辑写到程序里，对于street和st这样的比较，可以定义到外面一个对照表里而不是写在code里
    3）其他的一些能想到的规则，比如忽略大小写，忽略标点符号等等，如果你对数据很熟悉，这些是可以列举出来的
3. 通过程序的自动比较，你不可能100%匹配所有的记录，你应该把剩下的没有通过匹配的记录单独生成一个sheet，左右排好以便手工对比。

另外有个不需要变成的编程的办法是，
你把两组数据排好序，比如按employer name排好了，导出成CSV文件，把excel的employer ID用文本编辑(比如UltraEdit)的column功能去掉，然后用compare工具(比如UltraEdit Compare)进行比较，这样可以手工匹配大部分的记录

玎珰

wil 发表于 2013-3-26 17:41
http://cs.joensuu.fi/~zhao/Link/Similarity_strings.html

Edit_Distance(sydney network ltd,network lt ...

谢谢大侠 明天补分！！！！

玎珰

flyingmel 发表于 2013-3-26 17:47
要分几个步骤来做了
1. 如何展现来自excel和acces的数据，简单的方法就把access的数据导入到excel的一个she ...

谢谢大侠 明天补分

dtmr17

Export the relevant info out to excel, try to de-duplicate them, only the unique info will left, give it some manual treatment, you can then create a mapping table in access.

alphaseeking

学习一下

easter

我看很多网站的地址是从库里选的，自己不能随便输入。这个库是收费的，还是有什么地方可以免费提供呀？

dtmr17

这库在abs的网站上可以下载，好像au post的网站上也有。

玎珰

easter 发表于 2013-3-27 01:33
我看很多网站的地址是从库里选的，自己不能随便输入。这个库是收费的，还是有什么地方可以免费提供呀？ ...

我的数据库是公司的  不确定哪里有免费的

鱼羊鲜

用地址去google maps取经纬度，经纬度一样的就判定为一样
准确度有待观察

Giftcard

都是大师。。。

phome

基本方法还是整理-匹配。
也可先匹配，看有多少没配上，少的话手动，多了看有没有规律，如实在又多又没规律，用楼上各位的匹配算法