文件 编码 ISO-8859-1，UTF8问题，高手进

lingg

碰上点麻烦，高手请指教。

现在问题是，apostrophes 变成了 ’    (用sed做了些文档处理，悲剧)
应该是一UTF8编码的文件，被sed当成ISO-8859-1 保存了，悲剧。

http://ask-leo.com/why_do_i_get_ ... n_my_documents.html

放狗了半天，还是没找到恢复办法。

有人有经验怎么恢复这个文件不

joerkky

iconv?

lingg

joerkky 发表于 2013-1-23 11:37
iconv?

不行。。比如 apostrophe 已经被 转成 ’   iconv 转不回去

北风

原文件没有保存？

wowmygame

把文件导入Google app. Google 会自动调到可以看的编码

lingg

北风 发表于 2013-1-23 12:28
原文件没有保存？

有保存，悲剧的是数据库文件，当时没注意到这个问题，现在转错码的版本已经跑了几天了，
从原文件恢复是不行了

lingg

wowmygame 发表于 2013-1-23 12:32
把文件导入Google app. Google 会自动调到可以看的编码

请问哪一个 Google app？

北风

lingg 发表于 2013-1-23 12:33
有保存，悲剧的是数据库文件，当时没注意到这个问题，现在转错码的版本已经跑了几天了，
从原文件恢复是 ...

是数据库里面的data是吧？
是几个表还是整个数据库？
是什么数据库？mySQL?

如果是数据库你可以试试看这样
restore老的，干净的备份到别的database
比较这两个database
改好collation设置
如果你知道哪些表给被修改了，record by record, field by field去替换（从旧的干净的替换到新的改好collation但是data不干净的）
当然这些都不能在prod里做

wenwenmum

in notepad++  open the file, set encoding to ISO-8859-1 and then convert to utf-8

lingg

北风 发表于 2013-1-23 12:42
是数据库里面的data是吧？
是几个表还是整个数据库？
是什么数据库？mySQL?

谢了，是一个整的MYSQL数据库，你说的这些已经做过了，
数据库的编码属性没有问题。

现在查出来的问题，就是我手贱用SED去处理了一些字符，SED保存的时候应该是用ISO-8859-1的标准来存UTF8标注的字符，导致了乱码：

比如左单引号 在UTF8下是： 0xE28099 ，被分开处理，成了 -》  0xE2 (â), 0x80 (€) and 0x99 (™).

即便现在将文件换成UTF8 也没有办法，看上面这个转换，不像是一个简单可逆的。

我估计要找人 专门写的代码，识别这些常见的可能产生错误字符，才能转换回去。

北风

lingg 发表于 2013-1-23 12:50
谢了，是一个整的MYSQL数据库，你说的这些已经做过了，
数据库的编码属性没有问题。

恩，需要写个东西寻找和替换

北风

SED是什么？

北风

北风 发表于 2013-1-23 12:57
SED是什么？

哦，学习了
http://www.grymoire.com/Unix/Sed.html

lingg

wenwenmum 发表于 2013-1-23 12:45
in notepad++  open the file, set encoding to ISO-8859-1 and then convert to utf-8

谢了，这样还是不行，等于重做了一遍我出错的地方

lingg

北风 发表于 2013-1-23 12:59
哦，学习了
http://www.grymoire.com/Unix/Sed.html

谢了，我也学习了，千万不要手贱去摸数据库文件，
就算要摸，用工具摸，用文件编辑器去摸，容易出事。

之前摸了很多次，看来都是运气好，才没出事。

Ausbear

胆子真肥呀

lingg

大意了。。。对于SED的依赖性太强，阿弥陀佛。要改要改。

我顺便问下吧，现有一个MYSQLDUMP　--all-databases出来的整体备份，
只要恢复其中一个数据库，兄弟们平常是怎么做的？

北风

lingg 发表于 2013-1-23 13:19
大意了。。。对于SED的依赖性太强，阿弥陀佛。要改要改。

我顺便问下吧，现有一个MYSQLDUMP　--all-databa ...

不了解mySQL，是几个数据库backup在一个文件里？
在restore的时候可以选哪个数据库吗？
好像mysql的backup是SQL文件，把关于你要restore的database的部分单独import是不是就行了？

kr2000

lingg 发表于 2013-1-23 13:19
大意了。。。对于SED的依赖性太强，阿弥陀佛。要改要改。

我顺便问下吧，现有一个MYSQLDUMP　--all-databa ...

你把它全恢复，然后再dump你要的数据库就可以了

lingg

kr2000 发表于 2013-1-23 13:44
你把它全恢复，然后再dump你要的数据库就可以了

这个。。。够呛。。。全恢复碰到小数据库还好说，稍微大一点的就只能撞墙了。

我以后还是老实点，用mysql command里面的一个数据库选项算了

lingg

北风 发表于 2013-1-23 13:34
不了解mySQL，是几个数据库backup在一个文件里？
在restore的时候可以选哪个数据库吗？
好像mysql的backu ...

唉，我2年前一定是嗑药了，这么明显的命令行都没看到。

mysql -D mydatabase -o < dump.sql

鱼羊鲜

保存了好像就改不回去了。。。

lingg

鱼羊鲜 发表于 2013-1-25 16:04
保存了好像就改不回去了。。。

嗯，不好改，要 专门收集这种误操作可能产生的 怪异字符 组合，
然后抓出来替换掉。

简单点的方案，如果只处理这个单引号，MYSQL里可以跑一下 UPDATE TABLE SET COLUMN (REPLACE ， ‘’ ‘’）
具体语法GOOGLE上很多。