C++的跨平台方案（如何解决不带 bom 的 utf8 源文件无法用 vs 编译）

[zhiqiang]

之前系统是在 ubuntu 下开发的，整套 gcc/make 工具链已经比较熟悉。

现在有部分功能想在 windows 下编译运行。首先考虑的是用 visual studio，但有个恶心的问题是，visual studio 要求 utf8 必须要有 bom。linux 下的 utf 源代码到 vs 下编译出现一大堆错误。

刚刚尝试了 mingw/gcc，才发现不支持多线程 mutex 之类的。在网上搜了下，说需要安装 w64 版本。但我看 w64 的 gcc 版本只有 4.8.3，而且还不确定有没有别的问题。

不知道大家是怎么弄的，我估计大多数人还是用 vs，这时候该如何处理 bom 的问题？

我想最简单的方法是 git 每次下载文件时自动加上 bom，上传文件时删掉 bom。不知道有没有现成的插件或者配置文件来做这件事情？

我想最简单的方法是：windows 下处理代码时，git 每次下载文件时自动加上 bom，上传文件时删掉 bom，类似于那个处理 windows 下换行的方法。

有现成的配置文件来做这个吗？

多谢各位的出谋划策。

@forcecharlie 提供的方案 /source-charset:utf-8 选项已测试在 vs2017 上通过。这个完全解决了我的问题。

[wwqgtxx]

mingw64 的 gcc 都已经 7.1 了，你看的是什么古董版本

[wsy2220]

mingw-w64 已经到 gcc 7.2 了, 用 msys2 统一安装即可

[coderluan]

C++的跨平台用 Cmake 啊，vs/gcc/icc 啥的都通用。

[missdeer]

从来没关注过 BOM 的问题，一直默认就可以

[justou]

哪个版本的 VS? 我试了下 VS2015 的, 没有要求 utf8 的源文件必须要有 BOM, 它自己也可以保存为没有 BOM 的 utf8, 但是每个文件都得手动保存(有个自动保存的插件 https://vlasovstudio.com/fix-file-encoding/), 也可以一个脚本全部批量加 BOM 嘛

[wwqgtxx]

@justou 如果没有 bom 的话一旦源代码有中文就 cl 会编译错误，但是有 bom 的话,gcc 直接不认

[wevsty]

有 BOM 才是最通用的做法。
带 BOM 的 UTF-8 编码的源码文件在 GCC 上应该是不会编译错误的。不知道你用的是什么古老的版本才会出错。

[lbtinglb]

@wevsty 带 bom 的 UTF-8 官方是不推荐的
[link]( http://www.unicode.org/versions/Unicode5.0.0/ch02.pdf)

[msg7086]

$ pacman -Ss gcc
mingw32/mingw-w64-i686-gcc 7.2.0-1 (mingw-w64-i686-toolchain)
GNU Compiler Collection (C,C++,OpenMP) for MinGW-w64
mingw64/mingw-w64-x86_64-gcc 7.2.0-1 (mingw-w64-x86_64-toolchain) [installed]
GNU Compiler Collection (C,C++,OpenMP) for MinGW-w64

嗯？

[snnn]

加 bom，或者换 windows 的 codepage

[zhiqiang]

@wwqgtxx 我之前看的 http://mingw-w64.org/doku.php/download。我试试 @wsy2220 说的 msys2。这些东西比较乱。

[zhiqiang]

@wevsty 不光是 gcc。还有一些别的东西。我不想更改这个。毕竟 Linux 下才是根本，windows 上只是顺带的，不希望变动太多。

[htfy96]

记得 gcc 应该可以支持 BOM 吧，WPS 开发人员写过一篇文章 http://bbs.wps.cn/thread-22332423-1-1.html

[dtgio]

用脚本加 bom 可以吗？

[yulitian888]

不妨试试升一下 VS2017 ？

[zhiqiang]

@htfy96 这个也太复杂了，看着就头晕。。。

[zhidian]

用 cmake 生成的 VS 工程, 从来没听说过你这个问题. 在 win, linux, macOS 上都没听过, 给你一个例子: https://git.io/vFZMx

[zhiqiang]

@yulitian888 vs2017 支持不带 bom 的 utf8 吗，我搜了一下没说呢。你装了的话帮我试试，注意文件里面要有中文（可以是注释）。

[zhiqiang]

@zhidian boost 当然没问题。仅含英文的 utf8 文件当作 ansi 了。要测试的话，要用含中文的 utf8 源代码文件来测试。

[yulitian888]

@zhiqiang 我不做 c++的，所以 VS2017 里没装 c++的部分，不是很确定能不能用。不过在 VS2015 的时候，c#也出现了 BOM 问题，而之前和 2017 版都没有问题。

[wangxn]

GCC 当然支持编译带 BOM 的文件了，即使默认不行，加个参数就行。
但问题是值不值得加这三个二进制字节到一个纯文本文件中去，譬如 Git 这些都支持不好。
归根到底还是西方话语霸权搞出 UTF-8 这个奇葩来，老老实实用 UCS2 这种（伪）定长编码多好。

[ipwx]

@wangxn 定长编码天生和 C 语言的 '\0' 终结符相冲，会造成 tons of trouble。

[justou]

@wwqgtxx 对,我就是用无 BOM 的 utf8, cout 了一行字符串, 因为源文件是 utf-8 no BOM 的, 只有在这种情况下 cl 才会按照源文件编码读入字符串字节, 其它情况下似乎都会按照本地编码读入字符串, 除非字符串字面量用 u8 等修饰符(u8"utf8 编码的字面量", c++11), 我用的 notepad++创建的 3 个文件, 内容都是:

#include <iostream>

int main()
{
std::cout << "VS UTF-8 BOM 问题" << std::endl;
return 0;
}

一个是本地的 cp936 编码, 一个是 utf8 no bom, 另一个 utf8 with bom. 控制台输出分别是:

cp936: VS UTF-8 BOM 问题

utf8 no bom: VS UTF-8 BOM 闂 (cp936 去解码 utf8 编码的字符串, "问题"乱码了)

utf8 with bom: VS UTF-8 BOM 问题 (有 bom 的 utf8 字符串字面量还是按照 cp936 的字节读入的,所以正常)

VS2015 编译没遇到任何错误或警告.

测试工程: 链接： http://pan.baidu.com/s/1slVyEW9 密码：didy

[FifiLyu]

我多年前遇到一样的问题。我的解决办法是，全部文件都是 BOM+UTF8。仅仅发现在 CentOS5 平台默认 gcc 编译有问题，需要删除 BOM。其它 Linux 发行版都没问题，当然 VS 编译也 OK。

CentOS6/7
Windows XP/2003/7

这些平台用 BOM+UTF8 都没问题。

[zhiqiang]

@justou 挺奇怪的。含中文 utf8 without bom 在 vs 下 cl 出错，在网上案例很多，我这里也早试过不行。你这个行的话，是不是巧合？

而且我的源代码里，只有注释有中文，代码其实都没有中文的。

[zhiqiang]

@justou 我刚在你的测试样例上试了下，加入中文注释，会出现 warning，但编译还能成功。

我的工程可能结构比较复杂，编译会直接出错。

[enenaaa]

@zhiqiang vs 编译不带 BOM 的源码文件。遇到 cp936 不存在的字符才会出问题。 好的话是出警告， 也有因为字符识别错误报错的。
我一般是在中文后面加点换行或英文字符。。

[justou]

@zhiqiang 试了下, 加了注释中文,也没问题(VS2015 企业版 update3). 因为我想在 VS 里面默认保存 no bom utf8 之前在网上搜索过方案, 也找到了(见 5L), 如果连 VS 都不能支持 no bom 的话, 那个插件几乎没啥用了

[forcecharlie]

策略一，使用 UTF-8 Without BOM 但不使用中文注释，字符串资源用 RC 文件保存或者其他。

当然如果只是注释中有中文，只要不是 /W4 就不会出问题。

策略二，使用 Visual C++ 2015 or Later 添加参数 /source-charset:utf-8
https://msdn.microsoft.com/en-us/library/mt708819.aspx
https://msdn.microsoft.com/en-us/library/mt708821.aspx

[justou]

@enenaaa 对, 像这种警告: warning C4819: The file contains a character that cannot be represented in the current code page (936). Save the file in Unicode format to prevent data loss, 之前使用一些第三方库时遇到过很多

[wangxn]

@ipwx 这不会造成问题的，C/C++的 wchar_t 就是定长编码。\0 只有在全部字节都是 0 才是有效的，其他情况都是编码的一部分。

[ipwx]

@wangxn 问题是一堆历史遗留的库呀~ 如果强行推广 UCS-2，可以预见一堆 PHP 的扩展库、一堆 C/C++ 的第三方库，一堆算法库…… 全都挂掉，都要重写。代价太大，所以还是用了 UTF-8 这种 compatible 模式。

[wwqgtxx]

@zhiqiang mingw-w64 的文档更新的很慢，最新版你要去 sf.net 上下

[allenx]

utf8 with bom 可能更好点，低版本 vs 不支持不带 bom 的 utf8 格式。

[gnaggnoyil]

LZ 想要的是不是 git hook?去./.git/hooks 下看看有没有你想要的.

[julykitt]

安装 git 的时候又让你选 pull 是 Windows，push 是 Unix 的选项啊。你可以试试

[zsx]

cl /utf-8

[owt5008137]

1. 写个脚本，全部换成带 BOM
2. WSL
3. 我这里的 Mingw64 里是有 mutex 和线程库的

[heliumhgy]

msbuild /p:source-charset=utf8 xx.sln
纯记忆手打。。。

[iobzo]

VS 有插件叫 ForceUTF8 nobom

[somebody]

研究一下 Qt 的源码，Qt 支持你用的所有工具链

[FrankHB]

很明显受到了严重过时信息的干扰。

直接上 msys2 省事，配 ArchLinux 基本开发环境部署脚本都不怎么需要改。习惯 Ubuntu 的看着办。

保险起见事前准备阅读理解（也包括线程实现之类的破事）：

https://github.com/FrankHB/pl-docs/blob/master/zh-CN/mingw-vs-mingw-v64.md

https://bitbucket.org/FrankHB/yslib/wiki/Prerequisitions.zh-CN.md

要性能好不在乎部署成本 /不要 ABI 兼容不介意做小白鼠可以 https://gcc-mcf.lhmouse.com/ 。

要对 Win32 的工具友好，纯文本 [文件] 强制要求 UTF-8+BOM+CRLF。（反正像样点的工具都支持这种配置。
）如果只是用于 cat 的片段，或者是不认识文件头的弱鸡 shell （说你呢 cmd ），一律不使用 BOM。AutoCRLF ……呵呵呵……谁用谁知道。

WSL 嘛……在 Win32 下互操作挑编辑器（没官方支持，可能编辑完 WSL 没法访问），试了下 EditPlus 可以。另外最近多任务并发看来有些内核层次上导致的 bug。

Qt 源码之类的就不用浪费时间了。不过其实大多数情况下 VS 当编辑器以外用本身就是浪费时间（暴论）。