[問題] UTF-8 Read / Write

作者: EdisonX (卡卡獸)   2018-03-17 02:51:27
開發平台(Platform): (Ex: Win10, Linux, ...)
Visual Studio 2017 , Console C/C++
額外使用到的函數庫(Library Used): (Ex: OpenGL, ...)
問題(Question):
[Q1]
目前我收到的檔案,用記事本開、notepad++開,
一般 asci 是用 1 byte , 繁中、簡中(非常少數)是用 2 byte 存,
再用記事本去開,預設是用 utf-8 存 (非 asci),且無 bom 檔頭 ,
所以我是否可以假設這份檔案是以 utf-8 方式存檔?
[Q2]
目前我嚐試過用 fopen / _wfopen 方式去開、讀檔 ,
也試過指定 ccs=UTF-8 方式去開 ,
再做簡單的 printf / wprintf , 不論怎麼改跑出來的一直都是亂碼 ,
最後嚐試用 char , 直接輸出到檔案去 , 神奇的事發生了
console 輸出是亂碼 , 檔案全都解得出來
去細節後 code 摘要如下
FILE * fin = fopen(sfilename.c_str(), "rb,ccs=UTF-8");
char * pBuf = (char *)malloc(filesize + 32);
fread((void*)pBuf, 1, filesize, fin);
pBuf[filesize] = 0;
FILE * fout = fopen("output.txt", "w");
pFind = pBuf;
while (pFind = strstr(pFind, pszDesc)) {
pFindNext = strstr(pFind + iDescLen, pszScore);
if (pFindNext == NULL) break;
*(pFindNext - 1) = 0;
fprintf(stdout, "%s\n", pFind); \\ 亂碼
fprintf(fout, "%s\n", pFind); \\ 正常
pFind = pFindNext + 1;
}
fclose(fout);
free(pBuf);
請問是不是我誤會了什麼東西?
若要解析這種檔案, 請問我的方法正確嗎?
另若有版友建議直接加入 ATL CString 處理編碼的話也請告知
(乍看只換 CString 問題應該不會改善)
[Q3]
最後的問題是 , 這些截出來的字串會丟到簡易型 db,
之前碰過 sqlite , 但只用過 asci 編碼 , 查了下官網 ,
sqlite 應是支援 utf-8 , 請問這方面是否有人有過經驗能給些意見?
或是直接丟掉 sqlite , 有其他較簡易但字元編碼較佳的 sql lib ?
最後謝謝各位細心回覆,感激不盡。
作者: EdisonX (卡卡獸)   2018-03-17 02:53:00
補註一下,我疑惑的其中一個點在於 , 之前用 char * 去接中文字, 在當時 (Win7/WinXp) 的 console 輸出是正常的(VS2010),也不知道是不是和 VS2017 + Win10 環境相依 ?
作者: Sanvean   2018-03-17 08:10:00
Windows 的 console 使用 cp950(big5 like) 編碼如果你的 windows 是台灣版的話如果在 cmd 裡使用 type 指令印出 utf8 的內容,也是亂碼
作者: EdisonX (卡卡獸)   2018-03-17 12:37:00
謝謝 Sanvean.
作者: stucode   2018-03-17 14:10:00
sqlite3 有支援 UTF-8 喔。也有提供 UTF-16 的 API。如果嘗試把 UTF-16 字串存進 UTF-8 資料庫的話,sqlite3會自動幫你做轉換。(如果使用 UTF-16 的 API 的話)
作者: EdisonX (卡卡獸)   2018-03-17 15:15:00
太棒了 , 謝謝 stucode
作者: eye5002003 (下一夜)   2018-03-17 15:22:00
_wfopen只是可以讀windows下的非ansi檔名而已_wfopen不關心檔案內的文字,想在windows的console正常輸出utf的話要使用WriteConsoleW這個windows API我的習慣是絕大部分情況下使用utf-8格式,有必要才去轉換成其他的萬國碼格式,自己轉換就不再需要去煩惱這些跟編碼有關的問題了

Links booklink

Contact Us: admin [ a t ] ucptt.com