跳到主要內容

[C++] 用 stringstream 分割同時包含 ASCII 和 Unicode 中文的字串

假設有一個檔案，內容包含中文，也包含 ASCII 字元（皆是可顯示字元）。
如果這個檔案格式為 UTF-8，則 ASCII 碼佔用 1 個 byte，中文字佔用 3 個 byte。且代表中文的這 3 個 byte，必定是負值。
（其他語言的文字，未必是用 3 byte 儲存，但繁體中文佔用了 3 byte，UTF-8 的特性就是 byte 數是變動的）

所以 stringstream 用 UTF-8 的 ASCII 的可顯示字元，來當作 delimiter分割字串，是很安全的，例如用 ASCII 的 "空白" 來將以下的檔案，每一行輸入都拆解成兩個獨立字串：
    apple            蘋果
    橘子              哈哈
    兔子              rabbit

可以這樣寫：
ifstream inputFile(fileName.c_str()); 
string a, b, line;
while(getline(inputFile, line))
{
    stringstream tkn(line);
    tkn >> a >> b;    
    cout << " [Debug] a == " << a << endl;
    cout << " [Debug] b == " << b << endl;
}
inputFile.close();

輸出會是：
 [Debug] a == apple
 [Debug] b == 蘋果
 [Debug] a == 橘子
 [Debug] b == 哈哈
 [Debug] a == 兔子
 [Debug] b == rabbit
一般我很少直接採用 Unicode 編碼來處理字串，較常採用 UTF-8 。因為 UTF-8 的前 128 個編碼，跟 ASCII 編碼是完全相同的，如此方便程式碼可以相容 ASCII 編碼，同時又可以處理寬字元。許多支持多國語言的程式，預設都用 UTF-8 就是這個緣故。

注意在 Window 系統記事本若將檔案存成 UTF-8 編碼，檔頭會多了 0xefbbbf 這 3 個 byte。因此在 Window 將檔案存成 UTF-8 時，盡量不要用記事本，改用其他的文字編輯器存（例如 Notepad++）較好。

我通常採用 string 類別直接存取 UTF-8 的字串，在 ASCII 跟寬字元共用的檔案中，string 無法判斷總共有幾個字元，它只會一個 byte 一個 byte 的存取，因此 string 的 size() 函式就失去參考作用。

在 Window 作業系統，大部分採用 UTF-16，將字元存入 wchar_t 型態內，在 Window 內 wchar_t 佔用 2 byte，在 Linux 下 wchar_t 佔用 4 byte (UTF-32)。
所以同樣採用 wchar_t 的一個程式，可能讀取檔案的編碼就會有不統一的問題。所以我覺得程式碼統一成 UTF-8，都用 char 為基底來讀字元較佳。



標籤：

留言

張貼留言

這個網誌中的熱門文章

[程式競賽] UVa 572, Oil Deposits,Flood Fill 演算法

原題目簡述如下： 以 m x n 大小的 grid 代表一張地圖，現今要在此地圖內探勘，找出油田。某一區塊如果標示 "@" 代表有油，"*" 代表沒有油。 "@" 相鄰的區域的聯集，可視為一個油田。（所謂相鄰，除了上下左右，斜向的相鄰也算進去） 求任意地圖中，油田的個數。 例如輸入的測資為： *    *   *    *  @ *   @  @  *  @ *   @   *   *  @ @ @  @   * @ @ @   *   *  @ 則油田個數為 2。 想法 採用典型的倒水演算法（Flood Fill），走訪 "@" 出現的區域，從此往下倒水，倒過水的區域標上 id，因此透過 id 的編號，可以得知油田的個數。 實作 先實作倒水演算法的子函式： void floodfill(vector<vector<char> >& map,                vector<vector<int>  >& id_table,                int row, int col, int id) {    if(row < 0 || (row >= map.size()) )   return;    if(col < 0 || (col >= map[0].size())) return;    if(map[row][col] != '@' || id_table[row][col] > 0) return;    id_table[row][col] = id;   ...
張貼留言
閱讀完整內容

[Python] print 同時輸出到 file 和 console

在 Python 撰寫程式時，我們會希望螢幕 stdout 輸出可以同時記錄到 log 檔案裡。 但是螢幕輸出可能含有 ASCII escape codes 的顏色資訊，輸出的 log 檔案會有類似 ^[[01;32m 這種字樣出現。 我採用比較簡單的解法： 先將 print 函式輸出的訊息，同時導向到螢幕，同時儲存在指定的 log.txt 檔案中。 再用 sed 指令，將 log.txt 內的 ASCII escape code 清除。 方法如下： import sys class PrintLog(object): def __init__(self): self.console = sys.stdout self.log_file = open("log.txt", "w") def write(self, msg): self.console.write(msg) self.log_file.write(msg) def flush(self): pass def main(): original_stdout = sys.stdout sys.stdout = PrintLog() print " This is a testing message." sys.stdout = original_stdout if(__name__ == "__main__"): main() 也就是將 sys.stdout 指向自定義的 PrintLog class，讓 PrintLog 來處理輸出文字，用完 PrintLog 後再把 sys.stdout 導向回原本的 stdout。 接著使用 sed 指令刪除 log.txt 的 ASCII escape code： sed -i 's/\x1b[^m]*m//g' ./log.txt 上面的正規，\x 後面用來接一個 16 進位 ASCII 編碼，其中 1b 代表的是 ESC 退出鍵。 到此即可獲得沒有顏色編碼的 log.tx...
2 則留言
閱讀完整內容

[Linux] 安裝 conda 並用 conda 安裝套件

本篇文章介紹 conda 在 Linux 安裝與基本使用方法。 conda 是一個套件包管理器，跟 apt-get 一樣。conda 的宗旨最初是為了管理複雜的 Python 語言包安裝，後來開始支援其它語言包的安裝（例如 R 語言）。 在 Linux 安裝 conda 指令無法採用 apt-get 指令，要安裝 conda 有兩種方式： 安裝 Anaconda。Anaconda 是一個 Python 的發行版，專門用於計算科學，內建很多的預設數據科學的軟體包，因此會安裝 Anaconda 會需要較大的硬碟空間，會安裝約 3 GB 大的檔案到電腦內。 安裝 Miniconda，是最小安裝版本的 Anaconda，內建 conda、Python 和一些基本套件和基本工具。我目前是安裝這個，因為我不想要安裝一些目前還用不到的語言包。 Minicoda 可以在 這個網站 下載。 我選擇 Python 2.7 的 Linux 64-bit 版本下載，安裝過程 不需要使用 sudo 權限 ，否則之後 conda 執行上會有權限問題，conda 在執行的時候是無法使用 sudo conda ... 來執行指令的。 安裝過程如下（作業系統為 Linux 發行版：Elementary OS）： 執行 （不需要加 sudo）  bash ./Miniconda2-latest-Linux-x86_64.sh 會出現歡迎畫面： Welcome to Miniconda2 4.7.12 In order to continue the installation process, please review the license agreement. Please, press ENTER to continue >>> 按 Enter 後，閱讀完授權合約，輸入 yes 接受合約條款。 Do you accept the license terms? [yes|no] [no] >>> 預設安裝路徑是家目錄的 minicoda2，按下 Enter 可即刻安裝。 Miniconda2 will now be installed into this...
張貼留言
閱讀完整內容