Java如何獲得文件編碼格式

在程序中,文本文件經常用來存儲標準的ASCII碼文本,比如英文、加減乘除等號這些運算符號.文本文件也可能用於存儲一些其他非ASCII字元,如基於GBK的簡體中文,基於BIG5的繁體中文等等.在存儲這些字元時需要正確指定文件的編碼格式；而在讀取這些文本文件時,有時候就需要自動判定文件的編碼格式.

按照給定的字符集存儲文本文件時,在文件的最開頭的三個位元組中就有可能存儲著編碼信息,所以,基本的原理就是只要讀出文件前三個位元組,判定這些位元組的值,就可以得知其編碼的格式.其實,如果項目運行的平台就是中文操作系統,如果這些文本文件在項目內產生,即開發人員可以控制文本的編碼格式,只要判定兩種常見的編碼就可以了：GBK和UTF-8.由於中文Windows默認的編碼是GBK,所以一般只要判定UTF-8編碼格式.

對於UTF-8編碼格式的文本文件,其前3個位元組的值就是-17、-69、-65,所以,判定是否是UTF-8編碼格式的代碼片段如下：

測試文件編碼是否為UTF-8

File file = new File(path);

InputStream ios = new java.io.FileInputStream(file);

byte[] b = new byte[3];

ios.read(b);

ios.close();

if (b[0] == -17 && b[1] == -69 && b[2] == -65)

System.out.println(file.getName() 「：編碼為UTF-8″);

else

System.out.println(file.getName() 「：可能是GBK,也可能是其他編碼.」);

上述代碼只是簡單判定了是否是UTF-8格式編碼的文本文件,如果項目對要判定的文本文件編碼不可控（比如用戶上傳的一些HTML、XML等文本）,可以採用一個現成的開源項目：cpdetector,它所在的網址是：http://www.oschina.net/p/cpdetector.它的類庫很小,只有500K左右,利用該類庫判定文本文件的代碼如下：

FileEncodeDetector

package cn.edu.cqu.tiger;

import info.monitorenter.cpdetector.io.ASCIIDetector;

import info.monitorenter.cpdetector.io.CodepageDetectorProxy;

import info.monitorenter.cpdetector.io.JChardetFacade;

import info.monitorenter.cpdetector.io.ParsingDetector;

import info.monitorenter.cpdetector.io.UnicodeDetector;

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileNotFoundException;

import java.io.IOException;

import java.io.InputStream;

import java.io.InputStreamReader;

public class FileEncodeDetector {

public static String getFileEncode(String path) {

/*------------------------------------------------------------------------

detector是探測器,它把探測任務交給具體的探測實現類的實例完成.

cpDetector內置了一些常用的探測實現類,這些探測實現類的實例可以通過add方法

加進來,如ParsingDetector、 JChardetFacade、ASCIIDetector、UnicodeDetector.

detector按照「誰最先返回非空的探測結果,就以該結果為準」的原則返回探測到的

字符集編碼.

使用需要用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar

cpDetector是基於統計學原理的,不保證完全正確.

--------------------------------------------------------------------------*/

CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();

/*-------------------------------------------------------------------------

ParsingDetector可用於檢查HTML、XML等文件或字元流的編碼,構造方法中的參數用於

指示是否顯示探測過程的詳細信息,為false不顯示.

---------------------------------------------------------------------------*/

detector.add(new ParsingDetector(false));

/*--------------------------------------------------------------------------

JChardetFacade封裝了由Mozilla組織提供的JChardet,它可以完成大多數文件的編碼

測定.所以,一般有了這個探測器就可滿足大多數項目的要求,如果你還不放心,可以

再多加幾個探測器,比如下面的ASCIIDetector、UnicodeDetector等.

---------------------------------------------------------------------------*/

detector.add(JChardetFacade.getInstance());//用到antlr.jar、chardet.jar

// ASCIIDetector用於ASCII編碼測定

detector.add(ASCIIDetector.getInstance());

// UnicodeDetector用於Unicode家族編碼的測定

detector.add(UnicodeDetector.getInstance());

java.nio.charset.Charset charset = null;

File f = new File(path);

try {

charset = detector.detectCodepage(f.toURI().toURL());

} catch (Exception ex) {

ex.printStackTrace();

}

if (charset != null)

return charset.name();

else

return null;

}

public static void main(String[] args) throws IOException,

FileNotFoundException {

String path = "J:\Unicode\ub.txt";

//Windows下Unicode探測后得到Windows-1252

String encode = getFileEncode(path);

if("Windows-1252".equalsIgnoreCase(encode))

encode = "Unicode";

File file = new File(path);

InputStream ios = new java.io.FileInputStream(file);

byte[] b = new byte[3];

ios.read(b);

ios.close();

if (b[0] == -17 && b[1] == -69 && b[2] == -65)//文件頭

System.out.println(file.getName() "：編碼為UTF-8");

else

System.out.println(file.getName() "：可能是GBK,也可能是其他編碼.");

BufferedReader bufferedReader = new BufferedReader(

new InputStreamReader(new FileInputStream(file), encode));

System.out.println(encode);

System.out.println(bufferedReader.readLine().substring(1));//去掉第一行中的文件頭

}

}
上面代碼中的detector不僅可以用於探測文件的編碼,也可以探測任意輸入的文本流的編碼,方法是調用其重載形式：

charset=detector.detectCodepage(InputStream in, int length);

上面的位元組數由程序員指定,位元組數越多,判定越準確,當然時間也花得越長.要注意,位元組數的指定不能超過文本流的最大長度.

判定文件編碼的具體應用舉例：

屬性文件(.properties)是Java程序中的常用文本存儲方式,象STRUTS框架就是利用屬性文件存儲程序中的字元串資源.它的內容如下所示：

#註釋語句

屬性名=屬性值

讀入屬性文件的一般方法是：

FileInputStream ios=new FileInputStream(「屬性文件名」);

Properties prop=new Properties();

prop.load(ios);

ios.close();

利用java.io.Properties的load方法讀入屬性文件雖然方便,但如果屬性文件中有中文,在讀入之後就會發現出現亂碼現象.發生這個原因是load方法使用位元組流讀入文本,在讀入后需要將位元組流編碼成為字元串,而它使用的編碼是「iso-8859-1」,這個字符集是ASCII碼字符集,不支持中文編碼,所以這時需要使用顯式的轉碼：

String value=prop.getProperty(「屬性名」);

String encValue=new String(value.getBytes(「iso-8859-1″),」屬性文件的實際編碼」);

在上面的代碼中,屬性文件的實際編碼就可以利用上面的方法獲得.當然,象這種屬性文件是項目內部的,我們可以控制屬性文件的編碼格式,比如約定採用Windows內定的GBK,就直接利用」gbk」來轉碼,如果約定採用UTF-8,也可以是使用」UTF-8″直接轉碼.如果想靈活一些,做到自動探測編碼,就可利用上面介紹的方法測定屬性文件的編碼,從而方便開發人員的工作.

可以用下面代碼獲得Java支持編碼集合：

Charset.availableCharsets().keySet();

可以用下面的代碼獲得系統默認編碼：

Charset.defaultCharset();

Tags: