⑴ java 怎麼判斷文本內容的編碼
1：簡單判斷是UTF-8或不是UTF-8，因為一般除了UTF-8之外就是GBK，所以就設置默認為GBK。
按照給定的字元集存儲文件時，在文件的最開頭的三個位元組中就有可能存儲著編碼信息，所以，基本的原理就是只要讀出文件前三個位元組，判定這些位元組的值，就可以得知其編碼的格式。其實，如果項目運行的平台就是中文操作系統，如果這些文本文件在項目內產生，即開發人員可以控制文本的編碼格式，只要判定兩種常見的編碼就可以了：GBK和UTF-8。由於中文Windows默認的編碼是GBK，所以一般只要判定UTF-8編碼格式。
對於UTF-8編碼格式的文本文件，其前3個位元組的值就是-17、-69、-65，所以，判定是否是UTF-8編碼格式的代碼片段如下：
[java] view plain
File file = new File(path);
InputStream in= new java.io.FileInputStream(file);
byte[] b = new byte[3];
in.read(b);
in.close();
if (b[0] == -17 && b[1] == -69 && b[2] == -65)
System.out.println(file.getName() + "：編碼為UTF-8");
else
System.out.println(file.getName() + "：可能是GBK，也可能是其他編碼");
2：若想實現更復雜的文件編碼檢測，可以使用一個開源項目cpdetector，它所在的網址是：http://cpdetector.sourceforge.net/。它的類庫很小，只有500K左右，cpDetector是基於統計學原理的，不保證完全正確，利用該類庫判定文本文件的代碼如下：
讀外部文件(先利用cpdetector檢測文件的編碼格式，然後用檢測到的編碼方式去讀文件):
[java] view plain
/**
* 利用第三方開源包cpdetector獲取文件編碼格式
*
* @param path
* 要判斷文件編碼格式的源文件的路徑
* @author huanglei
* @version 2012-7-12 14:05
*/
public static String getFileEncode(String path) {
/*
* detector是探測器，它把探測任務交給具體的探測實現類的實例完成。
* cpDetector內置了一些常用的探測實現類，這些探測實現類的實例可以通過add方法 加進來，如ParsingDetector、
* JChardetFacade、ASCIIDetector、UnicodeDetector。
* detector按照「誰最先返回非空的探測結果，就以該結果為准」的原則返回探測到的
* 字元集編碼。使用需要用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar
* cpDetector是基於統計學原理的，不保證完全正確。
*/
CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
/*
* ParsingDetector可用於檢查HTML、XML等文件或字元流的編碼,構造方法中的參數用於
* 指示是否顯示探測過程的詳細信息，為false不顯示。
*/
detector.add(new ParsingDetector(false));
/*
* JChardetFacade封裝了由Mozilla組織提供的JChardet，它可以完成大多數文件的編碼
* 測定。所以，一般有了這個探測器就可滿足大多數項目的要求，如果你還不放心，可以
* 再多加幾個探測器，比如下面的ASCIIDetector、UnicodeDetector等。
*/
detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar
// ASCIIDetector用於ASCII編碼測定
detector.add(ASCIIDetector.getInstance());
// UnicodeDetector用於Unicode家族編碼的測定
detector.add(UnicodeDetector.getInstance());
java.nio.charset.Charset charset = null;
File f = new File(path);
try {
charset = detector.detectCodepage(f.toURI().toURL());
} catch (Exception ex) {
ex.printStackTrace();
}
if (charset != null)
return charset.name();
else
return null;
}
[java] view plain
String charsetName = getFileEncode(configFilePath);
System.out.println(charsetName);
inputStream = new FileInputStream(configFile);
BufferedReader in = new BufferedReader(new InputStreamReader(inputStream, charsetName));
讀jar包內部資源文件(先利用cpdetector檢測jar內部的資源文件的編碼格式，然後以檢測到的編碼方式去讀文件)：
[java] view plain
/**
* 利用第三方開源包cpdetector獲取URL對應的文件編碼
*
* @param path
* 要判斷文件編碼格式的源文件的URL
* @author huanglei
* @version 2012-7-12 14:05
*/
public static String getFileEncode(URL url) {
/*
* detector是探測器，它把探測任務交給具體的探測實現類的實例完成。
* cpDetector內置了一些常用的探測實現類，這些探測實現類的實例可以通過add方法 加進來，如ParsingDetector、
* JChardetFacade、ASCIIDetector、UnicodeDetector。
* detector按照「誰最先返回非空的探測結果，就以該結果為准」的原則返回探測到的
* 字元集編碼。使用需要用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar
* cpDetector是基於統計學原理的，不保證完全正確。
*/
CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
/*
* ParsingDetector可用於檢查HTML、XML等文件或字元流的編碼,構造方法中的參數用於
* 指示是否顯示探測過程的詳細信息，為false不顯示。
*/
detector.add(new ParsingDetector(false));
/*
* JChardetFacade封裝了由Mozilla組織提供的JChardet，它可以完成大多數文件的編碼
* 測定。所以，一般有了這個探測器就可滿足大多數項目的要求，如果你還不放心，可以
* 再多加幾個探測器，比如下面的ASCIIDetector、UnicodeDetector等。
*/
detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar
// ASCIIDetector用於ASCII編碼測定
detector.add(ASCIIDetector.getInstance());
// UnicodeDetector用於Unicode家族編碼的測定
detector.add(UnicodeDetector.getInstance());
java.nio.charset.Charset charset = null;
try {
charset = detector.detectCodepage(url);
} catch (Exception ex) {
ex.printStackTrace();
}
if (charset != null)
return charset.name();
else
return null;
}
[java] view plain
URL url = CreateStationTreeModel.class.getResource("/resource/" + "配置文件");
URLConnection urlConnection = url.openConnection();
inputStream=urlConnection.getInputStream();
String charsetName = getFileEncode(url);
System.out.println(charsetName);
BufferedReader in = new BufferedReader(new InputStreamReader(inputStream, charsetName));
3：探測任意輸入的文本流的編碼，方法是調用其重載形式：
[java] view plain
charset=detector.detectCodepage(待測的文本輸入流,測量該流所需的讀入位元組數);
上面的位元組數由程序員指定，位元組數越多，判定越准確，當然時間也花得越長。要注意，位元組數的指定不能超過文本流的最大長度。
4：判定文件編碼的具體應用舉例：
屬性文件(.properties)是Java程序中的常用文本存儲方式，象STRUTS框架就是利用屬性文件存儲程序中的字元串資源。它的內容如下所示：
#注釋語句
屬性名=屬性值
讀入屬性文件的一般方法是：
[java] view plain
FileInputStream ios=new FileInputStream(「屬性文件名」);
Properties prop=new Properties();
prop.load(ios);
String value=prop.getProperty(「屬性名」);
ios.close();
利用java.io.Properties的load方法讀入屬性文件雖然方便，但如果屬性文件中有中文，在讀入之後就會發現出現亂碼現象。發生這個原因是load方法使用位元組流讀入文本，在讀入後需要將位元組流編碼成為字元串，而它使用的編碼是「iso-8859-1」,這個字元集是ASCII碼字元集，不支持中文編碼，
方法一：使用顯式的轉碼：
[java] view plain
String value=prop.getProperty(「屬性名」);
String encValue=new String(value.getBytes(「iso-8859-1″),」屬性文件的實際編碼」);
方法二：象這種屬性文件是項目內部的，我們可以控制屬性文件的編碼格式，比如約定採用Windows內定的GBK，就直接利用」gbk」來轉碼， 如果約定採用UTF-8，就使用」UTF-8″直接轉碼。
方法三：如果想靈活一些，做到自動探測編碼，就可利用上面介紹的方法測定屬性文件的編碼，從而方便開發人員的工作
補充：可以用下面代碼獲得Java支持編碼集合：
Charset.availableCharsets().keySet();
可以用下面的代碼獲得系統默認編碼：
Charset.defaultCharset();
⑵ java:如何判斷字元串是不是亂碼
我覺得樓主說的是在WIN下常見的亂碼,但這在JAVA中是沒有的,因為JAVA用的是UNICODE集.可以參考這里:http://..com/question/31882416.html?si=3
所以設計的是哪種語言,輸出的也是哪種語言.就像現在可以直接查看日文網頁而不會是亂碼一樣.
而二樓說的正則表達式就是漢字在UNICODE集中的位置.
⑶ 用java為什麼輸出了之後不是文字而是亂碼
出現問題的原因是位元組流中每個漢字是兩個位元組，所以肯定會出現亂碼的，要將位元組流通過BufferedReader變成按行讀取的就可以了。
BufferedReader bre = null;
try {
String file = "D:/test/test.txt";
bre = new BufferedReader(new FileReader(file));//此時獲取到的bre就是整個文件的緩存流
while ((str = bre.readLine())!= null) // 判斷最後一行不存在，為空結束循環
{
System.out.println(str);//原樣輸出讀到的內容
}；
備註： 流用完之後必須close掉，如上面的就應該是：bre.close()，否則bre流會一直存在，直到程序運行結束。
⑷ 在java中怎樣處理中文亂碼的問題（有幾種處理方式）
讀取文件的時候如果是用的read方法（位元組流），碰到中文輸出就是亂碼，然後存儲的時候設置下編碼為GBK或者是UTF-8形式即可，可以有效的解決亂碼問題。
可以通過BufferedReader 流的形式進行流緩存，之後通過readLine方法獲取到緩存的內容。
BufferedReader bre = null;
try {
String file = "D:/test/test.txt";
bre = new BufferedReader(new FileReader(file));//此時獲取到的bre就是整個文件的緩存流
while ((str = bre.readLine())!= null) // 判斷最後一行不存在，為空結束循環
{
System.out.println(str);//原樣輸出讀到的內容
}；
備註： 流用完之後必須close掉，如上面的就應該是：bre.close()，否則bre流會一直存在，直到程序運行結束。
可以通過「FileOutputStream」創建文件實例，之後過「OutputStreamWriter」流的形式進行存儲，舉例：
OutputStreamWriter pw = null;//定義一個流
pw = new OutputStreamWriter(new FileOutputStream(「D:/test.txt」),"GBK");//確認流的輸出文件和編碼格式，此過程創建了「test.txt」實例
pw.write("我是要寫入到記事本文件的內容");//將要寫入文件的內容，可以多次write
pw.close();//關閉流
備註：文件流用完之後必須及時通過close方法關閉，否則會一直處於打開狀態，直至程序停止，增加系統負擔。
⑸ java爬蟲一段話里的部分字元亂碼解決
1. 網路爬蟲亂碼的原因。
源網頁的編碼與抓取後的編碼轉換不一致。如果源網頁是gbk編碼的位元組流，程序在我們抓取後直接用utf-8編碼輸出到存儲文件，這必然會造成亂碼，即當源網頁編碼與程序抓取後直接處理編碼一致時，就不會出現亂碼，然後統一字元編碼後也就不會出現亂碼。注意區分源網路代碼A，程序B直接使用的代碼，統一轉換字元的代碼C。
2. 是網頁的伺服器端代碼。
B.捕獲的數據原本是位元組數組，由A編碼，只有B=A才能保證不會出現亂碼；否則，當字元集不兼容時，就會出現亂碼字元。這一步常用於測試。
c、統一轉碼是指在獲得網頁的原始編碼A後進行統一編碼，主要是將每個網頁的數據統一成一種編碼，往往首選字元集較大的utf-8。
每個網頁都有自己的代碼，比如gbk，utf-8，iso8859-1，日本jp系統代碼，西歐，俄語等等。爬行時，所有類型的代碼都將被擴展。有的爬蟲只是簡單的識別網頁，然後統一編碼，有的則直接按照utf-8統一處理，不需要判斷源網頁，顯然會造成亂碼。
3. 亂碼的解決方案。
根據原因找到解決辦法很簡單。
1) 確定源網頁的代碼a。
代碼a通常位於網頁的三個位置，即httpheader的內容、網頁的元字元集和網頁標題中的文檔定義。獲取源網頁代碼時，依次判斷這三部分數據，從頭到尾優先順序相同。
理論上這是對的，但是國內有些網站不符合標准。比如寫出來的gbk其實是utf-8，有的寫出來是utf-8，其實是gbk。當然這是幾個網站，但是確實存在。因此，在確定網頁編碼時，應該對這種特殊情況給予特殊處理，如中文檢查、默認編碼等策略。
在另一種情況下，如果以上三種都沒有編碼信息，一般使用第三方的網頁編碼智能識別工具，如cpdetector。原理是通過統計位元組數組的特性來計算實際編碼，有一定的准確率，但是我發現在實踐中准確率還是很有限的。
但是綜合以上三種編碼確認方法後，中文亂碼的問題幾乎可以完全解決。在我的基於nutch1.6的網路爬蟲系統中，經過統計，編碼准確率可以達到99.99%，這也證明了上述方法和策略的可行性。
2) 程序通過代碼b還原源網頁數據。
顯然，這里的B應該等於a，在java中，如果源網頁的位元組數組是source_byte_array，就會轉換成stringstr=newstring(source_byte_array，B)。即這些位元組數組對應的字元被正確編碼顯示在內存中，此時列印結果正常。此步驟通常用於調試或控制台輸出測試。
3) 統一轉碼。
網路爬蟲系統中有很多數據源。如果無法使用數據，它將被轉換為其原始數據，如果這樣做是浪費的。所以一般爬蟲系統要對抓取的結果進行統一編碼，做到一致，使用方便。此時，在(2)的基礎上，可以進行統一的編碼轉換，在java中的實現如下。
源網頁的位元組數組是source_byte_array。
轉換為普通字元串:stringnormal_source_str=newstring(source_byte_array，c)。這時候可以直接用javaapi存儲，但是字元串往往不直接寫。因為一般爬蟲存儲是將多個源網頁存儲在一個文件中，所以要記錄位元組偏移量，所以下一步。 再將得到的str轉換為統一的編碼C格式的位元組數組,則byte[] new_byte_array=normal_source_str.getBytes(C)即可，此時即可用java io api將數組寫入文件，並記錄相應的位元組數組偏移量等，待真正使用時，直接io讀取即可。
爬蟲過程不僅會存在亂碼問題，還會存在網站爬取涉及法律、IP受限，爬取行為受限等等問題，這個時候就需要不斷去解決這些問題。
⑹ java如何判斷一個文件是否存在亂碼
比如一些非法字元是亂碼的話，那你就讀全部文件，判斷裡面是否有些字元就好了吧
⑺ java判斷一段字元串是否包含亂碼，不管什麼亂碼，只要不可讀就返回false，怎麼寫
packagetest;
publicclassLuanMaTest{
publicstaticvoidmain(String[]args){
System.out.println(newLuanMaTest().cclm("ab?c"));;
}
publicbooleancclm(Stringsource){
booleanflag=true;
charws[]=newchar[]{'"','?','',''','&'};
for(inti=0;i<source.length();i++){
charc=source.charAt(i);
for(intj=0;j<ws.length;j++){
charv=ws[j];
if(c==v){
flag=false;
}
}
if((int)c==0xfffd){
flag=false;
}
}
returnflag;
}
}
剛給你寫的,已經經過測試,如果對你有用,記得採納啊,一行一行打的代碼,挺辛苦的,哈哈
⑻ java判斷文件編碼 終於弄懂了編碼是怎麼回事
Java 如何獲得文件編碼格式。InputStream ios = new java.io.import java.io.利用java.io.Properties的load方法讀入屬性文件雖然方便，但如果屬性文件中有中 文，在讀入之後就會發現出現亂碼現象。當然，象這種屬性文件是項目內部的，我 們可以控制屬性文件的編碼格式，比如約定採用 Windows內定的GBK，就直接利用"gbk"來轉碼，如果約定採用UTF-8，也可以是使用"UTF-8//直接轉碼。
⑼ Java判斷字元串是否是亂碼
java.nio.charset.Charset.forName("GBK").newEncoder().canEncode("測試") //判斷是不是GBK編碼 即是否亂碼
//使用request.getQueryString()獲取通過URL傳過來的值 有可能是亂碼 如：q=éæ¥
String s = request.getQueryString();
if(s!=null){
if(!(java.nio.charset.Charset.forName("GBK").newEncoder().canEncode(s))){
try {
s = new String(request.getQueryString().getBytes("ISO-8859-1"),"UTF-8");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
}
}
⑽ java如果判斷一個字元串中是否有亂碼
據我所知, 貌似沒有這樣的解決辦法...
從編譯器角度來說 , 因為java在得到一個字元串變數的時候, JVM就已經認定它是合法對象了
從業務邏輯上來說 , 什麼叫亂碼? 有可能是一堆中國人無法正常解讀的字元串, 如果是硬性要求的話, 需要參考一些中文的分詞器來做了, 例如庖丁解牛.
最後勸您一句, 如果沒有硬性要求, 不要繼續研究這個了, 沒有太大的實際意義.