Java, Unicode и таинственная ошибка компиляции

Unicode — это стандарт кодирования текста, который поддерживает широкий диапазон символов и символов. Хотя последняя версия стандарта — 9.0, JDK 8 поддерживает Unicode 6.2, и ожидается, что JDK 9 будет выпущен с поддержкой Unicode 8.0 . Java позволяет вставлять любые поддерживаемые символы Unicode с экранированием Unicode. По сути, это последовательность шестнадцатеричных цифр, представляющих кодовую точку . В этой статье я расскажу о том, как использовать экранирование Unicode в Java и как избежать необъяснимых ошибок компилятора, вызванных неправильным использованием экранирования Unicode.

Что такое Unicode Escape ?

Начнем с самого начала. Экранирование Unicode используется для представления символов Unicode только с символами ASCII. Это пригодится, когда вам нужно вставить символ, который не может быть представлен в наборе символов исходного файла. В соответствии с разделом 3.3 Спецификации языка Java (JLS) экранирование Юникода состоит из символа обратной косой черты (\), за которым следуют один или несколько символов «u» и четыре шестнадцатеричных цифры.

UnicodeEscape:
    \ UnicodeMarker HexDigit HexDigit HexDigit HexDigit

UnicodeMarker:
    u
    UnicodeMarker u

Так, например, \u000A

Пример использования

Ниже приведен фрагмент кода Java, содержащий escape-код Unicode.

 public class HelloUnicode {
    public static void main(String[] args) {
        // \u0055 is a Unicode escape for the capital U character (U)
        System.out.println("Hello \u0055nicode".length());
    }
}

Найдите минутку, чтобы подумать о том, что будет распечатано. Если вы хотите, скопируйте и вставьте код в новый файл, скомпилируйте и запустите его.

На первый взгляд, похоже, что программа печатает 18 Между двойными кавычками 18 символов, поэтому длина строки должна быть 18. Но если вы запустите программу, вы получите 13 Как следует из комментария, экранирование Unicode будет заменено одним символом.

Осознавая, что экранированные символы Юникода заменяются соответствующими символами Юникода, давайте рассмотрим следующий пример.

 public class NewLine {
    public static void main(String[] args) {
        // \u000A is a unicode escape for the line feed (LF)
        // \u0055 is a Unicode escape for the capital U character (U)
        System.out.println("Hello \u0055nicode".length());
    }
}

Можете ли вы угадать, что будет распечатано сейчас? Ответ должен быть таким же, как и раньше, верно? Я уверен, что некоторые из вас могут подозревать, что это вопрос с подвохом, и на самом деле это так. Этот пример не будет компилироваться вообще.

 $ javac NewLine.java
NewLine.java:3: error: ';' expected
        // \u000A is a unicode escape for the line feed (LF)
                      ^
NewLine.java:3: error: ';' expected
        // \u000A is a unicode escape for the line feed (LF)
                                     ^
NewLine.java:3: error: '(' expected
        // \u000A is a unicode escape for the line feed (LF)
                                         ^
NewLine.java:3: error: ';' expected
        // \u000A is a unicode escape for the line feed (LF)
                                                  ^
NewLine.java:3: error: ';' expected
        // \u000A is a unicode escape for the line feed (LF)
                                                            ^
NewLine.java:5: error: ')' expected
        System.out.println("Hello \u0055nicode".length());
                                                         ^
6 errors

Какая!? Так много ошибок! Моя IDE не показывает волнистые красные линии, и я не могу найти синтаксические ошибки самостоятельно. Ошибка в строке 3? Но это комментарий. Что здесь происходит?

Что вызвало ошибку?

Чтобы лучше понять, что происходит, нам нужно взглянуть на раздел 3.2 Спецификации языка Java — Лексические переводы . Я не могу говорить о всех компиляторах, которые когда-либо существовали, но обычно первая задача компилятора — взять исходный код программы, обработать его как последовательность символов и создать последовательность токенов.

Токен — это то, что имеет значение в контексте языка. Например, в Java это может быть зарезервированное слово ( publicclassinterfaceоператор ( +>>литерал (нотация для представления фиксированного значения). Процесс генерации токенов из последовательности символов называется лексическим анализом (или лексическим переводом, как его называют в документации Oracle), а выполняемая программа называется лексером или токенизатором .

Спецификация языка Java говорит, что лексический перевод выполняется в следующих 3 шагах, где каждый шаг применяется к результату предыдущего шага:

1. Перевод Unicode ускользает.
2. Разделите поток входных символов на строки, распознавая ограничители строки (LF, CR или CR LF).
3. Откажитесь от пробелов и комментариев и токенизируйте результат предыдущего шага.

Как видите, самый первый шаг процесса Unicode обрабатывает побеги. Это делается до того, как у компилятора появится возможность разделить исходный код на токены. Вообще говоря, это похоже на применение функции поиска и замены в исходном коде, замену всех правильно сформированных экранированных символов Юникода соответствующими символами Юникода, а затем разрешение компилятору работать с остальной частью кода.

Имейте в виду, что при обработке экранирования Unicode компилятор не отличает комментарии от реального кода. Он может видеть только последовательность символов. И это объясняет ошибочный код, который вы видели во введении этого поста. Давайте посмотрим на это снова.

 //This is the original source code
public class NewLine {
    public static void main(String[] args) {
        // \u000A is a unicode escape for the line feed (LF)
        // \u0055 is a Unicode escape for the capital U character (U)
        System.out.println("Hello \u0055nicode".length());
    }
}

//This is what it looks like after Unicode escapes have been processed
public class NewLine {
    public static void main(String[] args) {
        //
 is a unicode escape for the line feed (LF)
        // U is a Unicode escape for the capital U character (U)
        System.out.println("Hello Unicode".length());
    }
}

 $ native2ascii -reverse NewLine.java

public class NewLine {
    public static void main(String[] args) {
        //
 is a unicode escape for the line feed (LF)
        // U is a Unicode escape for the capital U character (U)
        System.out.println("Hello Unicode".length());
    }
}

 
# uni2ascii package consists of two programs: uni2ascii and ascii2uni.
# Commandline argument -a U specifies the format of Unicode escapes
# which matches the one used in Java
ascii2uni -a U NewLine.java

 public class HidingCode {
    public static void main(String[] args) {
        //\u000A System.out.println("This is a comment");
        System.out.println("Hello world");
    }
}

 $ native2ascii -reverse HidingCode.java
public class HidingCode {
    public static void main(String[] args) {
        //
 System.out.println("This is a comment");
        System.out.println("Hello world");
    }
}
$ javac HidingCode.java
$ java HidingCode
This is a comment
Hello world

 public class IllFormedUnicodeEscape {
    public static void main(String[] args) {
        // user data is read from C:\data\users\profile
        System.out.println("User data");
    }
}

 \u0070\u0075\u0062\u006c\u0069\u0063\u0020\u0020\u0020\u0020
\u0063\u006c\u0061\u0073\u0073\u0020\u0055\u0067\u006c\u0079
\u007b\u0070\u0075\u0062\u006c\u0069\u0063\u0020\u0020\u0020
\u0020\u0020\u0020\u0020\u0073\u0074\u0061\u0074\u0069\u0063
\u0076\u006f\u0069\u0064\u0020\u006d\u0061\u0069\u006e\u0028
\u0053\u0074\u0072\u0069\u006e\u0067\u005b\u005d\u0020\u0020
\u0020\u0020\u0020\u0020\u0061\u0072\u0067\u0073\u0029\u007b
\u0053\u0079\u0073\u0074\u0065\u006d\u002e\u006f\u0075\u0074
\u002e\u0070\u0072\u0069\u006e\u0074\u006c\u006e\u0028\u0020
\u0022\u0048\u0065\u006c\u006c\u006f\u0020\u0077\u0022\u002b
\u0022\u006f\u0072\u006c\u0064\u0022\u0029\u003b\u007d\u007d

 $ javac Ugly.java
$ java Ugly
Hello world

 $ native2ascii -reverse Ugly.java
public
class Ugly
{public
    static
void main(
String[]  
    args){
System.out
.println(
"Hello w"+
"orld");}}