Как избежать специальных символов Unicode в строке и записать их в файл с кодировкой UTF

Другое решение, не полагающееся на встроенный repr(), а реализующее его с нуля:

orig = 'Bitte überprüfen Sie, ob die Dokumente erfolgreich in System eingereicht wurden, und löschen Sie dann die tatsächlichen Dokumente.'

enc = re.sub('[^ -~]', lambda m: '\\u%04X' % ord(m[0]), orig)

print(enc)

Отличия:

• Кодирует только с использованием \u, а не какой-либо другой последовательности, тогда как repr() использует около трети алфавита (так, например, символ BEL будет кодироваться как \u0007, а не \a)
• Кодировка верхнего регистра, как указано (\u00FC вместо \u00fc)
• Не обрабатывает символы Юникода за пределами плоскости 0 (можно легко расширить, учитывая спецификацию того, как они должны быть представлены)
• Он не заботится о каких-либо ранее существовавших последовательностях \u, тогда как repr() превращает их в \\u; может быть расширен, возможно, для кодирования \ как \u005C:

  enc = re.sub(r'[^ -[\]-~]', lambda m: '\\u%04X' % ord(m[0]), orig)
  

Простым решением будет ascii():

string = 'Bitte überprüfen Sie, ob die Dokumente erfolgreich in System ' \
         'eingereicht wurden, und löschen Sie dann die tatsächlichen Dokumente.'

print(ascii(string))

выход :

'Bitte \xfcberpr\xfcfen Sie, ob die Dokumente erfolgreich in System eingereicht wurden, und l\xf6schen Sie dann die tats\xe4chlichen Dokumente.'

Также для этого можно использовать unicode-escape и raw-unicode-escape (ссылка ):

string = 'Bitte überprüfen Sie, ob die Dokumente erfolgreich in System ' \
         'eingereicht wurden, und löschen Sie dann die tatsächlichen Dokumente.'

print(string.encode('unicode-escape').decode('raw-unicode-escape'))

выход :

Bitte \xfcberpr\xfcfen Sie, ob die Dokumente erfolgreich in System eingereicht wurden, und l\xf6schen Sie dann die tats\xe4chlichen Dokumente.

Примечание: ascii() экранирует не-ascii-символы с помощью \x , \u, \U для 1 байта, 2 байтов и 4 байтов соответственно. В вашем случае вы видите \x. Но попробуйте этот:

print(ascii('س'))  # '\u0633'

Если вы действительно хотите преобразовать escape-последовательности \xhh в \u00hh , используйте re.sub() в результате ascii():

import re
print(re.sub(r'\\x[a-f0-9]{2}', lambda x: r'\u00' + x.group()[-2:].upper(), ascii(string))) 

выход :

'Bitte \u00FCberpr\u00FCfen Sie, ob die Dokumente erfolgreich in System eingereicht wurden, und l\u00F6schen Sie dann die tats\u00E4chlichen Dokumente.'

Вышеупомянутые подходы работают для экранирования любых символов, отличных от ascii, если вы собираетесь экранировать только эти три немецких алфавита и нет других символов, отличных от ascii, взгляните на str.translate().