У нас есть приложение Spring Boot, работающее на Tomcat, это веб-служба RESTful. Один и тот же файл WAR развернут на 3 экземплярах Tomcat в нашей тестовой среде, а также в производственной среде. Во время теста производительности мы заметили своеобразную проблему с некоторыми серверами. Некоторые серверы перестают отвечать после обработки около 2500 запросов. Проблема возникает на 2 из 3 рабочих серверов и на 1 из 3 тестовых серверов.
На серверах, на которых возникла проблема, при мониторинге JVM мы заметили, что количество загруженных классов продолжает увеличиваться всякий раз, когда мы запускаем тест производительности. Количество загруженных классов увеличивается с 20 тысяч до примерно 2 миллионов. Когда количество классов приближается к 2 миллионам, мониторинг JVM также показывает, что GC занимает слишком много времени, более 40 секунд. Как только он достигнет этой точки, приложение перестанет отвечать. Приложения выдают исключение OutOfMemoryException «Сжатое пространство класса». Если мы продолжим отправлять больше запросов, из журналов приложений мы увидим, что служба все еще получает запросы, но прекращает обработку на полпути.
На других серверах без проблем количество загруженных классов остается на постоянном уровне 20k. И GC тоже нормальный, занимает менее 1 секунды.
Другие тесты и поведение, которые мы заметили -
- Проблема возникает на локальных экземплярах Tomcat, установленных на ПК с Windows. Сервера на линуксе. Проблема возникает как в OpenJDK, так и в Oracle JDK 1.8.
- Мы проверили, что экземпляры Tomcat равны друг другу — мы даже клонировали рабочие серверы и помещали их на неисправные серверы.
- Протестировано с разными политиками GC — PS, CMS и G1, и проблемы возникают на всех трех.
- Протестировано путем запуска приложения в качестве автономного JAR-файла Spring Boot, и проблема исчезла. Количество классов остается постоянным, и GC ведет себя нормально.
- Приложение в настоящее время использует библиотеки JAXB для выполнения маршалинга/демаршаллинга XML, и мы нашли места в коде, где мы можем его оптимизировать. Рефакторинг кода и переход на библиотеку Джексона — еще один вариант.
Мои вопросы -
- Что может вызвать разницу между несколькими серверами, когда мы развертываем один и тот же файл WAR?
- В чем может быть разница между приложением, работающим как WAR, развернутым на Tomcat, по сравнению с запуском в качестве отдельного загрузочного приложения Spring?
- Если мы возьмем дамп кучи JVM или выполним профилирование, на что следует обратить внимание?
