Смешанная точность для обучения нейронных сетей может сократить время обучения и требования к памяти, не влияя на производительность модели. По мере развития методологий глубокого обучения все соглашались, что увеличение размера нейронной сети улучшает производительность. Однако это наносит ущерб требованиям к памяти и вычислениям, которые также необходимо увеличить для обучения модели. Это можно увидеть, сравнив производительность предварительно обученной языковой модели Google,..