Наша система запускает импорт CSV-файла BQ (~ 8 МБ) из CS каждые 10 минут. Но сегодня по крайней мере 4 раза произошла ошибка: «Не найдено: файл хранилища Google ...». Я дважды проверил файл на CS и скачал его без проблем. Я попытался (повторно) запустить импорт BQ (job_610b149c0d9041b7a3145ee245b80653), снова получил сообщение «не найдено...». Все остальные импорты (их сотни) в порядке.
Мы используем GAE (java) для размещения CSV-файлов в CS, а затем запускаем задания на импорт (GAE -> CS -> BQ). В целом система работает нормально, но не очень надежно. Итак, борюсь с пробелами (отсутствующими данными) или иногда с дублированием чуть ли не каждый день. Существуют ли другие способы (передовой опыт) импорта «постоянного потока» данных в BQ? Потоковое?
Когда у нас есть данные в таблице BQ, все становится намного проще. BigQuery — действительно отличный продукт! Спасибо, саша
