Вопросы по теме 'apache-pig'

Как работает PigStorage для S3?
Мне интересно, как PigStorage в Pig хранит данные на S3? Сохраняет ли он выходные данные в HDFS, а затем копирует их? Или сохранить каждый вывод редуктора в локальный каталог каждого редуктора, а затем скопировать их на S3? Я предполагаю, что это...
641 просмотров
schedule 18.11.2023

Ошибка в метаданных: MetaException (сообщение: java.lang.IllegalStateException: невозможно перезаписать причину)
Я создал внешнюю таблицу в улье, и когда я указываю расположение данных для этой таблицы, я получаю следующую ошибку: FAILED: ошибка в метаданных: MetaException (сообщение: java.lang.IllegalStateException: невозможно перезаписать причину) FAILED:...
538 просмотров
schedule 21.10.2023

Условная генерация Apache Pig foreach
Я пытаюсь реализовать условную генерацию foreach, при которой данные одного из столбцов изменяются в зависимости от входных данных. Скажем, например, у меня есть эти данные в псевдониме A: dump A; (George, Films) (Martin, Books) Я хочу...
655 просмотров
schedule 01.01.2024

Фильтрация по условию в apache pig
Я пытаюсь отфильтровать таблицу на основе некоторого условия, я хочу сделать следующее: если wire_on = 'true', я хочу фильтровать как по CUSTOMER_PARTITION_DT, так и по условию страны, иначе просто CUSTOMER_PARTITION_DT. Ниже приведено утверждение,...
464 просмотров
schedule 11.12.2023