Вопросы по теме 'apache-pig'
Как работает PigStorage для S3?
Мне интересно, как PigStorage в Pig хранит данные на S3? Сохраняет ли он выходные данные в HDFS, а затем копирует их? Или сохранить каждый вывод редуктора в локальный каталог каждого редуктора, а затем скопировать их на S3? Я предполагаю, что это...
641 просмотров
schedule
18.11.2023
Ошибка в метаданных: MetaException (сообщение: java.lang.IllegalStateException: невозможно перезаписать причину)
Я создал внешнюю таблицу в улье, и когда я указываю расположение данных для этой таблицы, я получаю следующую ошибку:
FAILED: ошибка в метаданных: MetaException (сообщение: java.lang.IllegalStateException: невозможно перезаписать причину) FAILED:...
538 просмотров
schedule
21.10.2023
Условная генерация Apache Pig foreach
Я пытаюсь реализовать условную генерацию foreach, при которой данные одного из столбцов изменяются в зависимости от входных данных.
Скажем, например, у меня есть эти данные в псевдониме A:
dump A;
(George, Films)
(Martin, Books)
Я хочу...
655 просмотров
schedule
01.01.2024
Фильтрация по условию в apache pig
Я пытаюсь отфильтровать таблицу на основе некоторого условия, я хочу сделать следующее: если wire_on = 'true', я хочу фильтровать как по CUSTOMER_PARTITION_DT, так и по условию страны, иначе просто CUSTOMER_PARTITION_DT. Ниже приведено утверждение,...
464 просмотров
schedule
11.12.2023