Публикации по теме 'hadoop'
Слияние Cloudera и Hortonworks : более пристальный взгляд
Слияние Cloudera и Hortonworks: подробный обзор
Неожиданное слияние?
Должен признаться, что объявление о слиянии на прошлой неделе стало для меня неожиданностью. Это были две компании, раздвигающие границы науки о данных с открытым исходным кодом посредством здоровой конкуренции друг с другом. И всего за неделю до этого на конференции по искусственному интеллекту под Сан-Диего я говорил об относительных различиях в их, казалось бы, идентичных продуктовых линейках. В мире..
Вопросы по теме 'hadoop'
ошибка Hadoop MapReduce
Я сталкиваюсь с некоторой ОШИБКОЙ, когда запускаю хауп на карте, уменьшаю среду в ошибке затмения,
Произошла внутренняя ошибка во время: «Обновить дочерние элементы DFS».
org.eclipse.team.internal.ccvs.ssh2.CVSSSH2Plugin.get...
225 просмотров
schedule
12.11.2023
Ошибка в метаданных: MetaException (сообщение: java.lang.IllegalStateException: невозможно перезаписать причину)
Я создал внешнюю таблицу в улье, и когда я указываю расположение данных для этой таблицы, я получаю следующую ошибку:
FAILED: ошибка в метаданных: MetaException (сообщение: java.lang.IllegalStateException: невозможно перезаписать причину) FAILED:...
538 просмотров
schedule
21.10.2023
Объединение данных Hadoop из двух файлов — как заставить преобразователи читать определенные файлы
Я пытаюсь написать задание Map Reduce для объединения данных в Hadoop. Я чувствую, что я близок, но у меня проблема, не позволяющая карте1 передать карту2.
У меня есть два преобразователя и один редуктор, и я пытаюсь заставить Map1 читать из...
1113 просмотров
schedule
07.11.2023
ошибка при выполнении запроса выбора в улье
Я использую hadoop 1.1.2, hbase 0.94.8 и hive 0.14. Я пытаюсь создать таблицу в hbase с помощью куста и загрузить в нее данные позже, вставив перезапись.
на данный момент мне удалось создать таблицу:
CREATE TABLE hbase_table_emp(id int, name...
1152 просмотров
schedule
01.01.2024
Модульное тестирование пользовательского формата ввода и вывода
Я пытался выяснить, можно ли разработать модульные тесты для пользовательских реализаций формата ввода и вывода. Я нашел этот пример с MRunit: https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial . Похоже, MRUnit годится только для...
413 просмотров
schedule
09.11.2023
Ошибка: java.lang.IllegalArgumentException: метод сравнения нарушает свой общий контракт даже при использовании обходного пути
Я уже потратил два дня, чтобы устранить эту ошибку, даже я пробовал обходной путь, который предлагается в нескольких сообщениях stackoverflow «-Djava.util.Arrays.useLegacyMergeSort=true», но он также не работает.
это подробности моей команды и...
1503 просмотров
schedule
28.10.2023
Несоответствие вычисления функции unix_timestamp Hive
Я пытаюсь написать запрос Hive, который добавит 6 часов к значению метки времени, а затем сравнит его с другими метками времени.
Метод, который я использовал, - это преобразовать метку времени с помощью функции unix_timestamp() , а затем добавить...
1998 просмотров
schedule
26.12.2023
Условная генерация Apache Pig foreach
Я пытаюсь реализовать условную генерацию foreach, при которой данные одного из столбцов изменяются в зависимости от входных данных.
Скажем, например, у меня есть эти данные в псевдониме A:
dump A;
(George, Films)
(Martin, Books)
Я хочу...
655 просмотров
schedule
01.01.2024
Ошибка Sqoop --split-by при импорте, несмотря на наличие первичного ключа в таблице
Таблица MySQL с dept_id в качестве первичного ключа
|dept_id | dept_name |
| 2 | Fitness
| 3 | Footwear
| 4 | Apparel
| 5 | Golf
| 6 | Outdoors
| 7 | Fan Shop
Запрос Sqoop
sqoop import \
-m 2 \
--connect...
5563 просмотров
schedule
12.11.2023
Процессы NodeManager и ResourceManager не запускаются
Я настраиваю многоузловой кластер, и мои процессы NodeManager и ResourceManager по какой-то причине не запускаются, и я не могу понять, почему. Когда я запускаю команду jps , я вижу только процессы NameNode , SecondaryNameNode и JPS . В...
2937 просмотров
schedule
19.11.2023
