Я пишу программу, связанную с графами, в Scala с Spark . Набор данных имеет 4 миллиона узлов и 4 миллиона ребер (вы можете рассматривать это как дерево), но каждый раз ( Iteration ) я редактирую только его часть, а именно поддерево, укорененное в...

В настоящее время у меня проблема со Spark и чтением файлов bz2. Я использую Spark 1.2.0 (предварительно созданный для Hadoop 2.4, но в настоящее время файлы читаются только локально). Для тестирования есть ~1500 файлов, каждый файл размером около...

В целях отладки я хочу отправить сообщение из задачи искры (работающей в исполнителе) на машину драйвера. В документах утверждается, что spark.driver.host содержит эту информацию, но я не знаю как получить к нему доступ из рабочего (или из...

Мне нужно загрузить CSV-файл из HDFS с помощью Spark в DataFrame . Мне было интересно, есть ли улучшение «производительности» (скорость запроса) от DataFrame, поддерживаемого файлом CSV, по сравнению с одним, поддерживаемым файлом parquet? Обычно...

Я использую искру 2.1 и использую pyscripting Постановка проблемы: есть сценарий, в котором необходимо передать несколько столбцов в качестве входных данных и вернуть один столбец в качестве выходных данных. Ниже приведен мой входной фрейм данных...

Я новичок в Phoenix, HBase и Python и пишу небольшой POC, используя Pyspark, чтобы получить некоторую базовую информацию из HBase DB с помощью Phoenix. Вот мой фрагмент кода. query = 'select count(PK) from A_Model.TableA' jdbc_url =...

У меня есть столбец ORDER_DATE с отметкой времени эпохи в строке. Как я могу преобразовать этот столбец со строкой типа str = "1536309236032" , которая является временем в эпохе, в строку с форматом: 2018-09-07T14:03:56.032Z в Scala? В...

Я создал фрейм данных, как показано import ast from pyspark.sql.functions import udf values = [(u'['2','4','713',10),(u'['12','245']',20),(u'['101','12']',30)] df = sqlContext.createDataFrame(values,['list','A']) df.show()...

Я хочу разделить строку с разделителем (ex:|). Здесь моя проблема заключается в том, что строка содержит escape-символы. Как мне нужно удалить разделитель внутри символа побега. Данные выглядят так:...

Я пытаюсь использовать пакет Cerner Bunsen для обработки FHIR в PySpark на AWS EMR, в частности класс Bundles и его методы. Я создаю сеанс Spark с помощью API Apache Livy, def create_spark_session(master_dns, kind, jars): # 8998 is the port...

Я установил Nagios Core и NCPA на Mac. Реализовано несколько проверок с помощью настраиваемых плагинов, чтобы понять, как его использовать. Я пытаюсь понять следующее: Протокол, который сервер Nagios фактически использует для связи с агентом...

Я вызываю функцию из библиотеки scala, как показано ниже, для преобразования схемы avro в sqlschema. schema = avroschema jvm_gateway = spark_context._gateway.jvm sqlSchema =...