Flink Gelly обновляет график во время вычислений

Я новичок в Fink and Gelly. У нас есть требование выполнять вычисления графа, в то время как сам граф постоянно меняется из-за добавочных обновлений (часто). Поскольку график настолько огромен, мы провели небольшое исследование Spark с помощью TinkerPop. Но проблема с этим подходом заключается в том, что RDD является неизменяемым, что делает добавочные обновления на графе сложными в обработке (IndexRDD не поддерживается в течение длительного времени, поэтому мы не хотим идти в этом направлении). Это заставляет нас думать о Флинке и Гелли. Кто-нибудь из экспертов может помочь мне ответить на следующие вопросы: 1. Gelly/Flink изначально может обрабатывать добавочные обновления, верно? Я имею в виду, что обход графа -> мутация графа -> обход графа не требует дополнительных усилий, таких как искра для перезагрузки всего RDD, верно? Но если да, то как поддерживается согласованность данных во Flink? 2. Что произойдет, если я обновлю граф (например, добавлю ребро, изменю значение вершины) во время обработки графа?

Большое спасибо


person wding109    schedule 04.10.2018    source источник
comment
У меня тот же основной вопрос... Что вы в итоге выяснили?   -  person FullTimeCoderPartTimeSysAdmin    schedule 31.03.2019


Ответы (1)


Существует проект github для потоковой передачи графов.

person Eric    schedule 28.04.2019