Vous pouvez importer des données de diverses sources dans Ultipa Graph via le module Loader. Les sources de données prises en charge incluent CSV, JSON, JSONL, PostgreSQL, SQL Server, MySQL, BigQuery, Neo4j et Kafka.

Loader et Tâche

Dans ce module, vous pouvez créer des loaders, chacun contenant plusieurs tâches d'importation. Les tâches au sein d'un loader peuvent être exécutées individuellement ou simultanément (soit en série, soit en parallèle).

Créer un Loader

Cliquer sur le bouton New Loader sur la page principale de Loader créera un loader avec le nom par défaut My Loader.

Sur la page de configuration du loader, vous pouvez renommer le loader et modifier sa description en cliquant sur l'icône située à côté du nom du loader.

Créer une Tâche

Pour ajouter une nouvelle tâche sur la page de configuration du loader, cliquez sur le bouton New Task et choisissez le type de source de données pour la tâche. Vous pouvez ajouter plusieurs tâches dans un loader.

Vous pouvez définir le nom de la tâche en double-cliquant sur la zone correspondante sur la carte de tâche à gauche. Sur la droite se trouvent les configurations de la tâche. Veuillez vous référer à la Annexe : Configurations de Tâches pour plus de détails.

Importation

Importation de Tâche Unique

Cliquer sur le bouton Import dans une certaine tâche exécutera immédiatement la tâche.

Exécuter le Loader

Cliquer sur le bouton Run au-dessus de la liste des tâches déclenchera l'importation pour toutes les tâches dans le loader, en respectant l'ordre désigné et le mode de traitement :

• Les tâches sont exécutées de haut en bas. Vous pouvez réorganiser les tâches en faisant glisser et en déposant les cartes de tâche.
• Utilisez le tag S/P sur chaque carte de tâche pour basculer entre les modes de traitement Serial (une après l'autre ; par défaut) et Parallel (simultané).
• Les tâches P adjacentes ainsi que la tâche S précédant immédiatement la première tâche P forment un groupe parallèle, importé simultanément.

Des erreurs peuvent survenir lorsque vous importez des nodes et des edges simultanément, l'existence de nodes terminaux étant nécessaire pour la création des edges. Alternativement, envisagez d'importer les nodes avant les edges, ou assurez-vous de configurer correctement l'option Create Node If Not Exist et le mode d'importation Insert/Upsert/Overwrite.

Log d'Importation

Typiquement, l'indicateur SPEED et la barre de process deviennent visibles sur la carte de tâche une fois l'importation commencée. Une importation réussie à 100 % est signalée par une barre de progression verte complète. Cependant, si des erreurs surviennent pendant la tâche, une partie de la barre de process devient jaune, reflétant le pourcentage de lignes de données échouées.

En haut du panneau de configuration à droite, le dernier log d'importation est affiché. Ici, vous pouvez télécharger les fichiers Failed Rows et Logs.

Importer/Exporter un Loader

Vous pouvez exporter n'importe quel loader en tant que fichier ZIP depuis la carte de loader. L'option d'importer un loader est disponible en haut à droite de la page principale de Loader.

Annexe : Configurations de Tâches

Paramètres

Les configurations des tâches varient pour différentes sources de données. Cependant, la partie Settings est commune à toutes.

Tout nouveau graph, schema, ou property est signalé par un marqueur d'avertissement, indiquant qu'ils seront créés pendant le process d'importation.

CSV

Fichier

Voici un exemple de fichier CSV pour des nodes @account, incluant un en-tête avec les noms et types des properties :

_id:_id,username:string,brithYear:int32
U001,risotto4cato,1978
U002,jibber-jabber,1989
U003,LondonEYE,1982

Voici un exemple de fichier CSV sans en-tête pour des edges @follow :

103,risotto4cato,jibber-jabber,1634962465
102,LondonEYE,jibber-jabber,1634962587

Mapping

Après avoir téléchargé ou sélectionné le fichier, la section de Mapping devient visible :

JSON, JSONL

Fichier

Voici un exemple de fichier JSON pour des nodes @user :

[{
	"_uuid": 1,
	"_id": "U001",
	"level": 2,
	"registeredOn": "2018-12-1 10:20:23",
	"tag": null
}, {
	"_uuid": 2,
	"_id": "U002",
	"level": 3,
	"registeredOn": "2018-12-1 12:45:12",
	"tag": "cloud"
}]

Voici un exemple de fichier JSONL pour des nodes @user :

{"_uuid": 1, "_id": "U001", "level": 2, "registeredOn": "2018-12-1 10:20:23", "tag": null}
{"_uuid": 2, "_id": "U002", "level": 3, "registeredOn": "2018-12-1 12:45:12", "tag": "cloud"
}

Mapping

Après avoir téléchargé ou sélectionné le fichier, la section de Mapping devient visible :

PostgreSQL, SQL Server, MySQL

Base de Données Source

SQL

Écrivez la requête SQL pour récupérer les données de la base de données, puis cliquez sur Preview pour mapper les résultats aux properties des nodes ou des edges.

Voici un exemple de SQL pour retourner les colonnes name et registeredOn de la table users :

SELECT name, registeredOn FROM users;

Mapping

Une fois le SQL retourné, la section de Mapping devient visible :

BigQuery

Base de Données Source

SQL

Écrivez la requête SQL pour récupérer les données depuis BigQuery, puis cliquez sur Preview pour mapper les résultats aux properties des nodes ou des edges.

Voici un exemple de SQL pour retourner toutes les colonnes de la table users :

SELECT * FROM users;

Mapping

Une fois le SQL retourné, la section de Mapping devient visible :

Neo4j

Neo4j

Cypher

Écrivez la requête Cypher pour récupérer les nodes ou edges depuis Neo4j, puis cliquez sur Preview pour mapper les résultats aux properties des nodes ou des edges.

Voici un exemple de Cypher pour retourner tous les nodes avec le label user :

MATCH (n:user)

Mapping

Une fois que le Cypher retourne des résultats, la section de Mapping devient visible :

Kafka

Kafka

Mapping

Une fois qu'il y a des messages retournés après avoir cliqué sur Preview, la section de Mapping devient visible :

La tâche Kafka (consommateur), une fois démarrée, continuera à fonctionner pour importer les messages nouvellement publiés. Vous devez arrêter manuellement la tâche selon les besoins.