This program validates a dataset (a folder containing geodata files and other documents) according to a schema describing the folder structure and the feature catalog. It outputs a report containing validation errors and warnings, and normalized data ready for database integration.
It has been originally developed for the Géoportail de l'Urbanisme to check urban planning documents against CNIG standards in order to produce a nationwide database.
Ce programme permet de valider et de normaliser les données présentes dans une arborescence de fichiers. Ces données peuvent être :
- Des tables, géographiques ou non, aux formats CSV, GML, GeoPackage, Shapefile (.dbf) ou MapInfo (.tab)
- Des fiches de métadonnées
- Des fichiers PDF
- Des dossiers (principalement pour contrôle de présence)
Le paramétrage s'effectue à l'aide de fichiers JSON décrivant des arborescences de fichiers et des tables.
- Géoportail de l'Urbanisme : Validation des données en fonction des standards CNIG PLU, POS, CC, PSMV, SUP et SCOT en amont de l'aggrégation dans une base nationale.
- Validateur TRI : Validation de la conformité d'un jeu de données géographiques sur les territoires à risque important d'inondation (TRI) vis à vis du standard de données COVADIS du thème "Directive Inondation" version 2.
Le schéma suivant illustre le Principe de fonctionnement du validateur :
- Validation d'une arborescence de fichiers en fonction d'un modèle de document.
- Validation des tables en fonction d'un modèle de table.
- Validation des fiches de métadonnées.
- Production d'un rapport d'erreur au format JSON.
- Production de données normalisées (pour agrégation et diffusion).
- Validation métier à l'aide de plugins (CNIG pour GpU, DGPR pour TRI,...) pour les contrôles qui sont pas formalisés dans le modèle de validation.
Le validateur se présente sous la forme d'un exécutable java (validator-cli.jar) utilisable en ligne de commande. Il n'offre pas d'interface graphique car il a vocation à être utilisé pour la mise en œuvre de services web tel le Géoportail de l'Urbanisme offrant ces interfaces.
Les techniciens peuvent se référer à la documentation utilisation du validateur en ligne de commande.
Les exécutables systèmes ci-après sont requis pour l'exécution du programme :
- java >= 17
- ogr2ogr >= v2.3.0 (>= v3.2 recommandé : le pilote d'entrée est alors imposé selon l'extension des fichiers) : Utilisé pour lire et convertir les données en entrée dans un format pivot avant validation (CSV)
Les dépendances java telle GeoTools sont décrites dans les fichiers pom.xml et intégrées dans l'exécutable JAVA.
Utiliser le validateur :
- Utilisation en ligne de commande (options, variables d'environnement, commandes)
- Image Docker
- Principe de fonctionnement et plugins
- Liste des codes d'erreurs (JSON) et projections supportées (JSON)
- Problématiques particulières : métadonnées (english), encodage et caractères (english), plugin CNIG : champs IDURBA et mots clés des métadonnées
Écrire un modèle de document :
- Guide : écrire un modèle de document
- Référence : modélisation des données et des erreurs
- Exemples de modèles de document
Développer :