Importer des données

Import de fichiers « txt » dans ddt

dimanche 25 juin 2006

La base de données pédagogiques « ddt » du SEM est utilisée pour créer les adresses électroniques dont tous les enseignants genevois seront progressivement dotés, conformément à la décision du département de l’instruction publique du 11 mai 2006. Cette base reçoit les informations nécessaires à cette opération par import de fichiers. Cet article décrit le développement informatique réalisé et la marche à suivre pour importer ces fichiers dans la base de données « ddt ».

Introduction

La base de données « ddt » reçoit périodiquement des informations sur les personnes travaillant au DIP par import de fichiers de type « txt ». Ces informations, qui sont utilisées pour créer les adresses électroniques, doivent être importées dans la table « MISES A JOUR » de « ddt ».

Pourquoi un développement informatique a-t-il été nécessaire ?

Les possibilités d’import font partie des outils existants dans toutes les bases de données. Mais l’import de données nécessite l’existence d’une structure dans les fichiers à importer, structure généralement définie par des séparateurs de champs et d’enregistrements qui peuvent être de taille fixe ou variable. Or les fichiers que nous recevons ne comportent ni séparateur d’enregistrements, ni séparateur de champs. Ils sont composés de lignes de 80 caractères, les premiers caractères de la ligne donnant une information sur son contenu, et les champs sont de taille fixe. Le nombre de lignes par enregistrement n’est pas constant (certains champs peuvent être absents comme « n° de téléphone », ou « adresse » par exemple. Les outils d’import existants ne permettent pas d’importer ces fichiers et ils devaient être « traités » par des scripts Pearl pour être importés.

Qu’apporte ce développement et comment l’import s’effectue-t-il ?

Les fichiers peuvent désormais être importés dans « ddt » sans traitement préalable. Lors d’un import, les informations correspondant à chaque enregistrement figurant dans le fichier sont lues puis recherchées dans la table « MISES A JOUR » de « ddt ». Si elles ne s’y trouvent pas, un nouvel enregistrement est créé, sinon, le contenu de chaque champ est comparé aux informations lues, et au besoin mis à jour. Au terme de l’import, un message fournit plusieurs informations :

– type du fichier importé (élèves ou enseignants)
– durée du traitement
– nombre d’enregistrements importés
– nombre d’enregistrements modifiés.

L’utilisateur voit ensuite apparaître à l’écran la liste des enregistrements créés et modifiés. Une recherche parmi cette sélection permet d’isoler les enregistrements nouvellement créés ou ceux qui ont été modifiés.

Risques d’erreur et inconvénients

Si l’utilisateur se trompe de fichier (en sélectionnant par exemple un fichier « élèves » alors qu’il a demandé à importer des enseignants) ou si le fichier n’a pas la bonne structure, une alerte l’avertit. Les méthodes d’import ont été optimisées pour réduire le temps de traitement (il faut bien sûr exécuter le programme dans sa version compilée pour tirer profit de cette optimisation). Ces méthodes supposent que toutes les structures possibles sont présentes dans les fichiers que nous avons reçu depuis janvier 2005. Si de nouvelles structures devaient apparaître (champs ou lignes supplémentaires pour certains enregistrements), ces méthodes devraient être modifiées. Il serait possible d’éviter ces désagréments et de rendre les méthodes capables d’importer des fichiers structurés différemment si ces derniers comportaient des séparateurs d’enregistrements et de champs.

N. B. L’import sans séparateur de champ reste possible avec des champs de longueur fixe, mais l’information importée doit alors être débarrassée des blancs finals. C’est la fonction eliminerBlancs qui se charge de ce travail.

Tests effectués

Les méthodes d’import des fichiers « élèves » et « enseignants » ont été testées avec la totalité des fichiers reçus pour l’année 2005 et avec quelques fichiers de l’année 2006. Le code source d’une de ces méthodes est donné dans le cadre ci-dessous.

Code source
– Import d’élèves

<code class="spip_code spip_code_inline" dir="ltr">Méthode «ImportEleves» permettant d'importer les fichiers reçus sans avoir à leur faire subir aucun traitement avant l'import</code> 12-25 juin 2006
$Doc:=Ouvrir document("")  <code class="spip_code spip_code_inline" dir="ltr">Ouverture d'un document de type Texte 
Si (OK=1)</code> Si le document est ouvert... 
$nbligne:=0
$new:=0
$nbmaj:=0
$totalDebut:=Enregistrements dans table([MISES A JOUR])
$debutTraitement:=Heure courante
$newetab:=0
$nbmaj:=0
$fonction:="élève"
RECEVOIR PAQUET($Doc;$test;81)  <code class="spip_code spip_code_inline" dir="ltr">test de la première ligne
Si (Position(&quot;EXTRACTION&quot;;Sous chaine($test;1;81))=0)
CHANGER POSITION DANS DOCUMENT($Doc;-80;1)</code>si la 1e ligne était la bonne, il faut reculer
Fin de si 
RECEVOIR PAQUET($Doc;$ref;8)  <code class="spip_code spip_code_inline" dir="ltr">référence DIP
Si (Sous chaine($ref;8;1)=&quot;N&quot;)
ALERTE(&quot;Ce fichier ne semble pas être un fichier «élèves». Vérifiez sa structure ou votre&quot;+&quot; choix svp !&quot;)
Sinon 
CHANGER POSITION DANS DOCUMENT($Doc;-8;3)
Repeter</code> Boucle jusqu'à ce qu'il n'y ait plus de données 
$modifie:=Faux
MESSAGE("Import d'élèves en cours, veuillez patienter svp !")
RECEVOIR PAQUET($Doc;$ref;8)  <code class="spip_code spip_code_inline" dir="ltr">référence DIP
CHANGER POSITION DANS DOCUMENT($Doc;1;3)
RECEVOIR PAQUET($Doc;$nom;25)</code> nom
RECEVOIR PAQUET($Doc;$prenom;15)  <code class="spip_code spip_code_inline" dir="ltr">prénom
CHANGER POSITION DANS DOCUMENT($Doc;3;3)
RECEVOIR PAQUET($Doc;$datenaissance;6)</code> date de naissance
$datenaissance:=Sous chaine($datenaissance;5;2)+Sous chaine($datenaissance;3;2)+Sous chaine($datenaissance;1;2)
CHANGER POSITION DANS DOCUMENT($Doc;31;3)
RECEVOIR PAQUET($Doc;$testAdresse;1)  <code class="spip_code spip_code_inline" dir="ltr">test pour voir si l'adresse existe
Si ($testAdresse=&quot;H&quot;)
CHANGER POSITION DANS DOCUMENT($Doc;41;3)
RECEVOIR PAQUET($Doc;$adresse;30)</code> adresse
CHANGER POSITION DANS DOCUMENT($Doc;10;3)
RECEVOIR PAQUET($Doc;$NPVille;25)  <code class="spip_code spip_code_inline" dir="ltr">NP+localité
Sinon 
$adresse:=&quot;&quot;
RECEVOIR PAQUET($Doc;$NPVille;25)</code> NP+localité
Fin de si 
Au cas ou 
: (Position(" ";$NPVille)=5)
$nopostal:=Sous chaine($NPVille;1;4)  <code class="spip_code spip_code_inline" dir="ltr">NP
$ville:=Sous chaine($NPVille;6;Longueur($NPVille))</code> Localité
Sinon 
$nopostal:=Sous chaine($NPVille;1;Position(" ";$NPVille)-1)
$ville:=Sous chaine($NPVille;Position(" ";$NPVille)+1;Longueur($NPVille)-Position(" ";$NPVille)-1)
Fin de cas 
RECEVOIR PAQUET($Doc;$telephone;40)  <code class="spip_code spip_code_inline" dir="ltr">n° tél
CHANGER POSITION DANS DOCUMENT($Doc;36;3)
RECEVOIR PAQUET($Doc;$classe;33)</code> classe
CHANGER POSITION DANS DOCUMENT($Doc;70;3)
RECEVOIR PAQUET($Doc;$etablissement;20)  <code class="spip_code spip_code_inline" dir="ltr">établissement
CHANGER POSITION DANS DOCUMENT($Doc;10;3)
Si (OK=1)</code> Si ce n'est pas la fin du document... 
CHERCHER([MISES A JOUR];[MISES A JOUR]réf DIP=$ref)
Si (Enregistrements trouves([MISES A JOUR])=0)
CREER ENREGISTREMENT([MISES A JOUR])  <code class="spip_code spip_code_inline" dir="ltr">Créer un nouvel enregistrement 
[MISES A JOUR]réf DIP:=$ref</code> Sauvegarder la référence DIP
[MISES A JOUR]prénom:=eliminerBlancs ($prenom)  <code class="spip_code spip_code_inline" dir="ltr">Sauvegarder le prénom. La fonction EliminerBlancs enlève les blancs à la fin du champ
[MISES A JOUR]nom:=eliminerBlancs ($nom)</code> Sauvegarder le prénom
[MISES A JOUR]date naissance:=Date(Inserer chaine(Inserer chaine($datenaissance;".";3);".";6))  <code class="spip_code spip_code_inline" dir="ltr">Sauvegarder la date de naissance
[MISES A JOUR]tél priv:=eliminerBlancs ($telephone)
[MISES A JOUR]sigle administratif:=eliminerBlancs ($etablissement)
[MISES A JOUR]adresse:=eliminerBlancs ($adresse)
[MISES A JOUR]no postal:=eliminerBlancs ($nopostal)
[MISES A JOUR]localité:=eliminerBlancs ($ville)
[MISES A JOUR]classe:=eliminerBlancs ($classe)
[MISES A JOUR]fonction:=$fonction
[MISES A JOUR]date:=Date du jour
[MISES A JOUR]heure:=Heure courante
$new:=$new+1
Sinon 
Si ([MISES A JOUR]date naissance#Date(Inserer chaine(Inserer chaine($datenaissance;&quot;.&quot;;3);&quot;.&quot;;6)))
[MISES A JOUR]date naissance:=Date(Inserer chaine(Inserer chaine($datenaissance;&quot;.&quot;;3);&quot;.&quot;;6))
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]nom#eliminerBlancs ($nom))
[MISES A JOUR]nom:=eliminerBlancs ($nom)
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]prénom#eliminerBlancs ($prenom))
[MISES A JOUR]prénom:=eliminerBlancs ($prenom)
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]adresse#eliminerBlancs ($adresse))
[MISES A JOUR]adresse:=eliminerBlancs ($adresse)
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]no postal#eliminerBlancs ($nopostal))
[MISES A JOUR]no postal:=eliminerBlancs ($nopostal)
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]localité#eliminerBlancs ($ville))
[MISES A JOUR]localité:=eliminerBlancs ($ville)
$modifie:=Vrai
Fin de si 
$temp:=eliminerBlancs ($telephone)
Si ([MISES A JOUR]tél priv#eliminerBlancs ($telephone))
[MISES A JOUR]tél priv:=eliminerBlancs ($telephone)
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]sigle administratif#eliminerBlancs ($etablissement))
[MISES A JOUR]sigle administratif:=eliminerBlancs ($etablissement)
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]classe#eliminerBlancs ($classe))
[MISES A JOUR]classe:=eliminerBlancs ($classe)
$modifie:=Vrai
Fin de si 
Si ([MISES A JOUR]fonction#eliminerBlancs ($fonction))
[MISES A JOUR]fonction:=eliminerBlancs ($fonction)
$modifie:=Vrai
Fin de si 
Si ($modifie=Vrai)
$nbmaj:=$nbmaj+1
[MISES A JOUR]date corr:=Date du jour
[MISES A JOUR]heure corr:=Heure courante
[MISES A JOUR]corrigé:=Vrai
Fin de si 
Fin de si 
STOCKER ENREGISTREMENT([MISES A JOUR])</code> Sauvegarder l'enregistrement 
Si (CreerSigleSiInexistant ($etablissement)=1)
$newetab:=$newetab+1
Fin de si 
Fin de si 
Jusque (OK=0)
Fin de si 
FERMER DOCUMENT($Doc)  <code class="spip_code spip_code_inline" dir="ltr">Fermeture du document 
$totalFin:=Enregistrements dans table([MISES A JOUR])
Si (($totalFin-$totalDebut)&gt;1)
$nb:=&quot; enregistrements. &quot;
Sinon 
$nb:=&quot; enregistrement. &quot;
Fin de si 
Si ($nbmaj&gt;1)
$mod:=&quot; enregistrements modifiés&quot;
Sinon 
$mod:=&quot; enregistrement modifié&quot;
Fin de si 
Si ($newetab&gt;1)
$etab:=&quot; nouveaux établissements&quot;
Sinon 
$etab:=&quot; nouvel établissement&quot;
Fin de si 
$info:=&quot;ELEVES. Traitement de &quot;+Chaine($debutTraitement)+&quot; à &quot;+Chaine(Heure courante)+Caractere(Retour chariot )
$info:=$info+&quot;Nb enregistrements avant : &quot;+Chaine($totalDebut)+&quot; après : &quot;+Chaine($totalFin)+Caractere(Retour chariot )
$info:=$info+&quot;Vous avez importé &quot;+Chaine($totalFin-$totalDebut)+$nb+Caractere(Retour chariot )
$info:=$info+&quot;Il y a eu &quot;+Chaine($nbmaj)+$mod+Caractere(Retour chariot )
$info:=$info+&quot;et &quot;+Chaine($newetab)+$etab+Caractere(Retour chariot )
ALERTE($info)
Au cas ou 
: ($nbmaj&gt;0) &amp; ($totalFin-$totalDebut=0)</code>il n'y a que des modifications
CHERCHER([MISES A JOUR];[MISES A JOUR]fonction="élève";*)
CHERCHER([MISES A JOUR]; & [MISES A JOUR]date corr=Date du jour;*)
CHERCHER([MISES A JOUR]; & [MISES A JOUR]heure corr>=$debutTraitement)
: ($nbmaj=0) & ($totalFin-$totalDebut>0)  <code class="spip_code spip_code_inline" dir="ltr">il n'y a que des créations
CHERCHER([MISES A JOUR];[MISES A JOUR]fonction=&quot;élève&quot;;*)
CHERCHER([MISES A JOUR]; &amp; [MISES A JOUR]date=Date du jour;*)
CHERCHER([MISES A JOUR]; &amp; [MISES A JOUR]heure&gt;=$debutTraitement)
: ($nbmaj&gt;0) &amp; ($totalFin-$totalDebut&gt;0)</code>il y a des modifications et des créations
CHERCHER([MISES A JOUR];[MISES A JOUR]fonction="élève";*)
CHERCHER([MISES A JOUR]; & [MISES A JOUR]date corr=Date du jour;*)
CHERCHER([MISES A JOUR]; & [MISES A JOUR]heure corr>=$debutTraitement)
NOMMER ENSEMBLE("ens1")
CHERCHER([MISES A JOUR];[MISES A JOUR]fonction="élève";*)
CHERCHER([MISES A JOUR]; & [MISES A JOUR]date=Date du jour;*)
CHERCHER([MISES A JOUR]; & [MISES A JOUR]heure>=$debutTraitement)
NOMMER ENSEMBLE("ens2")
REUNION("ens1";"ens2";"sélection")
UTILISER ENSEMBLE("sélection")
: ($nbmaj=0) & ($totalFin-$totalDebut=0)  `il n'y a eu aucune modificatioin
REDUIRE SELECTION([MISES A JOUR];0)
Fin de cas 
tot corr:=Enregistrements dans table([MISES A JOUR])
sél corr:=Enregistrements trouves([MISES A JOUR])
Fin de si

Importer des données

Portfolio