Chapitre 1: Les données structurées

Les formats de données

En informatique les données sont codées sous forme binaire(des 0 et des 1).

La façon de coder l’information dépend du type de fichier que l’on reconnait grâce à son extension.

La plupart des formats ajoutent des données pour décrire le fichier. Ce sont les métadonnées.

Qu’est-ce qu’une donnée personnelle ?

Donnée personnelle

Une donnée personnelle correspond à toute information qui permet d’identifier directement ou indirectement une personne physique.

CNIL

Descripteurs et valeurs d’un tableau de données

Dans un jeu de données, on distingue:

• le descripteur par exemple artiste qui est un champ commun à tout le jeu de données.
• de sa valeur Adele, Led Zeppelin… qui est propre à chaque ligne des données.

Les formats de données structurées

Les données peuvent être stockées sous divers formats adaptés à leurs usages.

opendata.nicecotedazur.org

• Les formats de tableur spécifiques aux logiciels, par exemple:

  • XLS: tableur Microsoft Excel.
  • ODS: tableur LibreOffice sous licence libre.

• Les formats textuels adaptés aux machines et indépendants du logiciel de traitement.

  • CSV: données séparées par des virgules Coma Separated Values

    album,artiste,année,ventes
    Thriller,Michael Jackson,1982,33M
    Led Zeppelin IV,Led Zeppelin,1971,23M
    Legend,Bob Marley & the Wailers,1984,15M
    25,Adele,2015,10M
    

  • JSON: notation objet issue de javascript.

    {"album":"Thriller","artiste":"Michael Jackson","année":1982,"ventes":"33M"}
    {"album":"Led Zeppelin IV","artiste":"Led Zeppelin","année":1971,"ventes":"23M"}
    {"album":"Legend","artiste":"Bob Marley & the Wailers","année":1984,"ventes":"15M"}
    {"album":"25","artiste":"Adele","année":2015,"ventes":"10M"}
    

  • XML: format de données avec balises eXtensible Markup Langage

    <?xml version="1.0" encoding="utf-8"?>
    <data>
      <row>
        <album>Thriller</album>
        <artiste>Michael Jackson</artiste>
        <année>1982</année>
        <ventes>33M</ventes>
      </row>
      <row>
        <album>Led Zeppelin IV</album>
        <artiste>Led Zeppelin</artiste>
        <année>1971</année>
        <ventes>23M</ventes>
      </row>
      <row>
        <album>Legend</album>
        <artiste>Bob Marley &amp; the Wailers</artiste>
        <année>1984</année>
        <ventes>15M</ventes>
      </row>
      <row>
        <album>25</album>
        <artiste>Adele</artiste>
        <année>2015</année>
        <ventes>10M</ventes>
      </row>
    </data>
    

Les données ouvertes

À l’inverse des données collectées par certaines entreprises privées pour mieux connaitre leurs utilisateurs ou éventuellement faire un commerce de ces données, les données ouvertes sont librement accessibles grâce à une licence ouverte garantissant leur libre accès et leur réutilisation par tous, sans restriction technique, juridique ou financière.

Données ouvertes

Les données ouvertes ou open data sont des données numériques dont l’accès et l’usage sont laissés libres aux usagers.

Informatique en nuage: le cloud

Informatique en nuage

Réseau d’ordinateurs permettant à leurs utilisateurs de partager et utiliser à distance diverses ressources informatiques comme des fichiers, des logiciels, des capacités de calcul et de la mémoire. Wiktionnaire

Les dictionnaires en Python

En python, une entrée peut-être représentée par un dictionnaire ou les couples "descripteur": valeur sont séparés par des virgules et entourées d’accolades.

match = {'ligue': 'L1',
         'saison': '2002-2003',
         'jour': '1',
         'date': '2002-08-03 20:00:00+02:00',
         'lieu': 'Nice',
         'equipe_domicile': 'Nice',
         'score_domicile': '1',
         'equipe_exterieur': 'Le Havre',
         'score_exterieur': '2'}

Chaque valeur peut-être accédée grâce à son descripteur (ou clé):

print(match["lieu"]) # affiche "Nice"

Exploitation d’un fichier csv en Python

Lorsqu’on lit un fichier csv en Python, chaque ligne du fichier est automatiquement converti en dictionnaire.

Voici par exemple comment afficher toutes les lignes d’un fichier appelé data.csv.

# import du module csv de Python
import csv

# Lecture de chaque ligne sous forme de dictionnaire
with open('data.csv') as csv_file:
    reader = csv.DictReader(csv_file)
    for ligne in reader:
        # affiche le dictionnaire complet
        print(ligne)
        # ou on affiche qu'une valeur par ligne
        # print(ligne["descripteur"])

Voici par exemple la sortie obtenue avec le fichier des musées de Nice:

{"Type d'établissement": 'MUSEE', 'Identité': "MUSÉE D'ART MODERNE ET D'ART CONTEMPORAIN MAMAC", 'Adresse': 'Place Yves Klein 06300 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': 'MUSÉE MATISSE', 'Adresse': '164 Avenue des Arènes de Cimiez, 06000 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': 'PALAIS LASCARIS', 'Adresse': '15 rue Droite            06300 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': "MUSEUM D'HISTOIRE NATURELLE", 'Adresse': '60 bd Risso           06300 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': "MUSEE D'ARCHEOLOGIE DE NICE CIMIEZ", 'Adresse': '160, avenue des Arènes de Cimiez 06000 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': "MUSEE D'ARCHEOLOGIE DE NICE TERRA AMATA", 'Adresse': '25 bd Carnot\n06300 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': 'MUSÉE DES BEAUX-ARTS JULES CHERET', 'Adresse': '33 av des Baumettes    06000 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': "MUSÉE INTERNATIONAL D'ART NAÏF ANATOLE JAKOVSKY", 'Adresse': 'Château Sainte-Hélène 23, avenue de Fabron 06200 NICE'}
{"Type d'établissement": 'MUSEE', 'Identité': 'MUSÉE DE LA PHOTOGRAPHIE CHARLES NEGRE', 'Adresse': '1 Place Pierre Gautier 06300 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': 'VILLA MASSÉNA', 'Adresse': '65 rue de France   06000 Nice'}
{"Type d'établissement": 'MUSEE', 'Identité': 'PRIEURE DU VIEUX LOGIS', 'Adresse': '59 Avenue de Saint-Barthélémy, 06100 Nice'}
{"Type d'établissement": 'GALERIE ', 'Identité': 'GALERIE DE LA MARINE', 'Adresse': '59 quai des Etats-Unis  06300 Nice'}
{"Type d'établissement": 'GALERIE ', 'Identité': 'GALERIE DES PONCHETTES', 'Adresse': '77 Quai des États-Unis, 06300 Nice'}
{"Type d'établissement": '', 'Identité': 'MONASTERE DES FRANCISCAINS', 'Adresse': 'Place du Monastère - 06000 Nice'}