Bretagne Vivante Ornithologieao35.free.fr/pub/VisioNature/VisioNature2013_02_V2.pdfImporter dans un...

©2013 Marc Gauthier CC-BY-NC-SA

Bretagne Vivante Ornithologie

Le Grébion spécial VisioNature 2013

Bulletin de liaison du groupe ornithologique 35

1

Ce numéro spécial du Grébion est consacré à l'outil VisioNature qui anime le site http://www.faune-bretagne.org/. L'objectif de ce numéro est de fournir quelques bases pour utiliser les données VisioNature dans différents outils.

Sommaire

Mes données........................................................................................................................................................................... 2

Les possibilités d'export ...................................................................................................................................................... 2

Les outils de traitement ...................................................................................................................................................... 2

Importer dans un outil ........................................................................................................................................................ 2

Consulter ................................................................................................................................................................................. 3

Mes données....................................................................................................................................................................... 3

Exporter .............................................................................................................................................................................. 3

Importer .................................................................................................................................................................................. 4

Excel 2007 ........................................................................................................................................................................... 4

Google Drive - fichier txt ..................................................................................................................................................... 7

Google Drive - fichier xlsx ................................................................................................................................................. 10

Libre Office 4.1 .................................................................................................................................................................. 12

QGIS .................................................................................................................................................................................. 14

Spatialite ........................................................................................................................................................................... 17

Postgis ............................................................................................................................................................................... 18

R ........................................................................................................................................................................................ 19

Les données .......................................................................................................................................................................... 21

Le Grébion spécial VisioNature 2013 n°2

2

Mes données

Les possibilités d'export

VisioNature propose plusieurs formats d'export : - : texte tabulé

- : Excel 97-2003

- : Excel 2007

- : XML

- : KML Les 4 premiers formats sont utilisables par des outils type tableur alors que le dernier (KML) vise la cartographie web (Google Earth).

Les outils de traitement

Excel QGIS R Spatialite POSTGIS

type tableur SIG intégré logiciel de statistiques

base de données spatiale

base de données spatiale

système Windows, Mac Windows, Mac, Linux

Windows, Mac, Linux

Windows, Linux Windows, Linux

installation simple simple avancé avancé expert

interface graphique graphique ligne ligne ligne

statistiques avancé simple expert simple simple

spatial non simple à expert expert avancé expert

cartographie non simple à avancé simple à expert simpliste simpliste

Le ticket d'entrée sur la majorité des outils est élevé et nécessite une pratique régulière.

Importer dans un outil

Le format Excel 2007 est à privilégier pour une utilisation avec les outils Microsoft (Excel, Access). Pour les outils type QGIS, R, Spatialite, Postgis le format tabulé est préférable. Ce format présente quelques particularités : encodage iso-8859-1, séparateur tabulation, utilisation des quote et double-quote dans les champs. Le format xml ne comporte pas certains champs : commentaires ...


3

Consulter

Mes données

La première étape consiste à cliquer sur Consulter/Toutes mes données

...

Exporter

Le choix crucial:

- : texte tabulé

- : Excel

- : Excel

- : XML

- : KML

...


4

Importer

Excel 2007

La première étape consiste à ouvrir le fichier, puis à se déplacer sur le répertoire contenant le fichier

...

Puis à choisir le bon type de fichier

...

Puis à choisir le bon type de fichier, sélectionner le fichier


5

Il faut préciser une série d'options

...

...

Et terminer

...


6

Et les données s'affichent


7

Google Drive - fichier txt

Après s'être connecté, la première étape consiste à créer une feuille de calcul.

...


...

Puis dans l'onglet Fichier, choisir Importer


8

Sélectionner le fichier

...

Et la magie doit opérer après quelques instants !


9

Et avec un peu beaucoup de patience

...


10

Google Drive - fichier xlsx

Après s'être connecté, la première étape consiste à copier le fichier xlsx dans "Mon Drive" par tirer-déplacer.

...


Ouvrir ce fichier en tant que "Feuilles de calcul Google"


11


Et la magie opère !


12

Libre Office 4.1

Il faut d'abord choisir le mode "Classeur"

La première étape consiste à ouvrir le fichier en se déplaçant dans le répertoire ad-hoc.


13


Les options par défaut sont correctes



14

QGIS

La première étape consiste à ajouter une couche de type "texte délimité"

...

L'étape la plus délicate, hors le nom du fichier et le nom de la couche il faut positionner tous les paramètres comme sur l'écran

...


15

Message d'erreur lié à la présence d'une second ligne d'entête (en français)

...

Le système de projection est WGS84 : coordonnées géographiques

...


16

Et les données s'affichent dans une couche !

...


17

Spatialite

-- creation en table virtuelle

DROP TABLE IF EXISTS _export;

CREATE VIRTUAL TABLE _export USING VirtualText("d:/web/oiseau/VisioNature/export_05112013_143212.txt", 'CP1252', 1, POINT, DOUBLEQUOTE, '\t');

-- conversion en table standard

DROP TABLE IF EXISTS export;

SELECT DisableSpatialIndex('export', 'geometry');

DROP TABLE idx_export_geometry;

CREATE TABLE export AS

SELECT * FROM _export;

-- effacement de la table virtuelle

DROP TABLE _export;

-- suppression de la ligne d'entete en francais

DELETE FROM export

WHERE ROWNO = 0;

-- ajout de la colonne geometry

SELECT AddGeometryColumn("export", "geometry", 2154, "POINT", "XY");

SELECT CreateSpatialIndex("export", "geometry");

UPDATE export SET geometry=ST_Transform(GeomFromText('POINT(' || COORD_LON || ' ' || COORD_LAT || ')',4326), 2154);

-- quelques verifications

SELECT spatial_index_enabled

FROM geometry_columns

WHERE f_table_name = 'export';

SELECT ID_SIGHTING, ID_SPECIES, NAME_SPECIES, DATE, PLACE, MUNICIPALITY, INSEE, COORD_LAT, COORD_LON, COMMENT, ESTIMATION_CODE, TOTAL_COUNT, ATLAS_CODE

, ASTEXT(geometry)

FROM export

LIMIT 3;

La requête SQL


18

Postgis

DROP TABLE IF EXISTS export; CREATE TABLE export ( ID_SIGHTING TEXT, ID_SPECIES TEXT, NAME_SPECIES TEXT, LATIN_SPECIES TEXT, SYS_ORDER TEXT, DATE TEXT, DATE_DAY TEXT, DATE_MONTH TEXT, DATE_YEAR TEXT, DATE_JDAY TEXT, DATE_PENTADE TEXT, DATE_DECADE TEXT, DATE_WEEK TEXT, TIME_START TEXT, TIME_START_HOUR TEXT, TIME_START_MIN TEXT, TIME_STOP TEXT, TIME_STOP_HOUR TEXT, TIME_STOP_MIN TEXT, ID_PLACE TEXT, PLACE TEXT, MUNICIPALITY TEXT, COUNTY TEXT, COUNTRY TEXT, INSEE TEXT, COORD_LON_LIIE TEXT, COORD_LAT_LIIE TEXT, COORD_LON_L93 TEXT, COORD_LAT_L93 TEXT, COORD_LAT TEXT, COORD_LON TEXT, COORD_LAT_DMS TEXT, COORD_LON_DMS TEXT, COORD_F TEXT, COORD_E TEXT, COORD_N TEXT, PRECISION TEXT, GRID_NAME TEXT, ESTIMATION_CODE TEXT, TOTAL_COUNT TEXT, DETAIL TEXT, ATLAS_CODE TEXT, ALTITUDE TEXT, HIDDEN TEXT, ADMIN_HIDDEN TEXT, COMMITTEE_CHN TEXT, COMMITTEE_CHR TEXT, SURNAME TEXT, NAME TEXT, SEARCH_EXPORT_ENTITY_SHORT_NAME TEXT, SEARCH_EXPORT_ENTITY_FULL_NAME TEXT, COMMENT TEXT, PRIVATE_COMMENT TEXT, INSERT_DATE TEXT, UPDATE_DATE TEXT, HAS_DEATH_INFO TEXT ); \copy export FROM 'd:/web/oiseau/VisioNature/export_05112013_143212.txt' WITH DELIMITER AS E'\t' ENCODING 'latin1'; ALTER TABLE export ADD ROWNO SERIAL UNIQUE; -- suppression des lignes d'entete DELETE FROM export WHERE ROWNO < 3; -- ajout des geometries SELECT AddGeometryColumn('public', 'export', 'geom2154', 2154, 'GEOMETRY', 2 ); UPDATE export SET geom2154 = ST_Transform(ST_PointFromText('POINT(' || COORD_LON || ' ' || COORD_LAT || ')', 4326), 2154); CREATE INDEX idx_export_geom2154 ON export USING GIST (geom2154); CLUSTER idx_export_geom2154 ON export; VACUUM ANALYZE export; -- quelques valeurs SELECT ID_SIGHTING, ID_SPECIES, NAME_SPECIES, DATE, PLACE, MUNICIPALITY, INSEE, COORD_LAT, COORD_LON, COMMENT, ESTIMATION_CODE, TOTAL_COUNT, ATLAS_CODE , ST_AsText(geom2154) FROM export LIMIT 3;

La requête SQL


19

R

library(raster)

library(rgdal)

source("geo/scripts/misc.R");

f_export <- "d:/web/oiseau/VisioNature/export_05112013_143212.txt"

f_utf8 <- "d:/web/oiseau/VisioNature/export_utf8.txt"

# conversion en utf-8

# ca ne marche pas !

# writeLines(iconv(readLines(f_export, encoding ="latin1"), "UTF-8", sub='byte'), f_utf8)

df <- read.csv(file = f_utf8, head=TRUE, sep = '\t', quote = '')

# summary(df)

df <- df[, c('ID_SIGHTING', 'ID_SPECIES', 'NAME_SPECIES', 'DATE', 'PLACE', 'MUNICIPALITY', 'INSEE', 'COORD_LAT', 'COORD_LON', 'COMMENT', 'ESTIMATION_CODE', 'TOTAL_COUNT', 'ATLAS_CODE' )]

# la première ligne en moins

df <- df[-1,]

# transformation en spatial

df [,"COORD_LAT"] <- sapply(df[,"COORD_LAT"], as.character)

df [,"COORD_LAT"] <- sapply(df[,"COORD_LAT"], as.numeric)

df [,"COORD_LON"] <- sapply(df[,"COORD_LON"], as.character)

df [,"COORD_LON"] <- sapply(df[,"COORD_LON"], as.numeric)

coordinates(df) = ~ COORD_LON + COORD_LAT

dfSP <- SpatialPointsDataFrame(df,data.frame(df[,]))

proj4string(dfSP) <- CRS("+init=epsg:4326")

dfSP <- spTransform(dfSP, CRS("+init=epsg:2154"))

plot(dfSP)

Le script Attention : les données doivent être converties au préalable en utf8


20



21

Les données

Anglais Français Remarques

ID_SIGHTING Ref

ID_SPECIES ID Espèce Biolovision L'espèce

NAME_SPECIES Nom espèce

LATIN_SPECIES Nom latin

SYS_ORDER Ordre systématique

DATE Date La date décomposée suivant divers critères

DATE_DAY Jour

DATE_MONTH Mois

DATE_YEAR Année

DATE_JDAY Jour de l'année

DATE_PENTADE Pentade

DATE_DECADE Décade

DATE_WEEK numéro de la semaine

TIME_START Heure début

TIME_START_HOUR Heure de début

TIME_START_MIN Minute de début

TIME_STOP Heure fin

TIME_STOP_HOUR Heure de fin

TIME_STOP_MIN Minute de fin

ID_PLACE ID Lieu-dit Les informations sur le lieu-dit de rattachement

PLACE Lieu-dit

MUNICIPALITY Commune

COUNTY Département

COUNTRY Pays

INSEE Code INSEE

COORD_LON_LIIE X Lambert IIe [m] Les coordonnées dans différents formats

COORD_LAT_LIIE Y Lambert IIe [m]

COORD_LON_L93 X Lambert93 [m]

COORD_LAT_L93 Y Lambert93 [m]

COORD_LAT Lat (WGS84)

COORD_LON Lon (WGS84)

COORD_LAT_DMS latitude (DMS)

COORD_LON_DMS longitude (DMS)

COORD_F fuseau UTM Nord

COORD_E UTM X [m]

COORD_N UTM Y [m]

PRECISION Type de localisation

GRID_NAME SEARCH_EXPORT_TEXT_GRID_NAME La maille Atlas

ESTIMATION_CODE Estimation Le nombre

TOTAL_COUNT Nombre

DETAIL Détails

ATLAS_CODE Code atlas

ALTITUDE Altitude

HIDDEN Protégée

ADMIN_HIDDEN Vérification

COMMITTEE_CHN CHN


22

COMMITTEE_CHR CHR

SURNAME Prénom

NAME Nom

SEARCH_EXPORT_ENTITY_SHORT_NAME Abréviation personne morale

SEARCH_EXPORT_ENTITY_FULL_NAME Personne morale

COMMENT Remarque Les remarques

PRIVATE_COMMENT Remarque privée

INSERT_DATE Date d'insertion

UPDATE_DATE Date de dernière modification

HAS_DEATH_INFO Contient des détails mortalité

Bretagne Vivante Ornithologieao35.free.fr/pub/VisioNature/VisioNature2013_02_V2.pdfImporter dans un...

Documents

Transcript of Bretagne Vivante Ornithologieao35.free.fr/pub/VisioNature/VisioNature2013_02_V2.pdfImporter dans un...