Blame view

notebook/zonal_stats.org 19.7 KB
4ecbec2d   Jordi Inglada   Fusion avec overlay
1
2
3
4
5
6
7
8
#+TITLE: Construction d'un data frame avec les stats zonales
#+AUTHOR: Jordi Inglada
#+LANGUAGE: fr

* Init 

Petit bout de python vide pour initialiser la session. Ca permet d'avoir la version de python utilisée
#+begin_src python :results output :session :exports code
3ae3dbd5   Jordi Inglada   exploration des j...
9
10
#+end_src

4ecbec2d   Jordi Inglada   Fusion avec overlay
11
12
13
#+RESULTS:
: Python 3.7.1 (default, Oct 23 2018, 19:19:42) 
: [GCC 7.3.0] :: Anaconda, Inc. on linux
4ecbec2d   Jordi Inglada   Fusion avec overlay
14
15
: Type "help", "copyright", "credits" or "license" for more information.
: >>> python.el: native completion setup loaded
dc3c782f   Jordi Inglada   Notes sur la simp...
16

63b82e99   Jordi Inglada   wip add id to file
17
18
19
20
21
22

* Import des fichiers dans des DF

Les fichiers shape avec les stats sont

#+begin_src python :results none :session :exports code
e83a2116   Jordi Inglada   wip simplificatio...
23
24
25
zs_dir='/work/OT/theia/oso/jordi/maassp_data'
zs_rf1=zs_dir+'/zonal_stats_refl_1.shp'
zs_rf2=zs_dir+'/zonal_stats_refl_2.shp'
63b82e99   Jordi Inglada   wip add id to file
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
zs_dem=zs_dir+'/zonal_stats_dem.shp'
zs_mask=zs_dir+'/zonal_stats_mask.shp'
#+end_src

Lire les fichiers dans un DF pandas

#+begin_src python :results output :session :exports code
import geopandas as gp
df_rf1 = gp.read_file(zs_rf1)
df_rf2 = gp.read_file(zs_rf2)
df_dem = gp.read_file(zs_dem)
df_mask = gp.read_file(zs_mask)
print(len(df_rf1))
print(len(df_rf2))
print(len(df_dem))
print(len(df_mask))
#+end_src

#+RESULTS:
: 85275
e83a2116   Jordi Inglada   wip simplificatio...
46
: 85275
63b82e99   Jordi Inglada   wip add id to file
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
: 85126
: 85275

Il paraît que le fichier de DEM a perdu quelques polygones?

* Fusion dans un seul DF

On utilise overlay avec intersection

#+begin_src python :results output :session :exports code
res_intersection = gp.overlay(df_rf1, df_mask, how='identity')
#+end_src

#+RESULTS:

#+begin_src python :results output :session :exports code
print(len(df_rf1.columns))
print(len(df_mask.columns))
print(len(res_intersection.columns))
#+end_src
e83a2116   Jordi Inglada   wip simplificatio...
67

dc3c782f   Jordi Inglada   Notes sur la simp...
68
#+RESULTS:
63b82e99   Jordi Inglada   wip add id to file
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
: 1446
: 298
: 1743

Pandas renomme les colonnes qui ont le mm nom dans les 2 DF
#+begin_src python :results output :session :exports code
for c in res_intersection.columns:
    print(c)
#+end_src

#+RESULTS:
#+begin_example
CODE_CULTU_1
SURF_ADM_1
SEMENCE_1
BIO_1
MARAICHAGE_1
TLENQ_1
CODUTISOL_1
LIBCULTURE_1
count_1
mean_0_1
stdev_0_1
min_0_1
max_0_1
dc3c782f   Jordi Inglada   Notes sur la simp...
94
mean_1_1
63b82e99   Jordi Inglada   wip add id to file
95
96
97
98
99
100
101
102
stdev_1_1
min_1_1
max_1_1
mean_2_1
stdev_2_1
min_2_1
max_2_1
mean_3_1
dc3c782f   Jordi Inglada   Notes sur la simp...
103
104
stdev_3_1
min_3_1
63b82e99   Jordi Inglada   wip add id to file
105
106
max_3_1
mean_4_1
dc3c782f   Jordi Inglada   Notes sur la simp...
107
108
109
110
stdev_4_1
min_4_1
max_4_1
mean_5_1
dc3c782f   Jordi Inglada   Notes sur la simp...
111
112
stdev_5_1
min_5_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
113
114
max_5_1
mean_6_1
3ae3dbd5   Jordi Inglada   exploration des j...
115
116
117
118
stdev_6_1
min_6_1
max_6_1
mean_7_1
dc3c782f   Jordi Inglada   Notes sur la simp...
119
stdev_7_1
3ae3dbd5   Jordi Inglada   exploration des j...
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
min_7_1
max_7_1
mean_8_1
stdev_8_1
min_8_1
max_8_1
mean_9_1
stdev_9_1
min_9_1
max_9_1
mean_10_1
stdev_10_1
min_10_1
max_10_1
mean_11_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
135
136
137
138
139
140
141
142
143
144
145
146
147
stdev_11_1
min_11_1
max_11_1
mean_12_1
stdev_12_1
min_12_1
max_12_1
mean_13_1
stdev_13_1
min_13_1
max_13_1
mean_14_1
stdev_14_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
148
149
min_14_1
max_14_1
3ae3dbd5   Jordi Inglada   exploration des j...
150
mean_15_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
stdev_15_1
min_15_1
max_15_1
mean_16_1
stdev_16_1
min_16_1
max_16_1
mean_17_1
stdev_17_1
min_17_1
max_17_1
mean_18_1
stdev_18_1
min_18_1
max_18_1
3ae3dbd5   Jordi Inglada   exploration des j...
166
mean_19_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
167
stdev_19_1
3ae3dbd5   Jordi Inglada   exploration des j...
168
169
170
171
172
173
174
175
176
177
178
179
180
181
min_19_1
max_19_1
mean_20_1
stdev_20_1
min_20_1
max_20_1
mean_21_1
stdev_21_1
min_21_1
max_21_1
mean_22_1
stdev_22_1
min_22_1
max_22_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
182
183
mean_23_1
stdev_23_1
3ae3dbd5   Jordi Inglada   exploration des j...
184
185
min_23_1
max_23_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
186
187
188
mean_24_1
stdev_24_1
min_24_1
3ae3dbd5   Jordi Inglada   exploration des j...
189
190
191
192
max_24_1
mean_25_1
stdev_25_1
min_25_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
193
194
max_25_1
mean_26_1
3ae3dbd5   Jordi Inglada   exploration des j...
195
196
stdev_26_1
min_26_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
197
198
199
max_26_1
mean_27_1
stdev_27_1
3ae3dbd5   Jordi Inglada   exploration des j...
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
min_27_1
max_27_1
mean_28_1
stdev_28_1
min_28_1
max_28_1
mean_29_1
stdev_29_1
min_29_1
max_29_1
mean_30_1
stdev_30_1
min_30_1
max_30_1
mean_31_1
stdev_31_1
min_31_1
max_31_1
mean_32_1
stdev_32_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
220
min_32_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
221
max_32_1
3ae3dbd5   Jordi Inglada   exploration des j...
222
mean_33_1
4ecbec2d   Jordi Inglada   Fusion avec overlay
223
224
225
226
227
stdev_33_1
min_33_1
max_33_1
mean_34_1
stdev_34_1
3ae3dbd5   Jordi Inglada   exploration des j...
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
min_34_1
max_34_1
mean_35_1
stdev_35_1
min_35_1
max_35_1
mean_36_1
stdev_36_1
min_36_1
max_36_1
mean_37_1
stdev_37_1
min_37_1
max_37_1
mean_38_1
stdev_38_1
min_38_1
max_38_1
mean_39_1
stdev_39_1
min_39_1
max_39_1
mean_40_1
stdev_40_1
min_40_1
max_40_1
mean_41_1
stdev_41_1
min_41_1
max_41_1
mean_42_1
stdev_42_1
min_42_1
max_42_1
mean_43_1
stdev_43_1
min_43_1
max_43_1
mean_44_1
stdev_44_1
min_44_1
max_44_1
mean_45_1
stdev_45_1
min_45_1
max_45_1
mean_46_1
stdev_46_1
min_46_1
max_46_1
mean_47_1
stdev_47_1
min_47_1
max_47_1
mean_48_1
stdev_48_1
min_48_1
max_48_1
mean_49_1
stdev_49_1
min_49_1
max_49_1
mean_50_1
stdev_50_1
min_50_1
max_50_1
mean_51_1
stdev_51_1
min_51_1
max_51_1
mean_52_1
stdev_52_1
min_52_1
max_52_1
mean_53_1
stdev_53_1
min_53_1
max_53_1
mean_54_1
stdev_54_1
min_54_1
max_54_1
mean_55_1
stdev_55_1
min_55_1
max_55_1
mean_56_1
stdev_56_1
min_56_1
max_56_1
mean_57_1
stdev_57_1
min_57_1
max_57_1
mean_58_1
stdev_58_1
min_58_1
max_58_1
mean_59_1
stdev_59_1
min_59_1
max_59_1
mean_60_1
stdev_60_1
min_60_1
max_60_1
mean_61_1
stdev_61_1
min_61_1
max_61_1
mean_62_1
stdev_62_1
min_62_1
max_62_1
mean_63_1
stdev_63_1
min_63_1
max_63_1
mean_64_1
stdev_64_1
min_64_1
max_64_1
mean_65_1
stdev_65_1
min_65_1
max_65_1
mean_66_1
stdev_66_1
min_66_1
max_66_1
mean_67_1
stdev_67_1
min_67_1
max_67_1
mean_68_1
stdev_68_1
min_68_1
max_68_1
mean_69_1
stdev_69_1
min_69_1
max_69_1
mean_70_1
stdev_70_1
min_70_1
max_70_1
mean_71_1
stdev_71_1
min_71_1
max_71_1
mean_72
stdev_72
min_72
max_72
mean_73
stdev_73
min_73
max_73
mean_74
stdev_74
min_74
max_74
mean_75
stdev_75
min_75
max_75
mean_76
stdev_76
min_76
max_76
mean_77
stdev_77
min_77
max_77
mean_78
stdev_78
min_78
max_78
mean_79
stdev_79
min_79
max_79
mean_80
stdev_80
min_80
max_80
mean_81
stdev_81
min_81
max_81
mean_82
stdev_82
min_82
max_82
mean_83
stdev_83
min_83
max_83
mean_84
stdev_84
min_84
max_84
mean_85
stdev_85
min_85
max_85
mean_86
stdev_86
min_86
max_86
mean_87
stdev_87
min_87
max_87
mean_88
stdev_88
min_88
max_88
mean_89
stdev_89
min_89
max_89
mean_90
stdev_90
min_90
max_90
mean_91
stdev_91
min_91
max_91
mean_92
stdev_92
min_92
max_92
mean_93
stdev_93
min_93
max_93
mean_94
stdev_94
min_94
max_94
mean_95
stdev_95
min_95
max_95
mean_96
stdev_96
min_96
max_96
mean_97
stdev_97
min_97
max_97
mean_98
stdev_98
min_98
max_98
mean_99
stdev_99
min_99
max_99
mean_100
stdev_100
min_100
max_100
mean_101
stdev_101
min_101
max_101
mean_102
stdev_102
min_102
max_102
mean_103
stdev_103
min_103
max_103
mean_104
stdev_104
min_104
max_104
mean_105
stdev_105
min_105
max_105
mean_106
stdev_106
min_106
max_106
mean_107
stdev_107
min_107
max_107
mean_108
stdev_108
min_108
4ecbec2d   Jordi Inglada   Fusion avec overlay
525
526
527
528
max_108
mean_109
stdev_109
min_109
3ae3dbd5   Jordi Inglada   exploration des j...
529
530
531
532
max_109
mean_110
stdev_110
min_110
4ecbec2d   Jordi Inglada   Fusion avec overlay
533
534
535
536
max_110
mean_111
stdev_111
min_111
3ae3dbd5   Jordi Inglada   exploration des j...
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
max_111
mean_112
stdev_112
min_112
max_112
mean_113
stdev_113
min_113
max_113
mean_114
stdev_114
min_114
max_114
mean_115
stdev_115
min_115
max_115
mean_116
stdev_116
min_116
max_116
mean_117
stdev_117
min_117
max_117
mean_118
4ecbec2d   Jordi Inglada   Fusion avec overlay
563
stdev_118
3ae3dbd5   Jordi Inglada   exploration des j...
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
min_118
max_118
mean_119
stdev_119
min_119
max_119
mean_120
stdev_120
min_120
max_120
mean_121
stdev_121
min_121
max_121
mean_122
stdev_122
min_122
max_122
mean_123
stdev_123
min_123
max_123
mean_124
stdev_124
min_124
max_124
mean_125
stdev_125
min_125
max_125
mean_126
stdev_126
min_126
max_126
mean_127
stdev_127
min_127
max_127
mean_128
stdev_128
min_128
max_128
mean_129
stdev_129
min_129
max_129
mean_130
stdev_130
min_130
max_130
mean_131
stdev_131
min_131
max_131
mean_132
stdev_132
min_132
max_132
mean_133
stdev_133
min_133
max_133
mean_134
stdev_134
min_134
max_134
mean_135
stdev_135
min_135
max_135
4ecbec2d   Jordi Inglada   Fusion avec overlay
634
635
mean_136
stdev_136
3ae3dbd5   Jordi Inglada   exploration des j...
636
637
min_136
max_136
4ecbec2d   Jordi Inglada   Fusion avec overlay
638
639
640
641
642
643
644
645
646
647
648
mean_137
stdev_137
min_137
max_137
mean_138
stdev_138
min_138
max_138
mean_139
stdev_139
min_139