Bazy danych czy shp? Jak przechowywać dużą ilość danych?

Cześć wszystkim!

chciałbym was zapytać o wasze opinie i sugestie dotyczące dostępnych baz danych w których można przechowywać dane. Mianowicie jakie bazy danych polecacie, aby móc przechowywać bardzo dużą liczbę danych (kilka/kilkanaście milionów punktów/poligonów itp) jednocześnie wykorzystywać ją do efektywnego przeprowadzania analiz przestrzennych, zapytań itp. Geopaczka, GDB, PostGIS, czy może geoparquet, flatgeobuf? Czy może jednak shp (żart!)

Może udałoby się zrobić jakiś ranking z wadami i zaletami każdego z rozwiązań? Możliwe, że są gdzieś już w sieci takie porównania (jeśli tak to można je też i tu podlinkować), ale chodzi mi głównie o wasze pratyczne doświadczenia w tym temacie zarówno pod względem faktycznej efektywności jak i odczuć “user friendly” .

Pozdrawiam i liczę na owocną dyskusje

1 polubienie

Cześć!
Co do wyboru bazy do przechowywania danych to jak zwykle “wszystko zależy” :wink:
Zależy m.in. od tego:

  • czy chcesz na danych pracować sam, czy w zespole,
  • czy masz do tych punktów dużo czy mało atrybutów opisowych,
  • jak długie nazwy mają atrybuty
  • czy potrzebujesz atrybutów “wirtualnych”, np. liczącej się samoczynnie powierzchni
  • czy znasz SQL
  • czy potrzebujesz przechowywać w 1 obiekcie geometrie w różnych układach współrzędnych, żeby uniknąć częstych transformacji
  • czy często łączysz te dane z innymi źródłami danych

… i jeszcze wielu innych aspektów.

Ja jestem zwolennikiem PostGIS i prawie wszystko przerzucam sobie do tej bazy, chociaż czasami jest to pewnie strzelanie z armaty do wróbla. Ta baza jest darmowa, mam w niej bazę ponad 600GB danych i działa sprawnie. Minusem jest konieczność nauki administracji bazą, ale dla mnie osobiście QGIS stał się w głównej mierze przeglądarką, a analizy przestrzenne wykonuję z poziomu PostGIS-a piszą zapytania SQL. Daje mi to często możliwość zrobienia analizy w 1 zapytaniu, ewentualnie przerzucenia tego jeszcze do Pythona i obrobienie za pomocą Geopandas, Pandas itp.

SHP używam tylko do pobierania danych ze źródeł, które udostępniają dane tylko w tym formacie. Sam udostępniam dane plikowo raczej jako GPKG.

Fajnie jest umieć programować w Pythonie i pisać zapytania SQL - to otwiera zupełnie inne możliwości, często nieosiągalne lub wymagające długiego klikania w QGIS-ie lub innym oprogramowaniu.

5 polubień

Hej. Jeśli rozumiesz analizy przestrzenne, znasz terminologię i algorytmy i wiesz dokładnie, czego chcesz, to PostGIS daje bezwzględnie największe możliwości. SQL czy Pythona nie musisz się uczyć. To już nie jest przeszkoda. Od tego jest AI.
Jeśli nie masz doświadczenia w pracy z bazami, jeśli analizy nie są zbyt skomplikowane, warstw nie jest wiele i nie musisz współdzielić danych w czasie rzeczywistym, to może wystarczy Geopaczka i Modeler wykorzystujący znane Ci algorytmy procesingu.

2 polubienia