Query the Data Delivery Network
Query the DDNThe easiest way to query any data on Splitgraph is via the "Data Delivery Network" (DDN). The DDN is a single endpoint that speaks the PostgreSQL wire protocol. Any Splitgraph user can connect to it at data.splitgraph.com:5432 and query any version of over 40,000 datasets that are hosted or proxied by Splitgraph.
For example, you can query the catlogo_de_colecciones_museo_geolgico_nacional table in this repository, by referencing it like:
"datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb:latest"."catlogo_de_colecciones_museo_geolgico_nacional"or in a full query, like:
SELECT
":id", -- Socrata column ID
"periodo", -- Campos con lista desplegable de opciones, seleccione según corresponda la edad geológica de la pieza
"estado_de_conservaci_n_ec", -- Campo con lista desplegable donde el registrador selecciona una única opción para informar sobre el estado general de la pieza
"textura_roca", -- Campo con lista desplegable de opciones según la textura que corresponda o describa la ficha tecnica o información relacionada de la pieza
"grupo_mineral", -- Campo con lista desplegable de opciones de acuerdo con la clasificación mineralógica de Dana..
"nombre_mineral", -- Campo con lista desplegable de opciones de nombre de minerales según corresponda en la descripción de la ficha técnica o información asociada.
"clase", -- Cada categoría de clasificación taxonómica sigue una disposición de acuerdo con su rango y están ordenadas en una sucesión descendiente
"orden", -- Cada categoría de clasificación taxonómica sigue una disposición de acuerdo con su rango y están ordenadas en una sucesión descendiente
"familia", -- Cada categoría de clasificación taxonómica sigue una disposición de acuerdo con su rango y están ordenadas en una sucesión descendiente
"g_nero", -- Cada categoría de clasificación taxonómica sigue una disposición de acuerdo con su rango y están ordenadas en una sucesión descendiente
"biograf_as_asociadas", -- Biografías de colectores, donadores o investigadores.
"unidad_litoestratigr_fica", -- Campo con lista desplegable de opciones seleccione según corresponda o describa la información de la pieza
"nombre_com_n", -- Nombre común como se encuentre identificada la pieza en la ficha o información relacionada
"departamento", -- Campo con lista desplegable de opciones de departamentos de Colombia, seleccione según corresponda o describa la ficha técnica o información relacionada de la pieza.
"municipio", -- Campo con lista desplegable de opciones de municipios de Colombia, seleccione según corresponda o describa la ficha técnica o información relacionada de la pieza.
"localizaci_n_espec_fica_vereda", -- Describa en este campo información adicional de localización especifica (vereda, corregimiento, caserío, etc.)
"e_n", -- Campos con lista desplegable de opciones, seleccione según corresponda la edad geológica de la pieza
"era", -- Campos con lista desplegable de opciones, seleccione según corresponda la edad geológica de la pieza
"edad", -- Campos con lista desplegable de opciones, seleccione según corresponda la edad geológica de la pieza
"valor_museol_gico", -- Valor conceptual dentro de la colección: histórico, científica, educativa, cultural
"tipificaci_n", -- Campo con lista desplegable de cinco opciones, se debe diligenciar según corresponda o describa la ficha técnica o información relacionada de la pieza
"dimensiones", -- Medidas en centímetros de cada pieza teniendo en cuenta alto, ancho, profundidad y diámetro
"n_de_partes_que_componen", -- Campo que se emplea para documentar la cantidad de partes o fragmentos independientes que componen una misma pieza o ejemplar
"fecha_de_registro", -- Registrar fecha (dd/mm/aaaa) en la que se ingresa la información de las piezas en la Ficha registro, inventario y catalogación
"valor_museable", -- Valoración de la pieza de mayor a menor en caso de importancia dentro de la colección
"documento_de_tenencia", -- Nombre del documento de tenencia oficial
"bibliograf_as_asociadas", -- Referencias Bibliográficas de investigaciones, publicaciones, artículos científicos y otros donde se encuentre referenciada la pieza
"categor_a", -- Campo con lista desplegables, donde el registrador podrá seleccionar una de ellas para especificar la tipología de la pieza según corresponda
"fotograf_a", -- Escribir el nombre con el cual está marcado el archivo fotográfico de la pieza
"forma_de_adquisici_n", -- Campo con lista desplegable donde el registrador selecciona una única opción para documentar la manera en que la pieza ingresó a la colección
"identificaci_n_de_la_pieza", -- Corresponde a un código único e irrepetible que le es asignado a cada pieza dentro de una colección, para reconocerla e identificarla de las demás
"nombre_com_n_1", -- Información de edad geológica que contenga la pieza no coincida con los campos anteriores
"poca", -- Campos con lista desplegable de opciones, seleccione según corresponda la edad geológica de la pieza
"especie", -- Cada categoría de clasificación taxonómica sigue una disposición de acuerdo con su rango y están ordenadas en una sucesión descendiente
"localizaci_n_pa_s", -- Describa en este campo el país del cual se extrajo la pieza.
"filo", -- Cada categoría de clasificación taxonómica sigue una disposición de acuerdo con su rango y están ordenadas en una sucesión descendiente
"reino", -- Cada categoría de clasificación taxonómica sigue una disposición de acuerdo con su rango y están ordenadas en una sucesión descendiente.
"nombre_roca", -- Campo con lista desplegable de opciones según el nombre que corresponda o describa la ficha técnica o información relacionada de la pieza.
"tipo_de_roca", -- Campo con lista desplegable de opciones según corresponda o describa la ficha técnica o información relacionada de la pieza
"descripci_n_de_la_pieza", -- Descripción detallada de la pieza relacionando todas las características posibles.
"fecha_de_colecta", -- Fecha en la cual fue colectada la pieza.
"tipo", -- Campo de selección entre SI o NO, según el cual el registrador podrá especificar si la pieza corresponde o no a un tipo, según lo establecido por el código de nomenclatura zoológica.
"repositorio", -- Se debe indicar la dirección detallada del lugar donde se encuentra la pieza
"subtipo_de_roca", -- Campo con lista desplegable de opciones de subtipo de roca según corresponda o describa la ficha tecnica o información relacionada de la pieza
"observaciones_de_la_pieza", -- Observaciones que puedan incidir en los cambios físicos o químicos de las piezas.
"localidad_coordenadas" -- Coordenadas del punto GPS donde se encontró la pieza o colección
FROM
"datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb:latest"."catlogo_de_colecciones_museo_geolgico_nacional"
LIMIT 100;Connecting to the DDN is easy. All you need is an existing SQL client that can connect to Postgres. As long as you have a SQL client ready, you'll be able to query datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb with SQL in under 60 seconds.
Query Your Local Engine
bash -c "$(curl -sL https://github.com/splitgraph/splitgraph/releases/latest/download/install.sh)"Read the installation docs.
Splitgraph Cloud is built around Splitgraph Core (GitHub), which includes a local Splitgraph Engine packaged as a Docker image. Splitgraph Cloud is basically a scaled-up version of that local Engine. When you query the Data Delivery Network or the REST API, we mount the relevant datasets in an Engine on our servers and execute your query on it.
It's possible to run this engine locally. You'll need a Mac, Windows or Linux system to install sgr, and a Docker installation to run the engine. You don't need to know how to actually use Docker; sgrcan manage the image, container and volume for you.
There are a few ways to ingest data into the local engine.
For external repositories, the Splitgraph Engine can "mount" upstream data sources by using sgr mount. This feature is built around Postgres Foreign Data Wrappers (FDW). You can write custom "mount handlers" for any upstream data source. For an example, we blogged about making a custom mount handler for HackerNews stories.
For hosted datasets (like this repository), where the author has pushed Splitgraph Images to the repository, you can "clone" and/or "checkout" the data using sgr cloneand sgr checkout.
Cloning Data
Because datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb:latest is a Splitgraph Image, you can clone the data from Spltgraph Cloud to your local engine, where you can query it like any other Postgres database, using any of your existing tools.
First, install Splitgraph if you haven't already.
Clone the metadata with sgr clone
This will be quick, and does not download the actual data.
sgr clone datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvbCheckout the data
Once you've cloned the data, you need to "checkout" the tag that you want. For example, to checkout the latest tag:
sgr checkout datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb:latestThis will download all the objects for the latest tag of datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb and load them into the Splitgraph Engine. Depending on your connection speed and the size of the data, you will need to wait for the checkout to complete. Once it's complete, you will be able to query the data like you would any other Postgres database.
Alternatively, use "layered checkout" to avoid downloading all the data
The data in datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb:latest is 0 bytes. If this is too big to download all at once, or perhaps you only need to query a subset of it, you can use a layered checkout.:
sgr checkout --layered datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb:latestThis will not download all the data, but it will create a schema comprised of foreign tables, that you can query as you would any other data. Splitgraph will lazily download the required objects as you query the data. In some cases, this might be faster or more efficient than a regular checkout.
Read the layered querying documentation to learn about when and why you might want to use layered queries.
Query the data with your existing tools
Once you've loaded the data into your local Splitgraph Engine, you can query it with any of your existing tools. As far as they're concerned, datos-gov-co/catlogo-de-colecciones-museo-geolgico-nacional-bfpk-7qvb is just another Postgres schema.