datos-gov-co/emergencias-2018-ungrd-ngh9-6gd7
Icon for Socrata external plugin

Query the Data Delivery Network

Query the DDN

The easiest way to query any data on Splitgraph is via the "Data Delivery Network" (DDN). The DDN is a single endpoint that speaks the PostgreSQL wire protocol. Any Splitgraph user can connect to it at data.splitgraph.com:5432 and query any version of over 40,000 datasets that are hosted or proxied by Splitgraph.

For example, you can query the emergencias_2018_ungrd table in this repository, by referencing it like:

"datos-gov-co/emergencias-2018-ungrd-ngh9-6gd7:latest"."emergencias_2018_ungrd"

or in a full query, like:

SELECT
    ":id", -- Socrata column ID
    "_0_16", -- Cantidad de cepillos para adulto enviado spara la atención de damnificados por el evento
    "_15322", -- Código DIVIPOLA, asignado por el DANE al municipio donde ocurreio el evento
    "_2018_01_01t00_00_00_000", -- Fecha de la ocurrencia del evento
    "_0_11", -- Cantidad de sistemas de alcantarillado afectados o averiados por el evento
    "guateque", -- Municipio en el cual ocurrió el evento
    "incendio_forestal", -- Clasificación del evento según el fenómeno natural o antrópico no intencional
    "_0", -- Cantidad de personas fallecidas a causa del evento
    "_0_1", -- Cantidad de personas heridas a causa del evento
    "_0_3", -- Número de personas afectadas por el evento
    "_0_6", -- Cantidad de viviendas averiadas por el evento
    "_0_5", -- Cantidad de viviendas destruidas por el evento
    "_0_9", -- Cantidad de puentes peatonales afectados o averiados por el evento
    "_0_0", -- Costo total de los subsidios de arriendo destinados a los damnificados por el evento
    "_0_79", -- Cantidad de bolsas big bag enviadas para la atención del evento
    "_0_68", -- Costo total de las toallas enviadas para la atención de damnificados por el evento
    "_0_0_4", -- Costo total de los sacos y/o BIG BAG enviados para la atención del evento
    "_0_49", -- Cantidad de papel higiénico enviado para la atención del evento
    "_0_58", -- Costo total de los platos pandos enviados para la atención de damnificados por el evento
    "_0_0_5", -- Costo total de otros tipos de apoyo enviados para la atención del evento
    "_0_0_9", -- Costo total de las transferencias económicas realizadas a la entidad territorial, para la atención del evento
    "_0_63", -- Cantidad de sabanas enviadas para la atención de damnificados por el evento
    "_0_59", -- Cantidad de pocillos enviados para la atención de damnificados por el evento
    "_0_57", -- Cantidad de platos pandos enviados para la atención de damnificados por el evento
    "_0_55", -- Cantidad de platos hondos enviados para la atención de damnificados por el evento
    "_0_52", -- Costo total de las peinillas enviadas para la atención de damnificados por el evento
    "_0_51", -- Cantidad de peinillas enviadas para la atención de damnificados por el evento
    "_0_50", -- Costo total del papel higiénico enviado para la atención del evento
    "_0_46", -- Valor total de los juegos de cubiertos enviados para la atención del evento
    "_0_32", -- Costo total de botas enviadas para la atención de damnificados por el evento
    "_0_19", -- Costo total de cepillos para niños enviados para la atención de damnificados por el evento
    "_0_2", -- Cantidad de personas desaparecidas por el evento
    "_0_0_10", -- Valor total de los recursos ejecutados en la atención del evento
    "_0_24", -- Cantidad de cobijas enviada para la atención de damnificados por el evento
    "_0_25", -- Costo total de las cobijas enviada para la atención de damnificados por el evento
    "_0_26", -- Cantidad de carpas enviadas para la atención de damnificados por el evento
    "_0_39", -- Cantidad de hamacas enviadas para la atención de damnificados por el evento
    "unnamed_column_3", -- Cantidad de colchonetas enviadas para la atención de damnificados por el evento
    "_0_28", -- Costo total de las colchonetas enviadas para la atención de damnificados por el evento
    "_0_43", -- Cantidad de jabón de barra enviado para la atención de damnificados por el evento
    "_0_35", -- Cantidad de cucharas de madera enviadas para la atención de damnificados por el evento
    "_0_41", -- Cantidad de jabón de baño enviado para la atención de damnificados por el evento
    "_0_45", -- Cantidad de juegos de cubiertos enviados para la atención del evento
    "_0_48", -- Costo total de las ollas enviadas para la atención del evento
    "_0_47", -- Cantidad de ollas enviadas para la atención del evento
    "_0_82", -- Costo total de mercados enviados para la atención de damnificados por el evento
    "_0_74", -- Costo total de kits de cocina enviados para la atención de damnificados por el evento
    "_0_0_1", -- Costo total de los menajes destinados a los damnificados por el evento
    "_0_0_3", -- Costo total de los materiales de construcción enviados para la atención del evento
    "_0_44", -- Valor total de jabón de barra enviado para la atención de damnificados por el evento
    "_0_66", -- Costo total de las frazadas enviadas para la atención de damnificados por el evento
    "_0_65", -- Cantidad de frazadas enviadas para la atención de damnificados por el evento
    "_0_42", -- Valor total de jabón de baño enviado para la atención de damnificados por el evento
    "_0_40", -- Valor total de las hamacas enviadas para la atención de damnificados por el evento
    "_0_71", -- Cantidad de kits de aseo enviados para la atención de damnificados por el evento
    "_0_62", -- Costo total de las raciones de campaña enviadas para la atención del evento
    "_0_61", -- Cantidad de raciones de campaña enviadas para la atención del evento
    "_0_30", -- Costo total de los catres enviados para la atención de damnificados por el evento
    "_0_31", -- Cantidad de botas enviadas para la atención de damnificados por el evento
    "_0_37", -- Cantidad de estufas enviadas para la atención de damnificados por el evento
    "_0_38", -- Valor total de las estufas enviadas para la atención de damnificados por el evento
    "_0_7", -- Cantidad de vías afectadas por el evento
    "_0_88", -- Costo total de los otros materiales de construcción enviados para la atención del evento
    "_0_00", -- Costo total de las ayudas enviadas para la atención del evento, provenientes del Fondo Nacional de Gestión del Riesgo de Desastres- FNGRD
    "_0_86", -- Costo total de las tejas enviadas para la atención del evento
    "_1_1", -- Costo total de las transferencias económicas realizadas para la atención del evento
    "_0_85", -- Cantidad de tejas enviadas para la atención del evento
    "_0_80", -- Costo total de bolsas big bag enviadas para la atención del evento
    "_0_87", -- Descripción de otros materiales de construcción enviados para la atención del evento
    "_0_76", -- Costo total de kits de alcoba enviados para la atención de damnificados por el evento
    "_0_78", -- Costo total de los sacos enviados para la atención del evento
    "_0_77", -- Cantidad de sacos enviados para la atención del evento
    "_0_70", -- Costo total de los toldillos enviados para la atención de damnificados por el evento
    "_0_72", -- Costo total de los kits de aseo enviados para la atención de damnificados por el evento
    "_0_69", -- Cantidad de toldillos enviados para la atención de damnificados por el evento
    "_0_64", -- Costo total de las sabanas enviadas para la atención de damnificados por el evento
    "_0_29", -- Cantidad de catres enviados para la atención de damnificados por el evento
    "_0_27", -- Costo total de carpas enviadas para la atención de damnificados por el evento
    "_0_23", -- Costo total de la cinta de empalmar enviada para la atención del evento
    "_0_21", -- Costo total de las chocolateras enviadas para la atención de damnificados por el evento
    "_0_20", -- Cantidad de chocolateras enviadas para la atención de damnificados por el evento
    "_0_73", -- Cantidad de kits de cocina enviados para la atención de damnificados por el evento
    "_0_0_11", -- Costo total de los menajes enviados para la atención del evento
    "_0_81", -- Cantidad de mercados enviados para la atención de damnificados por el evento
    "_0_83", -- Cantidad de bolsas de cemento enviadas para la atención del evento
    "_0_17", -- Costo total de cepillos para adulto enviados para la atención de damnificados por el evento
    "_0_34", -- Costo total de las cucharas de acero enviadas para la atención de damnificados por el evento
    "_0_84", -- Costo total de las bolsas de cemento enviadas para la atención del evento
    "_0_8", -- Cantidad de puentes vehiculares afectados o averiados por el evento
    "_0_10", -- Cantidad de acueductos afectados o averiados por el evento
    "_0_15", -- Otros tipos de daños o afectaciones generadas por el evento
    "_0_0_7", -- Costo total de las horas máquina de retroexcavadora, bulldozer y/o interventoría utilizadas para la atención del evento
    "_0_18", -- Cantidad de cepillos para niños enviados para la atención de damnificados por el evento
    "_0_0_8", -- Costo total de los vuelos y soporte aéreo utilizado para la atención del evento
    "_0_0_2", -- Costo total del apoyo alimentario enviado para los damnificados por el evento
    "_0_14", -- Cantidad de centros comunitarios averiados/afectados por el evento
    "_0_12", -- Cantidad de centros de salud averiados/afectados por el evento
    "_0_4", -- Número de familias afectadas por el evento
    "boyaca", -- Departamento donde ocurrió el evento
    "_0_75", -- Cantidad de kits de alcoba enviados para la atención de damnificados por el evento
    "_0_67", -- Cantidad de toallas enviadas para la atención de damnificados por el evento
    "_0_60", -- Costo total de los pocillos enviados para la atención de damnificados por el evento
    "_0_53", -- Cantidad de plástico negro enviado para la atención del evento
    "_0_33", -- Cantidad de cucharas de acero enviadas para la atención de damnificados por el evento
    "_0_36", -- Costo total de las cucharas de madera enviadas para la atención de damnificados por el evento
    "_1", -- Número de hectareas destruidas por el evento
    "_0_13", -- Cantidad de centros educativos averiados/afectados por el evento
    "_0_0_6", -- Costo total de los carrotanques y/o motobombas y/o plantas potabilizadoras enviadas para la atención del evento
    "_0_54", -- Costo total del plástico negro enviado para la atención del evento
    "_0_22", -- Cantidad de cinta de empalmar enviada para la atención del evento
    "_0_56" -- Costo total de platos hondos enviados para la atención de damnificados por el evento
FROM
    "datos-gov-co/emergencias-2018-ungrd-ngh9-6gd7:latest"."emergencias_2018_ungrd"
LIMIT 100;

Connecting to the DDN is easy. All you need is an existing SQL client that can connect to Postgres. As long as you have a SQL client ready, you'll be able to query datos-gov-co/emergencias-2018-ungrd-ngh9-6gd7 with SQL in under 60 seconds.

This repository is an "external" repository. That means it's hosted elsewhere, in this case at www.datos.gov.co. When you querydatos-gov-co/emergencias-2018-ungrd-ngh9-6gd7:latest on the DDN, we "mount" the repository using the socrata mount handler. The mount handler proxies your SQL query to the upstream data source, translating it from SQL to the relevant language (in this case SoQL).

We also cache query responses on the DDN, but we run the DDN on multiple nodes so a CACHE_HIT is only guaranteed for subsequent queries that land on the same node.

Query Your Local Engine

Install Splitgraph Locally
bash -c "$(curl -sL https://github.com/splitgraph/splitgraph/releases/latest/download/install.sh)"
 

Read the installation docs.

Splitgraph Cloud is built around Splitgraph Core (GitHub), which includes a local Splitgraph Engine packaged as a Docker image. Splitgraph Cloud is basically a scaled-up version of that local Engine. When you query the Data Delivery Network or the REST API, we mount the relevant datasets in an Engine on our servers and execute your query on it.

It's possible to run this engine locally. You'll need a Mac, Windows or Linux system to install sgr, and a Docker installation to run the engine. You don't need to know how to actually use Docker; sgrcan manage the image, container and volume for you.

There are a few ways to ingest data into the local engine.

For external repositories (like this repository), the Splitgraph Engine can "mount" upstream data sources by using sgr mount. This feature is built around Postgres Foreign Data Wrappers (FDW). You can write custom "mount handlers" for any upstream data source. For an example, we blogged about making a custom mount handler for HackerNews stories.

For hosted datasets, where the author has pushed Splitgraph Images to the repository, you can "clone" and/or "checkout" the data using sgr cloneand sgr checkout.

Mounting Data

This repository is an external repository. It's not hosted by Splitgraph. It is hosted by www.datos.gov.co, and Splitgraph indexes it. This means it is not an actual Splitgraph image, so you cannot use sgr clone to get the data. Instead, you can use the socrata adapter with the sgr mount command. Then, if you want, you can import the data and turn it into a Splitgraph image that others can clone.

First, install Splitgraph if you haven't already.

Mount the table with sgr mount

sgr mount socrata \
  "datos-gov-co/emergencias-2018-ungrd-ngh9-6gd7" \
  --handler-options '{
    "domain": "www.datos.gov.co",
    "tables": {
        "emergencias_2018_ungrd": "ngh9-6gd7"
    }
}'

That's it! Now you can query the data in the mounted table like any other Postgres table.

Query the data with your existing tools

Once you've loaded the data into your local Splitgraph engine, you can query it with any of your existing tools. As far as they're concerned, datos-gov-co/emergencias-2018-ungrd-ngh9-6gd7 is just another Postgres schema.