Query the Data Delivery Network
Query the DDNThe easiest way to query any data on Splitgraph is via the "Data Delivery Network" (DDN). The DDN is a single endpoint that speaks the PostgreSQL wire protocol. Any Splitgraph user can connect to it at data.splitgraph.com:5432 and query any version of over 40,000 datasets that are hosted or proxied by Splitgraph.
For example, you can query the seguimiento_acumulado_de_actividades_de table in this repository, by referencing it like:
"datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw:latest"."seguimiento_acumulado_de_actividades_de"or in a full query, like:
SELECT
":id", -- Socrata column ID
"canales_utilizados_divulgar", -- Registra los canales de comunicación utilizados para publicar los resultados de la actividad. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"canales_utilizados_para_la", -- Registra los canales de comunicación utilizados para la divulgación de información previa al diálogo. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para su actividad, registra la sigla "NA".
"fecha_programada_inicio", -- Fecha en la que se programa iniciar la actividad.
"canales_utilizados_para_la_1", -- Registra los canales de comunicación utilizados para convocar a los grupos de interés previo al diálogo. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"fecha_en_que_se_realiz_la_1", -- Registra la fecha en que inicio el diálogo con los grupos de interés para el desarrollo de la actividad. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para su actividad, registra la sigla "NA".
"canales_utilizados_para_el", -- Registra los canales de comunicación utilizados para convocar a los grupos de interés previo al diálogo. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"n_mero_de_participantes", -- Registra el número personas que participaron en la actividad de diálogo. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"fecha_en_que_se_publicaron", -- Fecha en que se publicaron los resultados
"resultados_de_medici_n", -- Registra los resultados de la encuesta de percepción aplicada a los grupos de interés sobre la actividad. Para ello se incluye el promedio de la calificación obtenida. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"avance_de_compromiso_adquirido", -- Describe brevemente el avance cualitativo del o los compromiso(s) adquirido(s) con los grupos de interés en el desarrollo de la actividad. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"fecha_finalizaci_n_del", -- Registra la fecha en la que finalizó la gestión del compormiso. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"recursos_financieros", -- son todos aquellos recursos económicos que le permiten al sector público desarrollar sus actividades para la vigencia anual.
"recursos_de_funcionamiento", -- Asociados a los gastos de funcionamiento, los cuales son necesarios para el normal ejercicio de las funciones de la entidad asignadas en la Constitución y en la Ley y se clasifican en gastos de personales, gastos generales y transferencias.
"productos_programados", -- Corresponde al número de productos que se programaron generar dentro del desarrollo de la actividad.
"recursos_de_inversi_n", -- Asociados a los gastos de inversión definidos por la jurisprudencia como: “erogaciones que retribuyen bienes de capital de tal manera que aumentan el patrimonio de la entidad”, también corresponde a aquellos gastos destinados a incrementar la capacidad de producción y la productividad en el campo de la infraestructura física, económica y social.
"indicador", -- Corresponde al indicador que mide la ejecución de la actividad en relación a los productos programados.
"fecha_de_corte_del_seguimiento", -- Registra la fecha en la que se realizó el seguimiento y levantamiento de la información registrada en los otros campos de dataset.
"fecha_programada_fin", -- Fecha en la que se programa finalizar la actividad.
"productos_realizados", -- Corresponde al número de productos que se generaron dentro del desarrollo de la actividad.
"de_avance_productos", -- Corresponde al avance porcentual de desarrollo de los productos asociados a cada actividad.
"fecha_de_divulgaci_n", -- Registra la fecha en que inicio la divulgación de información que realizó la dependencia previo al diálogo que se ejecuta en la actividad, cuando aplica. En caso de que esta etapa no haya iniciado en la actividad, se registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"descripci_n_del_avance", -- Describe brevemente el avance cualitativo de la actividad.En caso de que esta etapa no haya iniciado en su actividad, registra la sigla "SIN".
"id_actividad", -- Número consecutivo asignado a la actividad.
"dependencia_s_responsable", -- Dependencia del MinJusticia responsable de la actividad de participación.
"evidencias_de_avance", -- Registra las evidencias de avance de la actividad. En caso de que esta etapa no haya iniciado en su actividad, registra la sigla "SIN".
"fecha_en_que_se_realiz_la", -- Registra la fecha en la que iniciaron las acciones de convocatoria que se realizó previo al diálogo, cuando aplica. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"estrategia", -- Identifica la estrategia del plan de participación del MinJusticia a la cual pertenece la actividad.
"avance_gesti_n", -- Corresponde al avance porcentual de gestión realizada por cada dependencia responsable para cumplir la actividad.
"compromisos_adquiridos_de", -- Registra los compromisos adquiridos con los grupos de interés en la actividad de diálogo. En caso de que esta etapa no haya iniciado en la actividad, registra la sigla "SIN". En caso que no aplique para la actividad, registra la sigla "NA".
"nombre_de_la_actividad" -- Describe el nombre de la actividad que se estableció en el cronograma del plan de participación ciudadana de MinJusticia.
FROM
"datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw:latest"."seguimiento_acumulado_de_actividades_de"
LIMIT 100;Connecting to the DDN is easy. All you need is an existing SQL client that can connect to Postgres. As long as you have a SQL client ready, you'll be able to query datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw with SQL in under 60 seconds.
Query Your Local Engine
bash -c "$(curl -sL https://github.com/splitgraph/splitgraph/releases/latest/download/install.sh)"Read the installation docs.
Splitgraph Cloud is built around Splitgraph Core (GitHub), which includes a local Splitgraph Engine packaged as a Docker image. Splitgraph Cloud is basically a scaled-up version of that local Engine. When you query the Data Delivery Network or the REST API, we mount the relevant datasets in an Engine on our servers and execute your query on it.
It's possible to run this engine locally. You'll need a Mac, Windows or Linux system to install sgr, and a Docker installation to run the engine. You don't need to know how to actually use Docker; sgrcan manage the image, container and volume for you.
There are a few ways to ingest data into the local engine.
For external repositories, the Splitgraph Engine can "mount" upstream data sources by using sgr mount. This feature is built around Postgres Foreign Data Wrappers (FDW). You can write custom "mount handlers" for any upstream data source. For an example, we blogged about making a custom mount handler for HackerNews stories.
For hosted datasets (like this repository), where the author has pushed Splitgraph Images to the repository, you can "clone" and/or "checkout" the data using sgr cloneand sgr checkout.
Cloning Data
Because datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw:latest is a Splitgraph Image, you can clone the data from Spltgraph Cloud to your local engine, where you can query it like any other Postgres database, using any of your existing tools.
First, install Splitgraph if you haven't already.
Clone the metadata with sgr clone
This will be quick, and does not download the actual data.
sgr clone datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vwCheckout the data
Once you've cloned the data, you need to "checkout" the tag that you want. For example, to checkout the latest tag:
sgr checkout datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw:latestThis will download all the objects for the latest tag of datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw and load them into the Splitgraph Engine. Depending on your connection speed and the size of the data, you will need to wait for the checkout to complete. Once it's complete, you will be able to query the data like you would any other Postgres database.
Alternatively, use "layered checkout" to avoid downloading all the data
The data in datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw:latest is 0 bytes. If this is too big to download all at once, or perhaps you only need to query a subset of it, you can use a layered checkout.:
sgr checkout --layered datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw:latestThis will not download all the data, but it will create a schema comprised of foreign tables, that you can query as you would any other data. Splitgraph will lazily download the required objects as you query the data. In some cases, this might be faster or more efficient than a regular checkout.
Read the layered querying documentation to learn about when and why you might want to use layered queries.
Query the data with your existing tools
Once you've loaded the data into your local Splitgraph Engine, you can query it with any of your existing tools. As far as they're concerned, datos-gov-co/seguimiento-acumulado-de-actividades-de-kfcm-k5vw is just another Postgres schema.