Hace 30 años, ¡como pasa el tiempo! empezamos a desarrollar BADUR, nuestra primera base de datos de planeamiento. Fue un encargo de José Luis Garro, entonces concejal de urbanismo del Ayuntamiento de Madrid.
Su objetivo era disponer de una herramienta de control del desarrollo del Plan General de 1985. En ese momento nuestros medios eran muy limitados: una base de datos DBF gestionada con un desarrollo en Clipper y un PC-ArcInfo.
Con esos materiales y unos meses de trabajo en el archivo de la Gerencia de Urbanismo, se construyó un sistema de gestión del planeamiento completo y funcional.
Tan orgullosos estábamos de nuestro trabajo que decidimos convertirlo en un producto comercial. Recorrimos muchos grandes Ayuntamientos explicando sus bondades, no vendimos ninguno. Todos admiraban el trabajo, nadie estimaba necesario conocer con ese nivel de detalle el estado de su planeamiento y gestión urbanística. Y eso que aún no había Internet, literalmente se habrían llevado las manos a la cabeza de saber que tales datos podían llegar a ser de dominio público.
Os dejo un documento donde se explica, a fecha de 1998, el objeto y estado de la aplicación. Habian pasado ocho años desde sus primeros pasos y ya se daba prácticamente por perdido. Pero gran parte de la filosofía de BADUR persiste en nuestro trabajo actual:
los conceptos de ámbitos de planeamiento sujetos a procesos de fragmentación, agrupación o relación
la orientación necesariamente documental del sistema (nadie esperaba en ese momento que un documento electrónico alcanzase vinculación jurídica)
la gestión urbanística como un proceso de planificación-gestión-urbanización-construcción-uso y mantenimiento
la flexibilidad a la hora de gestionar la información tabulada de cada documento distinguiendo entre la información analítica normalizada y la información no codificada, la base de datos debería abarcar la totalidad de cada documento si se quería independizar de la consulta del documento de papel original.
la necesaria vinculación de cada ámbito con su polígono gráfico correspondiente
BADUR disponía de un generador de informes. Proporcionaba un ficha de cada ámbito contenido en la base de datos. En el ejemplo que os adjunto se describe todo el tracto sucesivo del desarrollo de un ámbito de Plan General de 1985, desde lo dispuesto en el Plan General, hasta la obra de urbanización.
En una organización como la Gerencia Municipal de Urbanismo de Madrid, cuya informática en esos años estaba dominada por los terminales del AS400, se planteó la necesidad de mantener la base de datos de forma distribuída. Para eso se instalaron en las jefaturas de sección los primeros ordenadores personales que entraron en la casa. Con el objetivo de que en cada sección al menos un funcionario fuese alimentando la base de datos con cada nuevo expediente. Con la caída del gobierno de Rodríguez Sahagún todo el proyecto se abandonó. El nuevo equipo comenzó la redacción del Plan General de 1995 y una nueva etapa se abrió en la GMU, pero esto ya es otra historia.
Los Datos Abiertos están siendo un aspecto importante de las estrategias de Transparencia de las Instituciones, de las grandes Corporaciones y también de algunas empresas. Por ahora es una preocupación principalmente pública y todo Organismo de buen ver tiene su correspondiente página de Datos Abiertos. No siempre cumplen las expectativas que ponemos en ellas, en realidad casi nunca, pero sin duda existe un interés en demostrar la predisposición a compartir información. Creo que esta tendencia se incrementará en los próximos años y podremos empezar a penalizar a las instituciones poco transparentes.
Habitualmente las páginas de datos abiertos se organizan con un buscador: por nombre, tema, organización de origen, formato… En el caso de los formatos hay una considerable diversidad, los más habituales son CSV, GEOJSON, GPX, JSON, KML, KMZ, MDB, PDF, RDF, RSS, SHP, TXT, WMS, XML, ZIP… Un poco de todo, quizá se echa de menos un esfuerzo por normalizar los formatos. En el caso de España el portal público de datos abiertos estatal es https://datos.gob.es , donde se van reuniendo, ordenados por temas, todo lo que aportan las instituciones públicas del Estado.
Cuando los ficheros compartidos contienen geometría se pueden visualizar gráficamente. Hay algunos sitios web de datos abiertos que en estos casos proporcionan la funcionalidad de abrir un mapa y verlos. Pero esta posibilidad no es muy habitual. Los sitios web de datos abiertos no suelen tener detrás la parafernalia suficiente para publicar mapas. Con la excepción de los ficheros KML/KMZ porque estos formatos los puede presentar Google Maps de forma nativa. (Con esta estrategia Google se lleva el gato al agua y fuerza a que los datos se formateen en KML).
Cada día hay más información georreferenciada en los sitios de datos abiertos, y no solo como KML/KMZ, hay ficheros SHP, Geojson, WMS, WFS, GML, ECW, WCS…, todos ellos representables en un mapa. El futuro, sin duda, estará en los geoPackages, un formato de intercambio de datos espaciales que admite toda clase de información raster y vectorial sin limitaciones de tamaño ni complejidad de los datos.
Desde urbiThings nuestra intención en proporcionar a todas estas instituciones que publican información espacial y no pueden servirla en forma de Mapa, la posibilidad de permitir a sus usuarios de datos abiertos la visualización gráfica de estos ficheros, mediante dos estrategias:
La primera es como Conjuntos de Datos descargados en el repositorio de datos de urbiThings. Como vimos en el post anterior, es sencillo asignar geometría a ficheros que contienen referencia a entidades territoriales conocidas, tales como municipios, provincias, regiones, espacios protegidos y otras, o que contienen direcciones de calle que puedan ser interpretadas por un geocoder como Google, Bing, OSM y geocoders diversos propios de instituciones : callejeros, parcelarios… Esta opción almacena los datos en urbiThings. Para nosotros es genial porque controlamos la seguridad y disponibilidad del dato en todo momento. Pero no siempre las instituciones están de acuerdo en que sus datos residan fuera de sus sistemas y además, alcanzado un cierto volumen máximo de datos, nosotros tenemos que establecer un Plan de Costes, un coste muy pequeño pero un coste. A nosotros el almacenamiento nos cuesta y no tenemos otro remedio que repercutirlo en los usuarios que ocupan mucho espacio.
La segunda es como Servicios de Mapa que utilizan como fuente de datos los propios portales de datos abiertos. De esta forma los datos sólo están en el portal del publicador. urbiThings se limita a proporcionar un servicio que genera un mapa leyendo esos datos remotos y por ello no ocupa su espacio de almacenamiento con esos datos. En todo caso incrementa la carga de sus servidores de mapas para prestar este servicio. Por ahora esta opción no tiene coste alguno. Cualquier organización que disponga de un servidor de datos abiertos con ficheros georreferenciados puede generar en urbiThings un Servicio de Mapa y publicarlo en el Catálogo, junto con los más de 300.000 mapas que ya tiene urbiThings. Como el control del dato lo tiene la institución propietaria estamos un poco vendidos, ya que un cambio de nombre o formato del fichero, una nueva política de datos institucional, una modificación en la URL de descarga o una caída del sistema propietario, implican que el Mapa no se podrá ver por causas ajenas a urbiThings. Será un Mapa con enlace roto que los servicios de urbiThings en algún momento eliminarán.
Publicar mapas en urbiThings tiene la ventaja que se puede escoger cualquier mapa de fondo y superponer sobre los mapas servidos en ese mismo lugar por otras instituciones, no es preciso limitarse a verlo con Google Maps.
Pongamos un ejemplo utilizando datos del portal de datos abiertos de España, el de «Parcelas Feria San Fernando Cáceres 2017» publicado por el Ayuntamiento de Cáceres (https://datos.gob.es/es/catalogo/l01100377-parcelas-feria-san-fernando-caceres-2017) con licencia CC-BY. Si copiamos el enlace al fichero geojson (http://opendata.caceres.es/GetData/GetData?dataset=om:Parcela&format=geojson) en el constructor de Servicios de Mapa de urbiThings:
Pulsando el botón de «Ver Mapa», urbiThings presentará el mapa en su Escritorio:
Si indicamos todos los datos precisos: nombre, territorio, organización propietaria, tipo de licencia, tema del datos… y pulsamos «Guardar» se añadirá al Catálogo un nuevo Mapa:
Un Mapa que será directamente accesible desde su enlace propio: http://urbithings.com/fadc6f6d-d6ca-4251-8a6e-1131705829b6.ms y superponible sobre cualquier otro mapa, en la imagen siguiente sobre la ortofoto de Google y el planeamiento de 2010 de Cáceres:
En otro post haré una pequeña explicación de cómo modificar la simbología del Mapa que acabamos de crear. Por supuesto podemos volver a utilizar el mismo acceso a ese geojson para crear otros Servicios de Mapas con simbología ligada a los datos de sus objetos contenidos. De la misma forma podemos añadir al Catálogo datos en formatos WFS, WMS, REST(ImageServer), REST(MapServer), REST(FeatureServer), SHP, KML, KMZ, GML… Y siempre sin coste, ya que los datos no se guardan en urbiThings, se mantienen en el repositorio de datos de la entidad que los publica.
Hace unos días llegué a una entrada del blog de la IDEE española sobre los sitios más descargados del Portal de la Administración Electrónica (PAE) (http://blog-idee.blogspot.com/2018/05/que-datos-abiertos-se-descargan-mas.html), que presentaba como más descargados los datos de Paro registrado por municipios. Este link me llevó a un excelente mapa del paro por municipios, provincias, comunidades, regiones de la UR y países de la UE, pero con datos de 2016. Por los comentarios parece que su autor no dispone de tiempo para los trabajos de actualización, una pena. La única pega que le puedo poner a ese sitio es que sus mapas no están publicados como servicios OGC por lo que sólo se pueden ver en su web.
Dándole vueltas al tema he pensado hacer algo en http://urbiThings.com que supla esta carencia, no quedará tan molón como el del mapadelparo.com pero creo que será útil. Mi primer intento es el mapa http://urbithings.com/493c36e1-71ad-4900-ae89-dced8825adbe.ms que presenta los datos de paro de diciembre de 2018 por municipios (los últimos publicados por el INE).
Asi que tan pichi me fuí al INE a buscar la tasa de paro por municipios de 2018, pero… no existe. La tasa de paro el INE no la publica por municipios, solo hasta provincias. Bueno, tendremos que calcularla o buscar otra fuente. En la web de Expansión hay una página del desempleo en España https://datosmacro.expansion.com/paro/espana?sc=LAB- que presenta la evolución anual e interanual, también un excelente trabajo, esta vez sin mapas y sin posibilidad de descargar sus datos. No he visto mas fuentes de datos disponibles (aunque tampoco me he empeñado a fondo).
Abocado a tener que calcular la tasa, la Economipedia indica en su página https://economipedia.com/definiciones/tasa-de-desempleo-paro.html que la tasa de desempleo será (número de desempleados/población activa)*100. Sencillo, solo hay que buscar ambos datos y calcularla.
Para el dato de desempleados, el portal de datos abiertos de España nos proporciona los del segundo semestre de 2018: https://datos.gob.es/es/catalogo/e00142804-paro-registrado-por-municipios, permite descargar una hoja Excel que contiene una fila por mes para cada uno de los municipios, con su codigo INE, el dato de paro total y desglosado por sexo, edad y sector de actividad. Un lujo de tabla, parece que la hacen semestral, así que habrá que volver hacia el 16 de julio para ver el primer semestre de 2019 (me lo apunto). Quitamos todas las filas que sobran ya que solo nos interesa el mes de diciembre y todas las columnas que sobran ya que solo vamos a mapificar el dato total.
Ahora hay que buscar los datos de población activa. En este caso el portal de datos abiertos no nos ha servido tan bien como antes, o yo no he sabido encontrar el dato. En todo caso he vuelto al INE a bucear en su INEbase buscando datos de población activa. Así, directamente por «población activa por municipio» no lo hay. Pero en el apartado de «Demografía y Población», dentro de «Padrón. Población por municipios» dentro de «Estadística del Padrón continuo» y en «Principales series de población desde 1998» (http://www.ine.es/jaxi/Tabla.htm?path=/t20/e245/p08/l0/&file=02002.px) es posible acceder a un formulario de consulta para seleccionar Comunidades (seleccionar todas), el grupo quinquenal (seleccionar los activos desde 15 a 64 años), la nacionalidad (¿seleccionar Total o solo Españoles?, yo he seleccionado Total), el sexo (seleccionar ambos sexos) y el año (en este caso 2018).
Al ejecutar la consulta nos devuelve un fichero con extensión .px. No desesperarse, es un fichero PC.Axis (un invento sueco), una pequeña base de datos que se consulta descargando del INE la aplicación PC-Axis (https://www.ine.es/ss/Satellite?L=es_ES&c=Page&cid=1254735116596&p=1254735116596&pagename=ProductosYServicios%2FPYSLayout) e instalándola en el PC. Una vez instalada nos permite seleccionar los municipios (seleccionar todos) y los grupos de edad, al ejecutar la consulta genera una tabla de datos que es posible guardar en formato Excel. Tiene el pequeño inconveniente de que junta el codigo INE y el nombre del municipio en un solo campo, así que hay que hacer ahí un pequeño trabajo para sacar los codigos INE (=izquierda(a2;5) en una columna separada y sumar los grupos de edad «activos» para obtener la población activa por municipio.
Tras este trabajillo de minería de datos ya tenemos los dos datos de partida, solo queda juntarlos entre sí y luego añadirles la geometría municipal. Juntarlos debería ser sencillo ya que en ambas tablas está el codigo INE. Yo lo he hecho pegando la tabla de población activa dentro de una hoja nueva en la tabla de desempleados, añado a la hoja de desempleados una columna con el dato de poblacion activa y una fórmula para buscar ese dato en la hoja de población, algo así como («=INDIRECTO(DIRECCION(COINCIDIR(G2;’pob activa’!$B$2:$B$8125;0)+1;3;;;»pob activa»))») donde G2 es la columna del codigo INE de la hoja de desempleo y pob activa’!$B$2:$B$8125 es la columna de codigos INE de la hoja de población activa. Antes hay que tener la precaución de que en ambas tablas el código INE sea un campo de texto de cinco posiciones con ceros. En la hoja de desempleo el codigo INE nos llega como números, unos de cuatro y otros de cinco posiciones, para normalizarlos yo lo sustituyo poniendo ceros donde faltan con la formulilla (=izquierda(«00000»;5-largo(g2))&g2) de forma que en ambas tablas el codigo INE tenga el mismo formato.
Con todos los datos juntos solo queda crear una columna con la tasa de desempleo utilizando la fórmula indicada al principio.
Para añadir la geometría hay varias opciones, se puede utilizar ArcGis y sus funciones para unir una geometría de municipios (el mismo INE en la página del PC.Axis proporciona la descarga en formato SHP de los municipios, provincias y comunidades de España) con la hoja de datos de desempleo. El problema es que hay que comprar ArcGis. Se puede utilizar qGis, que es gratuito, utilizando el componente «Unir atributos por valor de campo». Seguramente también se puede utilizar svGIS aunque yo no le he probado.
En nuestro caso he utilizado urbiThings. Como fuente de datos de geometría se puede utilizar el SHP del INE «esp_muni_00.shp» antes mencionado o bien bajar de urbiThings un Conjunto de Datos denominado «Base de Municipios de España con CodigoINE», se puede localizar en la pestaña de «Elementos» del Buscador y utilizar la opción de «Descargar Fichero».
Una vez dispongamos de un SHP que tenga una columna con codigo INE normalizado (recordad de cinco posiciones con ceros) se sube a urbiThings como Conjunto de Datos utilizando la función «Importar Conjunto de datos»:
urbiThings nos pedirá el Tema estándar (el tema al que se refiere el conjunto de datos) y el territorio donde se ubica, dos datos que luego son importantes para encontrarlo. También podremos asignarle el nombre que se estime conveniente. Yo suelo utilizar un nombre que incluya el tema concreto, la fecha y la fuente.
Una vez creado en urbiThings nos podrá servir de base de geometría municipal para cualquier otro Conjunto que tengamos ahora o en el futuro (mientras no haya cambios en la estructura administrativa de España). Por ahora lo usaremos para combinarlo con nuestra hoja Excel utilizando la opción «Combinar con Excel» para crear un Conjunto nuevo que tendrá las geometrías del Conjunto de base y las columnas de la hoja de desempleo:
urbiThings nos pedirá el nombre del nuevo conjunto, el fichero Excel a combinar, el campo del Conjunto base con el codigo INE, el campo de la hoja Excel con el código INE, el Tema y Territorio al que corresponde el nuevo Conjunto. Al pulsar «Guardar», urbiThings realiza la combinación y crea el nuevo Conjunto. En nuestro caso yo lo he llamado «Paro en España a diciembre de 2018 (fuente INE)».
Para urbiThings ese nuevo Conjunto es una fuente de datos, su contenido se puede ver o editar con las opciones de «Editar Propiedades, Datos o Geometría», que nos ayudarían a pulir algún dato si fuese necesario. Pero para publicarlo como un Mapa es preciso utilizar la opción de «Generar Servicio de Mapa». Con ella crearemos un servicio OGC WMS que representa el contenido del Conjunto de Datos con una determinada simbología. Por tanto podemos crear tantos Servicios de Mapa como sea preciso utilizando como fuente el mismo Conjunto de Datos. Para mi caso yo he creado el Mapa utilizado el método «Graduado» partiendo la tasa de desempleo en cinco clases de la misma forma que hace el mapadelparo.com:
Una vez guardado, el nuevo Mapa será inmediatamente visible en el Buscador de Mapas (mientras se le haya asignado una licencia que lo permita) para todo el mundo:
Como servicio OGC es accesible desde cualquier sistema que los admita, en la imagen siguiente se observa este mismo mapa sobre QGis.
La URL del servicio es directamente accesible al editar la propiedades del Servicio de Mapa en urbiThings.
Desde urbiThings intentaremos publicar y mantener al día aquéllos datos sobre España que tengan más interés, dada la sencillez y facilidad con que se pueden extraer y manejar (aunque a veces sean precisos unos pocos trucos de minería de datos).
Hace unos días tuve el honor de participar en una Mesa de Debate en el II Congreso Nacional de Municipios y Ciudades Inteligentes celebrado en Tlalnepantla de Baz (México) dedicada al tema «Innovación, Estrategias, Plataformas Tecnológicas y Herramientas Digitales para la Ciudad y su Conectividad». Donde hablé un ratito sobre los temas que siempre me preocupan. En esta entrada os adjunto los textos que preparé para esa intervención, aunque lo que dije no siempre coincidió con lo preparado (las cosas de soltar un discurso de memoria por un orador sin memoria).
La ciudad es como una como empresa, una empresa que mientras es un pequeño negocio su propietario tiene todos los números en la cabeza: conoce de memoria el contenido de su almacén, recuerda quién le debe dinero y no necesita abrir los sobres que le manda el banco para conocer su saldo. Cuando la empresa crece todo se complica, el propietario empieza a depender de otras personas, aparecen multitud de departamentos, lo que antes eran pasos sencillos ahora son procesos complejos. Crecer siempre me ha traído problemas.(más…)
En una entrada, ya antigua, de este mismo blog (¿Vamos bien encaminados para llegar a la ciudad inteligente?) hice algunos comentarios sobre el proceso de cambio, los nuevos dispositivos y los medios de implantación de la Smart City. Creo que aún son vigentes. Pero en esta entrada quiero profundizar un poco más para responder a las preguntas sobre el desarrollo de una Smart City: Quién, Cómo, Cuándo y Qué se debe hacer.(más…)
En los últimos meses el desarrollo de urbiThings ha avanzado de forma notable, por fin vamos viendo lo que será una auténtica plataforma GIS en la nube y un Catálogo global de geoservicios. En este post haré un repaso breve de las nuevas funciones y un avance de lo que esperamos que esté disponible en este año 2018.(más…)
We use cookies to optimize our website and our service.
Functional
Siempre activo
El almacenamiento o acceso técnico es estrictamente necesario para el propósito legítimo de permitir el uso de un servicio específico explícitamente solicitado por el abonado o usuario, o con el único propósito de llevar a cabo la transmisión de una comunicación a través de una red de comunicaciones electrónicas.
Preferencias
El almacenamiento o acceso técnico es necesario para la finalidad legítima de almacenar preferencias no solicitadas por el abonado o usuario.
Statistics
El almacenamiento o acceso técnico que es utilizado exclusivamente con fines estadísticos.El almacenamiento o acceso técnico que se utiliza exclusivamente con fines estadísticos anónimos. Sin un requerimiento, el cumplimiento voluntario por parte de tu proveedor de servicios de Internet, o los registros adicionales de un tercero, la información almacenada o recuperada sólo para este propósito no se puede utilizar para identificarte.
Marketing
El almacenamiento o acceso técnico es necesario para crear perfiles de usuario para enviar publicidad, o para rastrear al usuario en una web o en varias web con fines de marketing similares.
