OpenStreetMap

santamariense's Diary

Recent diary entries

A tool to join CSV data into OSM file

Posted by santamariense on 3 August 2019 in English. Last updated on 4 August 2019.

After facing some situations where I (or somebody else) had to update a bunch of tags or even bring new ones to OSM, without having to modify geometries themselves, I decided to create a tool that was able to automate the process.

OSM CSV Appender is a simple tool that merges a CSV file into an OSM file. It can be used to import data to OSM, or even to map tags associated to a set of geometries in offline mode that, when ready can be appended to OSM and sent in only one changeset.

There are two ways to join the files. One is matching tags between files and another is matching the id of the geometries.

This tool was developed to be used with JOSM, to prepare OSM files before the appending process. After the process it is used to assess the OSM file quality and to upload the changeset. Now talking about the CSV file, you will need a CSV file editor like LibreOffice Calc and/or GIS programs like Qgis to prepare data and generate CSV files for you.

Although OSM CSV Appender joins files for you, it is very important to assess the quality of the results. To help you with this process the tool also generates a CSV file which contains the usage count of each row in CSV file by each geometry type (node,way and relation).

This tool is documented in OSM CSV Appender on OSM Wiki

Suggestions and feedback of errors are welcome.

Tool's Graphical interface

Completei no dia 20 de janeiro de 2018 meu conjunto de modificações de número 2 mil. E por volta deste horário da postagem há 5 anos atrás fiz minha primeira edição no OSM. Só não esperava que ia me envolver tanto com o OSM, uma simples edição se tornou hoje no meu principal hobby e não só isso, o OSM também me levou a conhecer melhor o mundo das Geotecnologias.

Entre a edição de 1k e 2k estive focando, em um primeiro momento, apenas na continuação do mapeamento do município de Santa Maria / RS, onde moro, e ajudei com muita geometria adicionada ao mapa. Mais recentemente (há quase um ano), mobilizamos um grupo de mapeadores do estado do Rio Grande do Sul e então meu foco se abrangeu para todo o estado, onde tenho ajudado, dentre outras tarefas, em: Desenhar casario urbano, refinar limites de municípios, delimitar os distritos (essa já acabamos :) ), delimitar bairros, completar arruamentos urbanos, completar estradas públicas, completar a malha de cursos d’água e mapear as linhas de ônibus do transporte público intermunicipal.

Queria poder lançar um auto-desafio de ajudar no mapeamento do RS completando 1 milhão de buildings adicionadas até minha edição de número 3 mil, contudo teria que dedicar changesets quase que apenas a isso. Então minha meta até a edição de número de 3k fica sendo continuar ajudando nas diversas tarefas do Grupo OSM RS. Quanto a minha meta de 1 milhão de buildings estou quase em 1/4 da meta na data de hoje, como vou continuar mapeando buildings, fica quiçá esta meta para até minha changeset de número 4k…

Para finalizar, digo que quero poder logo completar a fase de grande inserção de geometrias, para poder enfim focar mais na inserção de tags nas geometrias existentes num futuro próximo, e voltar minhas edições novamente para casa, mapeando menos objetos, mas com mais detalhes…

Location: São Valentim, Santa Maria, Região Geográfica Imediata de Santa Maria, Região Geográfica Intermediária de Santa Maria, Rio Grande do Sul, Região Sul, 97145-000, Brasil

Terminei já há alguns meses o mapeamento de Setores Censitários no município de Santa Maria, RS, Brasil.

Algumas curiosidades:

  • Muitas delimitações do IBGE estão muito desalinhadas
  • Existem buracos no mapa que não é coberto por nenhum setor censitário
  • Algumas vias do OSM pude então nomear segundo a descrição dos limites de setores censitários.
  • Dois setores censitários tem população Zero.
  • O setor com a maior predominância de homens é o compreendido por um presídio. 548 homens e 58 mulheres.

No próximo recenseamento estarei pegando a delimitação dos setores e exportando para o OpenHistoricalMap, até por que a geographia do hoje pode ser a história do amanhã.

Delimitação dos setores: http://overpass-turbo.eu/s/9zr

Minha meta maior no momento é “terminar” de adicionar todas as sangas, rios, córregos e afins do município.

Quanto mais eu mapeio, mais vejo que há muito o que mapear.

Setores Censitários de SM

Location: Recanto do Ipê, Pains, Santa Maria, Região Geográfica Imediata de Santa Maria, Região Geográfica Intermediária de Santa Maria, Rio Grande do Sul, Região Sul, 97001-970, Brasil

Terminei hoje um trabalho que durou meses. Em vários momentos estive exaustivamente desenhando a geometria básica das buildings (building=yes) de Santa Maria, RS, Brasil. Graças ao JOSM e o plugin building_tools pude realizar a tarefa com maior agilidade.

Inicialmente estava desenhando as buildings apenas quando tinha detalhamento da construção para adicionar ao mapa. Agora com as buildings prontas fica bem mais fácil sair a campo recolher dados, quer em mapas impressos, quer em aplicações GPS, como o OSMAnd que eu uso muito para fazer notas a campo em deslocamentos do dia a dia.

Bairro a bairro fui georreferenciando. Muitos seriados estive assistindo enquanto preenchia o mapa. Alguns bairros fiz em partes. Em outros fiz em uma única changset, como em alguns casos que passou de 20 000 objetos em uma unica changeset. A dica que eu dou para quem for se aventurar a mapear buildings é que não baixem dados do OSM. Apenas adicione uma nova camada no JOSM e vai desenhando com o buildings_tools, vai salvando no computador, e quando completar uma área, envia ao OSM.

O interesse de um engenheiro eletrecista em usar as buildings do OSM em um projeto de eficiência energética me motivou a acelerar a adição de buildings. Quando decidi completar as buildings bairro a bairro decidi começar pelos que tinham a menor quantidade delas, partindo das periferias em direção ao Centro. Quando acabei as áreas urbanas, parti para o preenchimento das áreas rurais. Na zona rural tive que criar linhas para demarcar as áreas já mapeadas a fim de não esquecer nenhum local.

Não vou dizer que adicionei 100% das buildings porque isso é impossível. Há pequenas áreas com nuvens, mato fechado, casas que não constam nas imagens de satélite ainda. Inclusive estive achando uma quadra inteira que ainda não haviam sido adicionada as buildings ainda enquanto coletava dados nas ruas.

Agora que já se tem as buildings estarei focando na coleta de dados. No Duque de Caxias, por exemplo, já tenho dados do bairro inteiro que recolhi com o mapa impresso, já adicionei os endereços ao OSM, porém falta o processamento de áudio para detalhar as construções, lojas, e outros dados.

Por fim, com o uso do QGis pude obter a informação que o mapa do Município de Santa Maria no OpenStreetMap está com 97 635 buildings. Filtrando do OSM só as buildings, com o Qgis obtive:

Distribuição das buildings em Santa Maria

Para ver o mapa em tamanho A0, baixe em: http://i.imgur.com/yFjfzzL.jpg

Meta alcançada. Continuo mapeando, porque ideias do que mapear não me faltam, nem dados, graças a Deus. Avante OpenStreetMap!!!

Location: Centro Histórico, Sede, Santa Maria, Região Geográfica Imediata de Santa Maria, Região Geográfica Intermediária de Santa Maria, Rio Grande do Sul, Região Sul, Brasil

Hoje me veio esta luz e decidi refletir sobre isto e compartilhar com vocês meus pensamentos.

Próximo a minha casa há uma sanga e nunca na minha vida ouvi falar que ela tinha um nome. Era, apenas a “sanga”. Quando já adulto, tomando gosto por mapeamentos, por melhor conhecer o município onde moro, acabei descobrindo que há um nome, ou pelo menos o IBGE tem um nome pra ela. Depois desta descoberta passei a incorporar este nome no meu vocabulário e transmitindo este conhecimento, outras pessoas passaram a usar este nome também.

Então surge uma questão: O fluxo de conhecimento não deveria ser em sentido contrário? Que da cultura popular surgisse um nome para esta sanga?

Sempre gostei de mapas. Até hoje tenho mapas impressos do município que sempre gosto de ver. O fato é que muito da geografia do município aprendi por estes mapas. Alguns nomes geográficos, que até nem conhecia, aparecem nas mais variadas fontes de mapas e, muitos nomes parecem ser desconhecidos, esquecidos, unusuais, ou “devorado por povoação mais complexas que, ao se estabelecerem, receberam um novo nome”.

Eu absorvi boa parte deste conhecimento como sendo verdadeiro. Eu conheci muito da minha cidade a partir deles. Daí vem uma questão: Estou eu violando direitos autorais ao pôr nome em um objeto no OSM que eu assimilei ter este nome, muitas vezes sem saber de onde tenho este conhecimento? Sem ao menos ir lá em outro mapa, copiar, ir no OSM, colar?

Daí vem aquela questão que abordei em alguns diários atrás. Se eu aprendi o nome errado de uma rua, por exemplo, em determinado mapa, absorvi aquilo como verdadeiro, passei a usar aquele nome no dia a dia para explicar onde fica tal lugar, …Estou eu violando direitos autorais, e sujeito a ser enquadrado como bandido pela lei “Easter Egg”?

Não estou eu aqui querendo salvar a pele de ninguém, e nem ao menos generalizando, até porque cada caso é um caso. Mas é algo que existe e precisa ser refletido.

Como exemplo cito o caso da empresa Esmeralda Espaço de Festas, que usa como endereço o nome de Rua João Pereira Henrique, enquanto que, na verdade é Travessa João Pereira Henriques (nome oficial). E se formos investigar a fonte deste nome, descobre-se que usam o nome errado (ou ao menos não oficial), o Google e o Waze.

Tenho conhecidos que também usam verbalmente este nome, provavelmente aprenderam erroneamente no mapa do Google/Waze. Mas que, pela astronômica grandeza de uma empresa, o que é errado vai sendo absorvido ao longo do tempo como verdade… - Daí eu pergunto, é violação de direitos autorais colocar no OSM este nome como nome alternativo da rua se ele foi incorporado ao dia a dia das pessoas?

Um caso diferente, que conheço aqui em Santa Maria, é o caso da Estrada José Santo Fighera. O nome da pessoa homenageada é este. Há uma placa com este nome na esquina com A RSC-287 e outra com a RS-511 - provavelmente afixada pelos próprios descendentes. Fighera é com h mesmo, e é o sobrenome de uma família do local, onde é fabricado o Arroz Fighera. Santo é um nome e não sobrenome, como em Santos. Daí que ao longo dos anos foram distorcendo este nome pela própria legislação municipal. O nome oficial dela agora é José Santo Figueira. Uns até utilizam José dos Santos Figueira.

Então volto eu ao caso da João Pereira Henriques. Será que o nome dele (pessoa) não era com final sem “s” mesmo, e a prefeitura modificou seu nome ao oficializá-lo? E que no final das contas quem sabe não foi um morador daquela rua que contribuiu com o google/waze e colocou este nome porque conheceu o homenageado pelo nome da rua? Porque afinal de contas já vi pessoas utilizar este nome e se formos pegar como exemplo a José Santo Fighera percebemos que isto pode sim ter acontecido.

Enfim, o que se observa pela internet de um modo geral, e isso se aplica também a mapas, é uma nuvem de conhecimentos onde a verdade das coisa (dos objetos em mapa) tendem a ser estabelecida pela “maioria de votos” ou por “quem grita mais alto” (mega empresas internacionais), estando eles certo ou errado.

Fiz a tradução para Pt-Br sobre o wiki do aplicativo. Confira:

“BucketMan - coloring your city” (“BucketMan - colorindo sua cidade”) é um jogo para dispositivos móveis que é similar ao Pac-Man mas o cenário é as ruas do mundo real. Atualmente ele só foi elaborado para dispositivos com Android. Mas em breve você também poderá jogar em seu IOS. O jogo está em seu estágio beta e pode ser baixado na playstore. Ou também pelo site oficial do game. Você pode ver o video de divulgação do game em português (Pt-Br) no youtube.

O Jogo:

No jogo você controla o BucketMan para colher água e tintas de modo a evitar que os VIA (Veículos de Inteligência Artificial), em inglês AIV’s, dirijam pela cidade com um unico objetivo: dirigir o máximo possível, congestionando a cidade. Você pode pular sobre os AIV´s e recolher tintas para pintá-los, deixando-nos inofensivos. Você pode desbloquear as supertintas para ficar o “hulk” e daí quem atropela os carros é você. Dependendo da cor, você tem a recompensa. Durante o jogo você pode mudar a água e as tintas para melhorar as habilidades (velocidade, tempo de pulo, …) e as características (tempo de vida, entre outros).

O tempo não pára e você precisa coletar água para poder passar de fase, com a água você ganha tempo, e matando os AIV’s também.

Há dois principais modos de jogo: Missões e sobrevivências. Nas missões você tem que fazer as tarefas, como pular sobre 8 AIV’s, pintar certos AIV’s de determinadas cores, matar um certo número de AIV’s de uma específica cor, …

No mapa de sobrevivência você simplesmente tem que… sobreviver. Aqui você pode coletar águas e tintas para deixar seu BucketMan melhor. Existe também um ranking mundia via Google Play Game Services para mapas salvos, onde constam as pontuações de cada mapa. Além dos mapas salvos você pode também jogar os mapas online do local onde você está (desde que haja conexão com a internet e GPS).

Os mapas online são enviados pelos usuários de todo o mundo. Cada mapa online tem seu próprio ranking que permite uma batalha pelo comando de seu bairro.

Links:

*Link para o vídeo no youtube (Pt-Br)

*Link para o vídeo no youtube (En)

*Site oficial do game:

*Link para baixar na PlayStore

Na noite do dia 26 de janeiro de 2013 conheci o OpenStreetMap. No perfil do meu usuário consta 27 de janeiro, mas creio que o horário deve ser o de Londres, portanto aqui ainda era 26. No dia 27 de janeiro ocorreu o sinistro mais marcante da Cidade Coração do Rio Grande, o Incêndio da Boate Kiss e, por isso sempre me lembro do dia que conheci o mais promissor mapa que o mundo já conheceu.

Esta edição de #1000 ocorreu por acaso, devido a ter que salvar os dados no JOSM e reiniciar, porque as vezes ele dá bug e nem baixa, nem envia dados. Ao colocar para enviar os dados, esqueci de configurar para um changeset existente. E isso não ocorre somente com o JOSM, as vezes utilizo o Potlatch 2 no modo avançado (quando o JOSM não está ao alcance) e acostumado com o JOSM dou Ctrl+C querendo copiar algo e acabo por fechar o changeset.

Como disse o usuário naoliv, o número de edições não diz muita coisa. Em uma edição você pode apenas mudar um ponto de lugar, ou desenhar todas as ruas de uma cidade, então isso não importa muito, e sim o quanto a gente contribui para o OSM. Quando estava lá pelas edições de 900 e algo conheci o “How did you contribute to OpenStreetMap ?” e para a minha surpresa estava entre os 1400 mapeadores mais assíduos do OpenStreetMap. E olha que somos mais de 2 milhões!!! Então por meta pessoal decidi acelarar as colaborações para chegar as 1000 edições entre os 1000 mapeadores que mais contribuem segundo o HDYC, e acabei por estar entre os 800 que mais mapeiam hoje (#795 N, #747 W, #433 R).

O HDYC leva em consideração apenas as variáveis número de nós, linhas e relações. Não conta o tempo dedicado às idas a campo coletar dados, o tempo divulgando o OSM para quem tem potencial em usar ou contribuir ao projeto, entre outras variáveis. E o que vale mais: A criação de 2000 nós para limitar uma área de mato ou a adição de 1 nó para indicar um hospital? Chega-se então à conclusão que todas as contribuições de boa fé são boas e bem vindas e, o que vale sim é contribuir seja um pouco ou seja bastante.

Durante estas 1000 edições concentrei esforços para detalhar o município que moro (Santa Maria, RS) e onde fiz a maioria das minhas edições. Tenho mapeado o município de forma a abordar todos os cantos, quer zonas rurais ou urbanas. Alguns usuário se concentram em mapear estradas, outros matos, outros… Eu me concentro em mapear um local e tudo que se pode nele mapear. Minhas idas ao wiki do OSM é frequente em busca de tags, porque seguidamente me deparo com coisas a adicionar ao mapa que não havia adicionado ainda.

Quanto aos editores usados, comecei com o padrão da época do início de 2013, o Potlatch 2, com o qual fiz mais da metade das minhas edições. Das minhas edições. Mas não certamente com o qual adicionei mais dados ao OSM. Após muita relutância em desapegar do Potlatch 2, por sugestão de outro grande colaborador da cidade, o usuário portal aventura, comecei a usar o JOSM e passei a descobrir as poções mágicas (plugins) que facilitam as edições no mapa.

Não. O JOSM não é na minha opinião o melhor pra tudo. Também já editei com o ID, mas entre os editores online ainda prefiro o Potlatch 2 no modo avançado porque geralmente quando edito é para contribuir com dados em massa. O Vespucci é excelente editor para android que já usei. A gente sai com o celular por aí e edita o mapa na rua sem precisar levar anotações para casa, mas como já disse ainda há muitas informações em massa quando vou a campo e por isso não é muito útil para o momento. Quem sabe quando o mapa de Santa Maria estiver “completo” eu passe a usar mais o ID e o Vespucci para fazer uma ou outra pequena edição. E para encontrar dados ainda não mapeados no OSM dentro de um local aparentemente completo, os editores online são os mais indicados. Também tive duas edições com o OSMAnd, não me perguntem o que, espero não ter estragado o mapa. Adoro o OSMAnd (meu navegador de bolso), mas o que eu gosto mesmo é de editar os dados na camada “código-fonte” e não em editores que colocam uma camada amigável entre você e o mapa. Por isso, também vi potencial no Level0 onde por ele terminei de colocar as tags população, IBGE:GEOCODIGO, wikipédia e wikidata aos bairros da cidade que ainda não as tinha.

Vamos então a cidade a qual tenho colaborado (junto com outros usuários obviamente). Santa Maria tem entre alguns objetos (quase que) inéditos em relação ao total do Brasil já mapeados:

  • 10% das árvores (natural=tree)
  • 84% das cor de telhas em contruções (roof:colour)
  • 10% dos do número de andares em construções (buildng:levels)
  • 82% das cores de contruções (buildng:colour)
  • 83% do material das contruções (building:material)
  • 89% do material da cobertura de contruções (roof:material)
  • 39% do telefones públicos com número (amenity=telephone) + (phone) ou (contact:phone)
  • 13% do formato da cobertura de contruções (roof:shape)
  • O único a ter da numeração de apartamentos. Há outro em Lajeado, no mesmo estado, mas creio que que foi mal tagueada, o certo seria addr:door.
  • Junto com Presidente Venceslau, os únicos municípios a terem o mapeamento de setores censitários. Aqui em Santa Maria está a meio caminho andado.

E olha que a população de Santa Maria não chega a 0,15% da população do Brasil e nem a 0,021% do seu território.

Decidi mapear essas peculiaridades porque percebi que administrava mal o tempo a campo quando saia para coletar numeração de casas. Então para aproveitar melhor a oportunidade anoto a numeração de casas no OSMPad, ou em mapa impresso, e levo sempre um gravador de voz onde descrevo as construções com o numero da casa, cor, andares, material das paredes e material da cobertura e se tem algum escritório ou comércio, anoto o nome, contatos, horários de funcionamento e muito mais. Isso sem gastar mais tempo pois anotar algo em áudio é rapidíssimo. Aproveito a ocasião para descrever paradas, de ônibus, restrições de conversão, quebra-molas, faixa de pedestres e muito mais.

E sobre os setores censitários, olha só que interessante: Não tá nada difícil fazer isso pois a maioria de suas delimitações (ruas, sangas, cercas, alinhamentos) já estão no mapa. Uma informação já existente no mapa facilita a vinda de novas.

Mapear no OpenStreetMap é um bom passatempo. Ver um local se colorindo e dados constarem no mapa edição após edição é muito divertido e gratificante.

Então… Que venham as próximas 1000 edições.

Location: Rincão do Fundo, São Valentim, Santa Maria, Região Geográfica Imediata de Santa Maria, Região Geográfica Intermediária de Santa Maria, Rio Grande do Sul, Região Sul, 97070-090, Brasil

WhoDidIt Feed

Há já um meio ano que descobri o WhoDidIt Feed, que é uma maneira muito útil de saber por meio de RSS quem modificou o que em uma dada região. Rodo o RSSOwl diariamente e infelizmente sou o único na região que tem mapeado com afinco. Há também um alimentador onde se pode saber de novas notas e outro que se pode saber de novos usuários no OSM, ambos gosto também.

Pois bem, o WhoDidIt Feed falha num ponto: Ele não acusa modificações se elas ocorrerem somente em tags, ou seja, se for modificada, apagada, ou incluída nova tag, sem que se crie ou modifique as coordenadas de um ponto.

Alguém saberia de outra ferramenta que poderia usar para acompanhar isso? Ou até mesmo incluir esta função no WhoDidIt Feed?

Olá a todos, Essa é a minha primeira postagem no diário visto que prefiro ocupar meu tempo livre traçando pontos aqui no Rio Grande do Sul, principalmente na cidade de Santa Maria. Não é a primeira vez que vejo isso, mas desta vez resolvi postar. Observando o itinerário de uma linha afixada numa folha A4 com uma imagem de satélite do Google Earth dentro de um ônibus observei que ao anunciar o itinerário modificado de uma linha eles chamam a “Estrada Eduardo Duarte” de “Estrada Antônio Inácio de Ávila”. Isso é um erro do Google Maps (talvez feito pelos próprios editores do Google MapMaker) e de onde muio provavelmente obtiveram o nome da rua. Uma que depois que conheci o OSM tenho abolido Google Maps da minha vida. Mas fico imaginando o quanto as pessoas são influenciadas pelo Google Maps de tal forma que as inverdades da Google se tornam verdade. Empresas multibilionárias fazem a verdade do mundo. Quando ouço alguém dizer “Ela se separou mas ainda tá com o sobrenome do marido no face”, brinco: “Claro. Mudando o nome no Face tá resolvido. Que importa mudar os documentos?!?!?!”. Assim é o Google Maps… o que importa se uma rua tem um nome (muitas vezes oficial determinada por lei) se vem “O Mapa” e diz que é outro nome?!?!?! Não vou fazer aqui a caveiro do Google e do Facebook, até porque se estão no topo é porque merecem (ou não!). Mas as pessoas tem que parar para refletir nas versões de mundo do Google Maps e usar alternativas como esse magnífico projeto que é o OpenStreetMap. O mundo precisa do OpenStreetMap!!!! Como não posso mudar o mundo. Aqui sigo eu detalhando a cidade onde moro, um trabalho de formiguinha mas certo que estou fazendo a minha parte para um mundo melhor…

Minhas estatísticas de contribuição: http://www.hdyc.neis-one.org/?JP%20Nunes

Location: Diácono João Luiz Pozzobon, Sede, Santa Maria, Região Geográfica Imediata de Santa Maria, Região Geográfica Intermediária de Santa Maria, Rio Grande do Sul, Região Sul, Brasil