OpenStreetMap

d1g's Diary

Recent diary entries

OpenStreetMap не исключение.

МВД РФ не может работать 24/7 для целой планеты.

Нужны нормальные юр. лица. Нужны нормальные графики работы.

Законы в США или Ирландии это шутка. Где сейчас сервера OpenStreetMap стоят?

Я за тегирование по законодательству каждой из стран.

Законодательство РФ использует русский язык как один из государственных языков в РФ.

В английском языке и англоязычных странах не было столько троллейбусов.

Про международные стандарты это более тонкая тема для отдельного разговора.

Ключа “это” не было в OpenStreetMap. Был пяток-десяток других, у которых мало смысла.

https://taginfo.openstreetmap.org/keys

Тегов OpenStreetMap никогда не было достаточно для описания даже троллейбусной сети в РФ.

Лично я слежу за OpenStreetMap около 15 лет.

Вывод только один.

OpenStreetMap это преимущественно любительский проект. Не нужно его оценивать слишком высоко.

Не нужно слишком долго искать смысл в тегах OpenStreetMap. Не нужно слишком долго искать смысл в процедурах OpenStreetMap.

https://www.openstreetmap.org/user/d1g/diary/39847

Я чудовищно заблуждался в этих “чудо” проектах от Bomis (Wikimedia Foundation). Я чудовищно заблуждался в умалишённом фанатике Jimmy Wales из США-Великобритании.

Я чудовищно заблуждался в способностях МВД РФ. Я чудовищно заблуждался в способностях ФСБ РФ. Я чудовищно заблуждался в способностях Генеральной прокуратуры РФ.

Все привыкли что Achavi это простой просмотр одного пакета правок, но Achavi приблизился по возможностям к overpass-turbo (неудивительно, ведь они основываются на одном бэкэнде)

Просмотр всех изменений от одной даты до другой

Лично я считаю такие средства мониторинга как живой поток обновлений и RSS подписки утомительными.

Да, черт возьми, не могу я знать всех изменений в 60К объектах или прочитать их не оставшись без свободного времени.

Я могу следить за объектами которые я знаю и использую. Я могу следить за небольшой территорией. Я не знаю весь Питер, всю Москву, Нью-Йорк или это Токийское чудовище с два Пекина по населеню и почти Нью-Йорк по площади.

Вот так выглядит теперь заголовок инструмента:

  1. дата “откуда” начать (в формате 2016-03-01 00:00)
  2. дата конца (в том же формате) или специальное слово “now”
  3. специальный фильтр объектов

Если вы не будете ничего вводить в 3 поле, то вам покажут все изменения с начала марта 2016. Но иногда таких изменений слишком много, поэтому придумали специальный фильтр

специальный фильтр объектов

Делаем все то же самое что и в простом случае, но теперь вводим в фильтр объектов:

  • Изменённые точки и линии с тегом shop:

    `(node[shop](bbox)(changed);way(bbox)(changed););`
    
  • Изменённые точки с тегом shop:

    `(node[shop](bbox)(changed));`
    

Повторим тоже самое в overpass-turbo:

changed это специальный синтаксис для изменённых объектов

  • всё те же изменения точек с тегом shop: [adiff:"2016-02-29T21:00:00Z"][out:xml]; ( node["shop"]({{bbox}})(changed); ); out meta;
  • чуть сложнее проверка адресных номеров (addr:housenumber) у точек и линий между двумя датами: [adiff:"2016-02-29T21:00:00Z"][out:xml]; ( node["addr:housenumber"]({{bbox}}); way["addr:housenumber"]({{bbox}}); ); out meta;

Чем меньше интервал вы выберете, тем меньше сервер будет думать, поэтому начитайте с малых дат. Для 5-30 дней может сработать за 5 секунд, а за два месяца - уже и за минуту не выполнится.

Инструмент не безотказный, но у больших компаний (привет славным инженерам Яндекса и Гугла!) нет даже такого. От слова совсем.

I nominate A-lex-W (http://hdyc.neis-one.org/?A-lex-W ):

  • 520K changes per 6 months
  • 462356 nodes created per 6 months

Any bets on numbers when he finally celebrates first year in OSM?

Based on his edit history, I would say he experiences lag during mapswipe more often and possible solution would be to disable filling (W) automatically during map move.

PS. I also discussed auto-save during map move, but I’m not sure if importance of this feature was understood correctly, so I bolded it now: https://github.com/openstreetmap/iD/issues/2749#issuecomment-135950771

One example would be “addr:housenumber”=”6212” http://overpass-turbo.eu/s/eEp

  • 6212 in 60 meters from 1403 (and also different streets)
  • Buildings in Ausin,TX follow odd/even rule but housenumbers start from 6K: 6212 6212 6212 - unless buildings were demolished, all streets in Europe start with 1 or 2… But not 6200 or similar

all of them are absolutely chaotic (to a typical European person) and different from this picture: or even this picture:

There http://taginfo.openstreetmap.org/keys/addr%3Aconscriptionnumber#map but what tag to use in US?

https://en.wikipedia.org/wiki/House_numbering#North_America addressing is very different from European. IMO we should develop geocoders with respect to European style and NA style (mix of grid and proximity and some European rules). By this, I mean sophisticated rules for European scheme AND sophisticated rules to NA scheme. But not rules that can process all addr:housenumbers with respect to all addressing styles (they will be overcomplicated with special cases for every territory or dumb and simply process housenumbers as text).

I think easiest way to get better software and development process is to use separate tags and NOT leave this mess to data consumers under “addr:housenumber” sauce. Another example of this mess would be in https://en.wikipedia.org/wiki/House_numbering#Portugal:

In Portugal, the European scheme is the most commonly used house numbering style. However, in Porto and several other cities in the Portuguese Northern region, houses are numbered in the North American style, with the number assigned being proportional to the distance in meters from the baseline of the street.

Location: Jewell County, Kansas, United States

В продолжение ввода подъездов/квартир с OsmAnd где он вручную указывал “fixme=квартиры”. Этот шаг можно упростить и автоматизировать выполнив поисковый запрос в JOSM

("building:part"=yes or building=apartments or building=residentail or building=house) - (parent "addr:flats"=*)

Вся хитрость в том, что после того как мы выбрали все “жилые” или интересные нам здания, нам нужно исключить (операция “-“) те, у которых есть ребёнок с ключом “addr:flats”.

Я не опечатался, запрос нужно читать наоборот, ребёнок: для мультиполигона - линия или точка, для линии - только точка. Ещё раз код ниже значит:

- (parent "addr:flats"=*)
  1. исключить линии, у которых есть хотя бы один ребёнок (точка) с ключом “addr:flats”=
  2. в добавок к 1, исключить мультиполигоны, у которых есть хотя бы один ребёнок (точка или линия) с ключом “addr:flats”=

PS. Любителям составления запросов предлагаю продолжить как бы выглядел запрос “выбрать жилые здания с отличным от 1, 2, 3, 4, 8 количеством детей addr:flats” в overpass такое сделать будет проще.

Lets tone down mutually offensive and insulting statements with Harry Wood

Posted by d1g on 24 September 2015 in English. Last updated on 25 September 2015.
  • Not sure how title this post
  • I send a message to Harry to join this post instead of discussing it in PMs

We definitely should have this discussion 3-4 months earlier, but I hope it’s never late

Me: > I mean, Harry. I don’t want to offend you. Or anyone. Why I have to prove that I’m sane person after you ban me 3 times in row without really discussing topic in detail?

Probably we should use different words next time not “you are editing too much”, “STOP with you edits”, but “lets prospond them for 3-4 weeks when we discuss everything in detail”.

I would use these verbose words by myself but: 1. I’m stupid Russian 2. I was busy with edits, so things weren’t looking even more ugly during process

Do you understand that claimed editing politicly “be bold” turn out complete bullshit. I was always pointing you that I preform changes according wiki guidelines. There no “don’t edit too much” rule. That’s insane justification to anything.

Do you realize that my edits were helpful? Can we say sorry to each other publicly and continue positive work in OSM without drama festivals?

Our common mistake is that we should plan changes with respect to each other. I really wanted to see these changes and they were helpful, but lack of time or sufficient discussion was the most crucial from side of admins avail at the moment.

I would automatically be more polite if you dedicated MORE TIME to my edits/changes/plans or just shown “ok bro I will check your work later” but not “omfg stop making 100-1000 changes per week repeatedly at my user page.

Would be it fair if someone would assault you on number of child you have? Would be it fair if someone would assault you on conferences you take in OSM? Would be it fair if someone would assault you on number of days you spend or not-spend in OSM?

Why no one haven’t payed respect to my edits in time? You cannot truly judge me by my edit history, there many-many more people who were involved or interested in them.

Is there option for us to reset situation?

Harry Wood:

I would automatically be more polite if you dedicated MORE TIME to my edits/changes/plans

Yes this is something you have demonstrated several times over. If people are willing to spend time on you, if people manage to keep their cool after getting into an angry aggressive impolite conversation with you, if people spend time talking you through something to see your reasoning or to explain their reasoning, …then after a while you might start to be a little bit polite with them. That’s not an acceptable way to interact with other members of this community, but we know it is the only way you will interact, so we’ve reached the point where this has been brought to an end.

The message you’re sending here is yet another occurrence of that, and your more polite tone now doesn’t impress me at all (particularly given you that you still have a published diary entry attacking me personally)

Is there option for us to reset situation?

Don’t you think that maybe you should come with this polite and an apologetic tone in a more public place after you took the decision to be extremely impolite and attacking me personally on a public diary entry? I’m not willing to try to have a polite conversation with you in private while you attack me in public.

Should I explicitly say sorry to anyone who had unpleasant time with me? I don’t want to belittle the issue, but I want to add slightly different perspective on this. It is very common for non-native English speakers to edit their messages 2-3 times. Or use rude words when trying to explain their environment. For example: https://wiki.openstreetmap.org/wiki/User_talk:Verdy_p#weeklyOSM Ziltoidium asked if Verdi is mad and thankfully Verdi didn’t react to this in his reply.

It may be really demanding and time consuming to explain ourself in English. Regardless of our intentions.

You are repetedly wrong in your statements that I’m “always rude”, “never ever polite from the start” and so on. Please stop it. I try to be nice when I have free time to type more:

I also showed that I use neutral tone/no polite words to save time:

I can continue this list, there many instances where I’m not rude since the first message. Why I have to present this list to anyone?

Harry, you are always talk about instances at my user page and always overstate situation. You can think of them as my responds in a crisis situation. 1. I’m not always rude since the first message 2. There instances that despite verbal aggressiveness and misunderstanding we could reach common understanding and consensus 3. There instances there not only I’m never rude but also my opponent get needed information for him

I’m sorry for what happened with some people when they did interact with me. But could you please stop pointing only to the worst parts?

I could restrict myself from answering using rude messages or ignore repeatedly frustrating/time-consuming request to me, but would it help who were requesting feedback in time? Is it better to get silence as feedback or impolite reply?

Personally I would prefer rude answer in time, but not silence and useless polite answer when nobody need it anymore.

It is not all black and white as you want to simplify and pose it, is it more clear now? And for the third time in this message I’m sorry.

Harry Wood admin abuse. Do we need him as admin at wiki???

Posted by d1g on 17 September 2015 in English. Last updated on 21 September 2015.

Hi Harry! I’m XXZME. Goodbye your reputation.

You may know Harry Wood as one of the oldest members of OSM. What you don’t know is that he is terrible admin at wiki and ignores/resists any internationalization changes at wiki started by me AND SUPPORTED/TRANSLATED by other users at wiki.

Who I’m and my role at wiki.openstreetmap.org, mostly recent edits (last 0,5-1 year)

I hardly can explain my edit history even in 10 minutes or in a hours, sorry guys. Here is some points.

In numbers

I truly believe that they are irrelevant, but I must show MY portion of OSM wiki contributions.

I did 7000 edits to wiki.openstreetmap.org in hope that it will ease translation efforts and help begginners.

https://wiki.openstreetmap.org/wiki/Special:Statistics states about 1,228,480 “Page edits since OpenStreetMap Wiki was set up”

Internationalization efforts

These pages are short and look unimportant at first. But ask yourself first:

  • why do they translated so quickly if they are unnecessary?
  • why does anyone wants to create/translate short pages like this? What is idea behind it?
  • why do they have no corrections to page in English?

These pages were born in agony of translators at wiki in multiple attempts to rationalize content for beginners at wiki.

Including work started by Cantho 1,5 years ago https://wiki.openstreetmap.org/wiki/Talk:Wiki_organisation#Navigation_by_use-cases

I put significant effort to update Beginner’s guide and other newcomers pages https://wiki.openstreetmap.org/w/index.php?title=Beginners%27_guide&action=history https://wiki.openstreetmap.org/w/index.php?title=Contribute_map_data&action=history

including monsters like https://wiki.openstreetmap.org/wiki/Pick_your_data_collection_technique https://wiki.openstreetmap.org/wiki/Category:Data_collection_technique

Most of the portals at wiki are significantly reworked by me, see their history: https://wiki.openstreetmap.org/wiki/Category:Portals

It took tremendous amount of time and work to me and https://wiki.openstreetmap.org/wiki/Special:Contributions/Verdy_p to update terrible over-categorization at wiki and sort content for French-only, Ukrainian-only, Russian-only, Japanese-only readers.

I did significant update to Category:Categories and Category:OSM_Community with help of User:Verdy p.

My edits were based on https://wiki.openstreetmap.org/wiki/Special:Contributions/PeterIto significant improvements to top-level categories started 3-5 years ago.and unfinished changes by many other users started earlier (it may be unclear based just on edit history, but his edits indeed were slowly improving top-level categories).

Before making changes I reviewed not only their talk pages but edit history of most top-level categories and top pages at OSM Wiki and problems were repeatedly occurring during edits.

You can always check my edit history, but it will take significant time for you to understand everything based just on latest 300-500 edits.

YES I DID thousands of small and incremental edits to wiki. To reduce over-categorization and to reduce/lower amount of work REQUIRED to perform wiki translators/simplify further wiki maintenance.

Harry Wood never had interest in OSM being TRULLY international.

He constantly ignores DIRECT QUESTIONS to his admin role and his inaction.

Harry Wood abuse of human rights

https://en.wikipedia.org/wiki/Human_rights#Freedom_of_speech

I’m simply not able to express myself in any form any more. My proficiency with any language is completely irrelevant because I cannot say a word after Harry Wood ban.

He silenced me AT MY OWN userpage and I’m not able answer to M!dgard and full-full requests from users or respond in reasonable manner. Even if it takes long discussion in broken English! https://wiki.openstreetmap.org/w/index.php?title=User_talk:Xxzme&diff=prev&oldid=1216981

I have contacted M!dgard and he said he is busy IRL and not able to join me with edits.

Harry Wood assault on my privacy

In addition to his silence to unpleasant questions directed to him he constantly assaults my privacy and left me with no other option but to respond in my diary, revealing my identity.

As the only argument he repeating himself with HIS OWN PAGE about what is “good” or “bad” in OpenStreetMap https://wiki.openstreetmap.org/w/index.php?title=User_talk:Xxzme&diff=next&oldid=1216972

He ignored fact that his “guide” is in “draft” stage and not really supported by anyone else except him.

https://wiki.openstreetmap.org/wiki/Etiquette was explained before https://wiki.openstreetmap.org/w/index.php?title=Etiquette&action=history his edits https://wiki.openstreetmap.org/w/index.php?title=Community_Code_of_Conduct_(Draft)&action=history which is just copy&paste of Ubuntu guide.

https://wiki.openstreetmap.org/wiki/Etiquette page never REQUIRED a user to reveal HIS PERSONAL INFORMATION.

Microsoft Hyperlapse & Microsoft Hyperlapse Mobile

Posted by d1g on 13 July 2015 in Russian (Русский). Last updated on 14 July 2015.

Microsoft Hyperlapse может сократить 3-6 часовые записи с видеорегистраторов в 2-25 раз и автоматически вырезать места ваших остановок. Из скучных и дрожащих видео получаются очень быстрые обзоры местности.

Плюсы:

  • экономит время и стабилизирует экран
  • скучные части видео пропускаются автоматически

Минусы:

Т.е. не получится витрины отмечать по ускоренному видео, для OSM нужно ещё оригинальное чтобы детали на любой секунде рассматривать.

Описания приложений и ссылки для скачивания: http://research.microsoft.com/en-us/um/redmond/projects/hyperlapseapps/

iOS нет, но Android версия есть во всех версиях программы

Вот только несколько мест в Саратове чтобы показать на что способен OpenStreetMap: 1 2 3 4 5 6

Как вы понимаете, даже там есть неотмеченные объекты, но пользоваться при этом ими можно.

Сравните карты в самых отмеченных городах OpenStreetMap с “профессионалами”: http://bestmaps.ru/

Скажу один секрет: точность гео-данных OpenStreetMap - 1см:

Такую детализацию способен сделать только местный житель/сотрудник, будьте активнее в районах которые “белые пятна” но вы их знаете очень хорошо. Только никогда не копируйте другие карты, что бы они не указывали.

Не ждите что вам отметит какой-то абстрактный сосед:

  1. Саратов населён неравномерно
  2. интереса к вашей области может быть у только пары людей, поэтому детализируйте район для себя в первую очередь

Лучше всего сначала обойти местность, а потом отметить пропуски или устаревшую/неточную информацию.

Не хватает магазинов в своём районе?

В OpenStreetMap есть пешеходная маршрутизация и все эти тропы и пешеходные дорожки не для красоты: существует сотни программ где можно использовать данные из OSM в том числе каталог POI на http://openstreetmap.ru/. Лично я предпочитаю http://osmand.net/ - есть для Android и для iOS, он бесплатен, не требует интернета, обновляется каждый день и без рекламы. Купить платную версию можно если он вам понравится и вы захотите поддержать разработчика.

Красный Октябрь

Posted by d1g on 20 March 2015 in Russian (Русский). Last updated on 7 November 2016.
  • Карты Яндекса позволяют приблизится только до 13 масштаба, а после 13 масштаба - переключаются на народные карты - полупустой город даже без трети домов, не говоря уже о пешеходных дорожках и линий электропередач (которые запрещены народными картами для обозначения).
  • Полу-пустая Викимапия даже не отличающая статусы дорог.
  • [strike]Наглые воры[/strike] 2GIS стыдливо останавливающие приближение на 13 масштабе.
  • Замечание в 2016: только после этого сообщения они стали уважать торговую марку OpenStreetMap и публично говорить о использовании OpenStreetMap; поэтому - не наглые воры, а просто безолаберные разработчики.
  • И великий, но беспомощный Google отображающий серую кляксу и паутину из несуществующих дорог.

Данные OSM всегда свободны для улучшения. Их можно использовать прямо сейчас, у вас есть выбор из десятков и сотен программ поддерживающих OSM. Включая программы для ваших планшетов, телефонов и популярных туристических приёмников.

Мы не показываем вам рекламу, не пытаемся на вас заработать. И если у вас есть свой бизнес - вы можете использовать прямо сегодня, данные бесплатны и нет скрытой стоимости.

Вы можете помочь проекту дополняя уже указанные данные или сделать материальное пожертвование если вам не хватает времени.

Location: Красный Октябрь, городской округ Саратов, Саратовская область, Приволжский федеральный округ, 410000, Россия

Все участники OSM строго против копирования запрещённых и закопирайченых источников:

  • Карты Росреестра
  • Снимки Google и Yandex
  • Панорамы Google и любую информацию поверх этих панорам
  • любой другой источник который запрещает коммерческое использование
  • любой другой источник который не указывает явно что на основе него можно создавать производные данные (для любых целей, включая коммерческое использование)

Если сидеть дома и копировать слепо навител, тугис, яндекс карты, росреестр, кладр или еще что, то будут возникать левые объекты. С overpass и JOSM информацию можно вносить в промышленных масштабах, но если делать это без знаний мира (свежие фотографии, видео съёмка, свежая запись видеорегистратора, прогулка пешком, прогулка на велосипеде) то будут возникать левые объекты которые еще тяжело отличить от нормальных.

Данные устаревают потому что мир постоянно меняется (строятся и сносятся дома, пристройки). В “источнике” который вы собираетесь копировать данные уже устарели.

В ФИАС (КЛАДР) и карте росреестра есть левак. Дорогой читатель, я могу более подробно показать тебе это, если хочешь - можешь проверить сам.

Именно проверить: сходить ногами до дома, найти вывеску дома, спросить жильца дома в каком доме он живёт, врут ли карты про его дом и сравнить эти данные с каким-то другим “источником”.

Не редко “источник” из которого пытаются скопировать что-то будет врать:

  • будет адрес на трансформаторной будке
  • будет проезд там, где его нет
  • не будет дороги там, где она есть в реальном мире
  • несуществующие корпуса
  • несколько адресов вместо одного
  • один адрес вместо нескольких

Именно поэтому мы не копируем другие карты. Технически скопировать карты просто (без учёта дублей), мы бы сделали уже давно это и для всей России и мира: берешь тугис(викимапию,народные карты,карты яндекса, карты гула) для 300 городов, трейсишь их, распознаёшь адреса и вносишь в OSM. Дело не в этом. Дело в том, что в этих “картах” есть левак. Дело в том, что за этот левак у отдельных компаний есть претензии (копирайт, неоговорённые в лицензии условия, запрет на коммерческое использование). Нет смысла копировать левак, да ещё чтобы это обернулось плохим. Здесь не только про “политику”, а “является ли источник (навител, тугис, яндекс карты, сайт реформы ЖКХ, панорамы яндекса, панорамы гугла) - источником данных”.

В вашей голове, а не в каких-то картах есть знания о тысячах дорожных знаков, входов и мусорок. Есть одно но: эти данные тоже могли устареть.

Стоит ли вносить из своей памяти слухи чтобы самому о них спотыкаться? Стоит ли перепроверить свои знания по недавним прогулкам и свежим фотографиям?

Именно поэтому мы указываем теги source=* у пакетов правок и комментируем как были получены данные.

“Не копировать другие карты” - именно с таким подходом не нужно вообще возится с каким-то леваком из других карт. Лучше пусть они прекратят своё существование, а останется OSM с лицензией позволяющей использовать данные абсолютно всем, для любых целей (включая коммерческую деятельность).