Вы ищете участок или участок земли? Если не сегодня, может быть, у вас есть мечта о том, чтобы завладеть сюжетом в будущем.

Покупка земли или участка в наши дни стала чем-то особенным, особенно в больших городах, потому что земля является дефицитным товаром, и гордость связана с тем, что у вас есть собственный участок, где вы можете построить дом по своему желанию.

В этой статье я расскажу вам 10 важных вещей, которые вы должны знать перед покупкой любой недвижимости в Индии.

Если вам доведется посетить какую-либо выставку недвижимости, вы столкнетесь со многими проектами участков вместе со схемами жилых квартир. Эти участки обычно находятся в пределах 20-100 км от радиуса города и часто продаются как второй дом или дом для отдыха.

Кроме того, цены привлекательны (часто в пределах 5-20 лаков), а также есть возможность рассрочки, которая делает владение участком слишком простым. В сделке часто выплачивается сумма токена, а остальная сумма выплачивается частями (EMI).

Однако простой человек часто не знает о рисках, связанных с покупкой земли, и сложностях, связанных с ней. Покупка земли — это совсем другой вид игры в мяч, по сравнению с покупкой квартиры (что намного безопаснее), и сегодня я пытаюсь упростить для вас понимание.

Мой личный опыт

За последние несколько лет я лично посетил несколько схем заговора (около Пуне). Я общался с продавцами и имею некоторый опыт в этой области.Поэтому я постараюсь поделиться с вами тем, что знаю. Если вы также можете добавить к моим пунктам, я хотел бы включить его в статью.

Эта статья в основном поможет новичку с простыми контрольными списками, на которые они должны смотреть, прежде чем покупать участок, или когда они посещают схему, или если они взаимодействуют с продавцом (вот контрольный список для покупки квартир).

Обратите внимание, что эта статья в основном имеет в виду схемы заговора или закрытые сообщества, но большинство вещей также будут применяться для отдельного участка земли.

1. Есть ли земля на имя застройщика?

Первый вопрос, который вы должны задать продавцу, заключается в том, имеет ли застройщик законные права на продажу земли или нет. Узнайте, кто является нынешним владельцем земли? Это сам строитель или нет?

Многие строители либо покупают всю землю у предыдущего владельца, либо заключают совместное соглашение с владельцами, чтобы продать или разработать землю и продать схему участка. Несмотря ни на что, убедитесь, что эта часть понятна.Спросите документы, которые ясно показывают, что застройщик имеет законные права на сам участок.

Вот история о том, как мелкие строители совершают мошенничества.

2. Взял ли заемщик у Банка на реализацию проекта?

Строители часто берут кредит в банке для схем заговора и даже схем жилья. Это признак того, что застройщик более серьезно относится к проекту, и это также положительный признак, потому что, если есть деньги у застройщика, которые будут специально использованы для разработки проекта.

Застройщик не полностью зависит от авансовых денег покупателей дома. Это показывает, что есть денежный поток, посвященный проекту, и проблема денежного кризиса будет минимизирована.

Это не всегда тот случай, когда схема имеет банковскую ссуду, но все же узнайте об этом. Если есть банковский кредит, это доказательство того, что банк провел тщательную проверку с их стороны на законность и только после этого выделил большую сумму (часто в крорах)

3. Где заказ НС?

По умолчанию вся земля в Индии — это «СЕЛЬСКОХОЗЯЙСТВЕННАЯ ЗЕМЛЯ», если она не определена для каких-либо других целей правительством.Таким образом, участок земли может быть как сельскохозяйственным, так и несельскохозяйственным (обычно он называется NA в сфере недвижимости)

Сельскохозяйственные земли можно использовать для сельскохозяйственных целей, тогда как если вы хотите заняться чем-то иным, чем сельским хозяйством, то сначала нужно преобразовать эту сельскохозяйственную землю в несельскохозяйственные (NA).

Однако то, что земля имеет статус АН, не означает, что ее можно использовать в жилых целях, потому что существуют разные типы АН, такие как

• NA — коммерческий
• NA — Склады
• NA — Курорт
• NA — IT
• NA — Жилой (именно здесь можно построить жилой дом)

Таким образом, если земельный участок относится к типу NA — Resort, это означает, что на нем можно построить курорт, но не построить жилую схему.Если участок представляет собой NA — склад, то там можно построить склад для коммерческих целей, но не может строить жилые схемы и продавать их обычному человеку.

Так что вам нужно искать «NA — Жилой» участок

Итак, суть в том, что вам нужно спросить застройщика / продавца, является ли земельный участок, который вы планируете купить, «жилым домом NA» или нет? Спросите у них копию этого. Многие другие виды графиков НС продаются как «Участок НС, одобренный коллекционером», что вводит в заблуждение.

Я прилагаю нижеприведенный пример NA (от Махараштры) для вас, просто почувствуйте, как это выглядит

Еще одна вещь, с которой вы должны быть очень осторожны, это схемы «Предлагаемого АН». Многие строители пытаются продать землю, не принадлежащую АН, сообщая вам, что это предложенная земля АН, значит, он инициировал процесс преобразования земли в схему АН, а документы уже находятся в процессе разработки и «очень скоро» земля станет NA-жилой и как вы потом будете пользоваться преимуществами высоких цен.

Хотя есть вероятность, что конверсия произойдет, но в большинстве случаев это трюк, чтобы продать дешевую землю по высоким ценам, и часто покупатели застревают в проекте, потому что земля — ​​это не что иное, как кусок дерьма позже.

Не поддавайтесь на это, потому что преобразование сельскохозяйственной земли в жилую застройку является очень длительным процессом, в котором необходимо получить много разрешений. Есть случаи, когда прошло 10-15 лет, и это «все еще в процессе»

Я предлагаю вам прочитать следующий опыт, чтобы лучше понять этот момент.

Итак, попросите продавца показать вам документы заказа NA. Взгляните на это сами и не поддавайтесь обещаниям, таким как его появление через 2 месяца или на следующей неделе или что-нибудь в этом роде. Не зацикливайтесь на подобных сделках.

Понять одну вещь очень четко, участки АН с четким названием ограничены и скудны, и часто вам придется заплатить за это хорошую цену. Если цена земли очень низкая, и она обещана как жилая, то есть большая вероятность, что это подделка или очень очень далеко от городской черты.

4. Что такое FSI для участка?

Предположим, вы купили участок размером 2000 кв.м для строительства дома на нем.

Сколько строительства вы можете сделать?

Здесь приводится концепция индекса FSI или торговой площади. FSI просто означает, сколько строительства может быть сделано на участке земли, и это зависит от местоположения участка.

FSI 100% означает, что если у вас есть участок размером 2000 кв. Футов, вы можете построить на нем дом площадью 2000 кв.Если FSI составляет 75%, то вы можете построить только 1500 кв. Футов дома на этой 2000 кв. Футах земли.

Проект, с которым я недавно столкнулся:

Недавно я наткнулся на проект под названием Royal Purandar возле Пуны, когда пошел на выставку сюжетов. Леди за прилавком сказала мне, что размеры участка начинаются с 5000 кв. Футов и доходят до 40000 кв. Футов (что очень много). Я был шокирован, узнав о таких больших размерах участков, потому что участки площадью 5000 и 10000 кв. Футов довольно большие.

Однако, когда я спросил ее, что такое FSI сюжета, она ответила, что это всего лишь 15%.Таким образом, с FSI 15%, если вы покупаете участок размером 5000 кв. Футов, вы можете просто построить 750 кв. Футов дома, который обычно является небольшим бунгало.

В этом нет ничего плохого, но вы должны хотя бы знать об этом.

Почему FSI очень очень важен?

Итак, поймите, что FSI играет очень важную роль, когда вы будете что-то строить или даже когда будете продавать участок кому-то еще. Представьте себе 2 участка одинакового размера (2000 кв. Футов), но с разным FSI, например, 50% и 100%,

• Участок A (50% FSI) — Вы можете сделать только 1000 кв. Футов дома на этом, что будет как 2 BHK)
• Земельный участок B (100% FSI) — Вы можете сделать дом площадью 2000 кв. Футов, который будет похож на бунгало с 4-5 спальнями.

Но тогда может случиться так, что участок А продается по 10 лаков, а участок Б — по 15 лаков, и вы можете сказать: «Участок А дешевле, потому что он дешевле и его размер одинаков (2000 кв. Футов).

Одна важная вещь, которую вы должны знать, это то, что FSI для сельскохозяйственных земель, как правило, очень маленький. В Махараштре это всего 4%, что означает, что даже если вы купите участок Агри площадью 10 000 кв. Футов, вы можете построить только 400 кв. Футов на этой земле.

Вы должны обязательно попросить строителя / продавца поделиться документом, в котором упоминается FSI.Судите о цене на землю только после того, как узнаете о FSI, а не только об области

5. Какие еще проекты выполняет застройщик?

Вы должны спросить продавца о других проектах, выполненных застройщиком. Проверьте, делали ли они другие подобные проекты в прошлом? Каков был ответ на это? Каково качество этих проектов? Были ли какие-либо юридические проблемы с этими схемами? Довольны ли покупатели работой строителя?

Часто вы можете получить некоторую информацию обо всем этом в Интернете или на онлайн-форумах.Просто зайдите на сайт строителя и выясните, какие еще схемы он сделал. Поиск с другими именами проектов и посмотреть, о чем говорят другие?

Если у вас есть шанс, я предлагаю один раз посетить прошлые проекты. Тратить полдня на это только поможет вам принять решение.

6. Когда произойдет купля-продажа?

Вы часто будете слышать о «соглашении о продаже», которое исполняется, когда вы бронируете квартиру / участок и очищаете свои первоначальные платежи (около 35-40%).Это время, когда вы оплачиваете гербовый сбор и регистрационные сборы. После того, как соглашение о продаже завершено, многие покупатели думают, что квартира / участок зарегистрированы на их имя, и теперь они находятся в юридической безопасности.

Однако это миф, и «соглашение о продаже» не делает вас действительным покупателем. Соглашение о продаже (часто называемое ATS) — это просто соглашение о продаже, которое означает соглашение между покупателем и продавцом о начальных точках и условиях, на которых продажа произойдет в будущем.

Здесь указаны условия сделки, начальные платежи, которые вы делаете, а также номер чека, а также будущие даты, когда вы проведете платежи и т. Д.

Что такое документ о продаже?

«Акт купли-продажи» — это документ, который необходимо зарегистрировать в офисе субрегистратора для совершения продажи. Если договор купли-продажи не будет заключен, вы не станете законным владельцем.

Следовательно, спросите строителя или продавца о договоре купли-продажи? Когда это произойдет? Акт о продаже, как правило, делается только тогда, когда застройщик получает все взносы с вашей стороны.

7. Получу ли я индивидуальную выписку от 7/12 на свое имя?

Позвольте мне сначала помочь вам понять, что такое «экстракт 7/12»? Это термин, который вы часто будете слышать в таких штатах, как Махараштра и Гуджарат. В штате Карнатака его называют Уттара 7/12. Это документ, который ведет отдел доходов, в котором упоминается, как земля перешла от одного владельца другому владельцу за последние 30 лет.

Так что, в некотором смысле, это история земли, и вы точно найдете, в какую дату кто продал кому.Таким образом, вы также узнаете, кто является нынешним владельцем земли.

Например:

Если человек А продает землю человеку Б, важно, чтобы имя 7/12 изменилось с A-> B. Если имя B не зарегистрировано в экстракте 7/12, B не будет действительным землевладельцем ,

Поэтому важно спросить продавца о выписке 7/12. Есть много сложностей вокруг этого, например, если вы покупаете сельскохозяйственный участок у продавца на имя «NA участок», то ваше имя не будет там в выписке 7/12, потому что есть ограничения на то, кто может купить Agri земля и даже минимальное ограничение размера есть.

Также иногда строитель скажет вам, что имя строителя будет там в выписке 7/12, а не ваше. Или имя общества будет там в выписке 7/12, а не ваше.

Также иногда случается, что большой участок разбивается на небольшие участки земли и продается многим людям, и делается совместное 7/12, где все имя покупателя указано в выдержке 7/12 (см. разговор ниже), что делает вещи очень сложными в будущем.

Итак, убедитесь, что вы правильно расспросили об этом аспекте, и будет ли сделана отдельная выписка 7/12 или нет.

8. Каким будет годовое содержание после покупки участка?

После того, как вы купите участок, необходимо ежегодно оплачивать техническое обслуживание, которое идет на поддержание основных удобств, таких как охрана, обслуживание проекта, сады, вода, охрана и т. Д. Это не должно быть сюрпризом для вас позже. Это обслуживание обычно оплачивается ежегодно и пропорционально размеру участка. Например, если это 4 рупии за кв. Фут, а размер вашего участка составляет 2000 кв. Футов, то ваше техническое обслуживание в год составит 8000 рупий.

9. Находится ли участок на ровной земле или на склоне?

Не думайте, что ваш участок всегда будет частью плоской земли. Если это большой проект, может случиться так, что общая земля, которую приобрел застройщик, будет неровной или имеет склоны. Поэтому, когда он разделен на несколько небольших участков, многие участки могут быть на склоне или могут быть неровными.

Вы спросите, каковы основные проблемы, когда мы строим дом на земле с уклоном или неровным участком?

Ниже приведены некоторые важные моменты относительно земли на склоне с этого сайта.

Если участок находится на значительном склоне, либо необходимо будет урезать и заполнить участок земли, либо вам нужно будет построить дом, учитывающий этот уклон.Стоит помнить, что, хотя эти вещи могут сделать ваш дом более эффектным, они также, вероятно, будут стоить немного дороже.

В зависимости от угла наклона и того, что построено на соседних объектах, уклон также может снизить воздействие солнечного света, что, в свою очередь, может повлиять на то, сколько света вы получаете в жилых помещениях, и на ваш потенциал использовать солнце как для пассивного солнечного излучения. отопление и для сбора солнечной энергии.

Там, где мы живем в южном полушарии, северный склон идеально подходит для солнечного доступа — крутой южный склон не такой большой.

Ниже показано, как выглядит брошюра проекта, когда ее показывают вам (часто, когда проект еще не запущен или на выставках)

Увидев этот вид макета изображения, вы никогда не поймете, находится ли конкретный участок на склоне или нет. Поэтому всегда полезно задать этот вопрос и проверить его, посетив сайт самостоятельно.

10. Каковы условия для воды и других основных удобств?

Всегда спрашивайте, как они собираются обеспечивать водой и другими основными удобствами.Это собирается прибыть из муниципалитета или грамм панчаята? Или они занимаются этим самостоятельно?

А также задайте некоторые другие вопросы, такие как:

1. А как насчет электричества?
2. Собираются ли они организовать индивидуальный счетчик электроэнергии?
3. сколько за это берут?
4. Если участок / земля слишком далеко от главной дороги, то как насчет подъездной дороги?
5. Кто будет его развивать?
6. А как насчет ограждения участков?
7. А как насчет безопасности?
8. Спросите все подробно и в пунктах.

С этим, я думаю, мы завершили основные 10 вещей высокого уровня, которые вы должны спросить, когда покупаете участок. Ниже еще одно видео на эту тему, где некоторые люди на уровне отрасли говорят о той же проблеме покупки земли и связанных с этим сложностях.

Я настоятельно рекомендую посмотреть 15-минутное видео ниже

Теперь мы увидим некоторые важные моменты, о которых следует помнить, прежде чем покупать участок.

Важные советы для тех, кто покупает землю

• Не торопись. Период! — Покупка земли — это эмоциональное решение, и продавцы часто используют много тактик для продажи участков (как квартиры). Не верьте продавцу, когда говорят, что осталось всего 12 участков, или цены растут в следующем квартале, когда они делают «Мега-старт». Такого никогда не бывает.
• Много посещений участка — не бронируйте участок сразу после одной встречи или без посещения участка самостоятельно.Я бы сказал, что нужно совершить не менее 3-4 визитов до сделки. Попробуйте посетить участок один раз, когда вашего продавца нет на сайте. Просто сделайте неожиданный визит и спросите других на сайте о важных моментах, и вы можете найти новую информацию о сюжете, которая вам не была рассказана
• Проверьте соседнюю разработку самостоятельно — Не верьте продавцу об информации о ближайшей разработке. Если продавец говорит, что поблизости находится новый эстакада или если в радиусе 2 км есть 3 колледжа, узнайте сами.
• Поговорите с людьми поблизости от участка — Если вы можете пойти немного дальше, посмотрите, можете ли вы поговорить с людьми, которые живут рядом с участком. Сделайте случайное посещение, а затем спросите владельцев магазинов поблизости, дома поблизости по интересующим вас пунктам.
• Торг за цену — Часто цена по прейскуранту, указанная для участка, никогда не является окончательной. В такой стране, как Индия, общеизвестно, что всегда есть торг. Таким образом, вы можете легко принять маржу в 5-10%. Попросите их снизить цену до 10%, а затем рассчитаться как минимум на 5%.Уделите много времени определению, и часто вы увидите, как цены падают. Очень важно, чтобы вы не показывали свое отчаяние по поводу покупки, а также делитесь с ними некоторыми названиями близлежащих проектов и тем, как они вам нравятся, и у вас есть веская причина купить у них участок
• Поиск в Интернете о схеме участка или земельного участка — Всегда ищите информацию о проекте или застройщике онлайн. Вы часто будете сталкиваться с другими, кто посетил сайт или заинтересовался тем же проектом, вы можете связаться с ними и обсудить его

Я надеюсь, что эта статья дала вам хорошие знания о важных вещах, которые вы должны спросить и иметь в виду, прежде чем купить сюжет по какой-то схеме.

Остерегайтесь маленьких неизвестных строителей для проектов участка

Сейчас я думаю, что нет необходимости говорить, что покупка земли очень сложна, и не стоит пытаться делать это, если у вас нет склонности к риску.

Ночных людей много, которые знают, как безумные люди могут получить участок земли, и придумывают схемы, в которых их единственное намерение — зарабатывать деньги для себя и обманывать клиентов. Пожалуйста, посмотрите это видео ниже, где некоторые покупатели делятся своим реальным опытом покупки участка и обмана.

Я настоятельно рекомендую вам пригласить хорошего юриста по недвижимости для проверки документов и законности проекта. Это немного увеличит ваши затраты, но затем станет более надежным вложением.

Обратите внимание, что все пункты, которые я упомянул выше, основаны на моих знаниях и понимании. Если есть какие-либо исправления, пожалуйста, поделитесь этим с нами. Также, пожалуйста, поделитесь своими комментариями и мнениями в разделе комментариев ниже.

Понимание графиков Q-Q | Университет Вирджинии Библиотечные исследования Услуги в области данных + науки

График Q-Q, или квантиль-квантиль, представляет собой графический инструмент, который помогает нам оценить, действительно ли набор данных получен из некоторого теоретического распределения, такого как нормальное или экспоненциальное. Например, если мы запустим статистический анализ, который предполагает, что наша зависимая переменная является нормально распределенной, мы можем использовать график нормальной Q-Q, чтобы проверить это предположение. Это просто визуальная проверка, а не герметичное доказательство, поэтому это несколько субъективно.Но это позволяет нам сразу увидеть, является ли наше предположение правдоподобным, а если нет, то как допущение нарушено и какие данные указывают на нарушение.

График Q-Q — это график рассеяния, созданный путем построения двух наборов квантилей друг против друга. Если оба набора квантилей пришли из одного и того же распределения, мы должны увидеть точки, образующие линию, которая приблизительно прямая. Вот пример графика нормального Q-Q, когда оба набора квантилей действительно происходят из нормальных распределений.

Что такое «квантили»? Их часто называют «процентилями».Это точки в ваших данных, ниже которых определенная доля ваших данных падает. Например, представьте классическое стандартное нормальное распределение кривой колокольчика со средним значением 0. Квантиль 0,5, или 50-й процентиль, равен 0. Половина данных лежит ниже 0. Это пик пика на кривой. Квантиль 0,95, или 95-й процентиль, составляет около 1,64. 95 процентов данных лежат ниже 1,64. Следующий код R генерирует квантили для стандартного нормального распределения от 0,01 до 0,99 с шагом 0,01:

qnorm (сл (0.01,0.99,0.01))

 

Мы также можем случайным образом сгенерировать данные из стандартного нормального распределения и затем найти квантили. Здесь мы генерируем выборку размером 200 и находим квантили от 0,01 до 0,99, используя функцию квантиль :

квантиль (rnorm (200), probs = seq (0.01,0.99,0.01))

 

Итак, мы видим, что квантили — это просто ваши данные, отсортированные в порядке возрастания, с различными точками данных, помеченными как точки, ниже которых опускается определенная часть данных.Однако стоит отметить, что существует множество способов расчета квантилей. Фактически, функция квантиль в R предлагает 9 различных алгоритмов квантили! См. Справку (квантиль) для получения дополнительной информации.

Графики Q-Q берут ваши данные выборки, сортируют их в порядке возрастания, а затем наносят их на график в сравнении с квантилями, рассчитанными из теоретического распределения. Количество квантилей выбирается в соответствии с размером ваших выборочных данных. В то время как обычные графики Q-Q наиболее часто используются на практике из-за большого количества статистических методов, предполагающих нормальность, графики Q-Q могут фактически создаваться для любого распределения.

В R есть две функции для создания графиков Q-Q: qqnorm и qqplot .

qqnorm создает график нормального Q-Q. Вы задаете ему вектор данных, и R отображает данные в отсортированном порядке по сравнению с квантилями из стандартного нормального распределения. Например, рассмотрим набор данных деревьев , который поставляется вместе с R. Он обеспечивает измерения обхвата, высоты и объема древесины в 31 срубленной черной вишне. Одной из переменных является Высота .Можем ли мы предположить, что наша выборка высот происходит из популяции, которая обычно распределена?

Это кажется довольно безопасным предположением. Точки, кажется, падают вокруг прямой линии. Обратите внимание, что ось X представляет теоретические квантили. Это квантили из стандартного нормального распределения со средним 0 и стандартным отклонением 1.

Функция qqplot позволяет создавать график Q-Q для любого распределения. В отличие от функции qqnorm , вы должны предоставить два аргумента: первый набор данных и второй набор данных.Давайте посмотрим на данные randu , которые поставляются с R. Это фрейм данных, который содержит 3 столбца случайных чисел на интервале (0,1). Случайные числа должны быть равномерно распределены. Поэтому мы можем проверить это предположение, создав график Q-Q отсортированных случайных чисел в сравнении с квантилями из теоретического равномерного (0,1) распределения. Здесь мы создаем график Q-Q для номеров первого столбца, называемый x :

y <- qunif (ppoints (length (randu $ x)))
qqplot (Randu $ х, у)

 

Функция точек генерирует заданное количество вероятностей или пропорций.Я хотел получить такое же количество значений в ранду $ x , поэтому я дал ему аргумент длина (randu $ х) , который возвращает 400. Затем функция квениф возвращает 400 квантилей из равномерного распределения для 400 пропорций , Я сохраняю это до y и затем строю график y против randu $ x в функции qqplot . Опять же, мы видим точки, падающие вдоль прямой линии на графике Q-Q, что является убедительным доказательством того, что эти числа действительно получены из равномерного распределения.

Как насчет того, когда точки не падают на прямую линию? Что мы можем сделать вывод о наших данных? Чтобы помочь нам ответить на этот вопрос, давайте сгенерируем данные из одного распределения и построим графики для квантилей другого. Сначала мы строим распределение, которое перекошено вправо, распределение хи-квадрат с 3 степенями свободы, против нормального распределения.

qqplot (qnorm (ppoints (30)), qchisq (ppoints (30), df = 3))

 

Обратите внимание, что точки образуют кривую, а не прямую линию.Обычные графики Q-Q, которые выглядят так, как правило, означают, что ваши данные выборки искажены.

Далее мы строим распределение с «тяжелыми хвостами» по сравнению с нормальным распределением:

qqplot (qnorm (ppoints (30)), qcauchy (ppoints (30)))

 

Обратите внимание, что точки падают вдоль линии в середине графика, но изгибаются в конечностях. Нормальные графики Q-Q, демонстрирующие такое поведение, обычно означают, что ваши данные имеют более экстремальные значения, чем можно было бы ожидать, если бы они действительно исходили из нормального распределения.

Для вопросов или разъяснений относительно этой статьи, свяжитесь с UVA Library StatLab: [email protected]

Посмотреть всю коллекцию статей UVA Library StatLab.

Клей Форд
Консультант по статистическим исследованиям
Университет Вирджинии Библиотека
26 августа 2015 года

,

способов обнаружения и устранения выбросов | Наташа Шарма

Работая над проектом Data Science, что вы ищете? Что является наиболее важной частью фазы EDA? Существуют определенные вещи, которые, если они не будут выполнены на этапе EDA, могут повлиять на дальнейшее статистическое / машинное обучение. Один из них находит «выбросы». В этом посте мы попытаемся понять, что такое выброс? Почему важно идентифицировать выбросы? Какие методы для выбросов? Не волнуйтесь, мы не будем просто проходить теоретическую часть, но мы также сделаем некоторое кодирование и построение графиков данных.

Определение Википедии,

В статистике выброс является точкой наблюдения, которая далека от других наблюдений.

Приведенное выше определение предполагает, что выброс - это нечто, отличное от толпы. Много видео мотивации предлагают отличаться от толпы, особенно Malcolm Gladwell. Что касается статистики, это тоже хорошо или нет? мы узнаем это через этот пост.

Google Image - Wikihow

Видите ли вы что-нибудь другое на изображении выше? Все числа в диапазоне 30-х, кроме номера 3.Это наша особенность, потому что она не рядом с другими числами.

Как мы теперь знаем, что такое выброс, но вас также интересует, как выброс представил населению?

Проект Data Science начинается со сбора данных, и именно тогда выбросы впервые представляются населению. Тем не менее, вы не будете знать о выбросах на этапе сбора. Выбросы могут быть результатом ошибки при сборе данных или просто признаком отклонения в ваших данных.

Давайте рассмотрим несколько примеров. Предположим, вас попросили понаблюдать за игрой индийской команды по крикету, т.е. запустить каждого игрока и собрать данные.

Собранные данные

Как видно из собранных выше данных, все другие игроки набрали 300+, кроме игрока 3, набравшего 10. Эта цифра может быть просто ошибкой набора или она показывает дисперсию в ваших данных и указывает на то, что Player3 работает очень плохо, поэтому нуждается в улучшении.

Теперь, когда мы знаем, что выбросы могут быть либо ошибкой, либо просто дисперсией, как бы вы решили, важны они или нет. Что ж, довольно просто, если они являются результатом ошибки, тогда мы можем их игнорировать, но если это просто дисперсия данных, нам нужно подумать немного дальше. Прежде чем мы попытаемся понять, следует ли игнорировать выбросы или нет, нам нужно знать способы их идентификации.

Большинство из вас могут думать, о! Я могу просто получить пик данных, чтобы найти выбросы так же, как мы это делали в предыдущем примере с крикетом.Давайте подумаем о файле с 500+ столбцами и 10k + строками. Вы все еще думаете, что выброс можно найти вручную? Чтобы облегчить обнаружение выбросов, у нас есть много методов в статистике, но мы обсудим только некоторые из них. В основном мы попытаемся увидеть методы визуализации (самые простые) скорее математическими.

Итак, начнем. Мы будем использовать набор данных о ценах Boston House, который включен в API набора данных sklearn. Мы загрузим набор данных и выделим функции и цели.

 boston = load_boston () 
 x = boston.data 
 y = boston.target 
 columns = boston.feature_names # создать фрейм данных 
 boston_df = pd.DataFrame (boston.data) 
 boston_df.columns_ columns 9001 bost () 

Boston Housing Data

Особенности / независимая переменная будут использоваться для поиска любого выброса. Глядя на данные выше, кажется, у нас есть только числовые значения, то есть нам не нужно форматировать данные. (Вздох!) (анализ выбросов одной переменной) и многовариантный (анализ выбросов двух или более переменных).Не заблуждайтесь правильно, когда вы начнете кодировать и составлять графики данных, вы сами увидите, как легко было обнаружить выброс. Для простоты мы начнем с базового метода обнаружения выбросов и постепенно перейдем к методам опережения.

Откройте для себя выбросы с помощью инструментов визуализации

Box plot-

Wikipedia Definition,

В описательной статистике box box - это метод для графического отображения групп числовых данных через их квартили.Графики боксов также могут иметь линий, проходящих вертикально от боксов ( усов ) , что указывает на изменчивости вне верхнего и нижнего квартилей, отсюда и термины «график с усами» и диаграмма «с усами». Выбросы могут быть , нанесены на график как отдельных пунктов.

Вышеприведенное определение предполагает, что при наличии выброса он будет отображаться как точка на блокпосте, но другие группы населения будут группироваться и отображаться в виде блоков.Давайте попробуем сами это увидеть.

 импорт seaborn as sns 
 sns.boxplot (x = boston_df ['DIS']) 

Boxplot - Расстояние до центра занятости

Над графиком показаны три точки от 10 до 12, это выбросы, так как они не включены в блок другое наблюдение, то есть не где около квартилей.

Здесь мы проанализировали Uni-Variate Outlier, то есть мы использовали столбец DIS только для проверки выброса. Но мы можем сделать многомерный анализ выбросов. Можем ли мы сделать многомерный анализ с помощью бокса? Ну, это зависит, если у вас есть категориальные значения, вы можете использовать это с любой непрерывной переменной и проводить многомерный анализ выбросов.Поскольку в нашем наборе данных Boston Housing нет категориальной ценности, нам, возможно, придется забыть об использовании блочного графика для многомерного анализа выбросов.

Точечная диаграмма -

Википедия Определение

Точечная диаграмма - это тип диаграммы или математическая диаграмма, использующая декартовы координаты для отображения значений, как правило, двух переменных для набора данных. Данные отображаются в виде набора точек , каждая из которых имеет значение , одну переменную , определяющую положение на горизонтальной оси , и значение , другую переменную , определяющую положение на вертикальной оси ,

Как следует из определения, точечная диаграмма - это набор точек, который показывает значения для двух переменных. Мы можем попытаться нарисовать диаграмму рассеяния для двух переменных из нашего набора данных жилья.

 fig, ax = plt.subplots (figsize = (16,8)) 
 ax.scatter (boston_df ['INDUS'], boston_df ['TAX']) 
 ax.set_xlabel ('Доля сторонних торговых площадей) на город ') 
 ax.set_ylabel (' Ставка налога на полную стоимость недвижимости на 10 000 долларов США) 
 plt.show () 

Разбросанный участок - доля акций, не связанных с розничной торговлей, в расчете на город v / s Налог на полную стоимость недвижимости

На приведенном выше графике мы можем определить, что большинство точек данных лежат внизу слева, но есть точки, которые находятся далеко от населения, такие как верхний правый угол.

Обнаружение выбросов с математической функцией

Z-Score-

Wikipedia Definition

Z-Score - это число стандартных отклонений со знаком, на которое значение точки наблюдения или данных превышает среднее значение того, что наблюдается или измеряется.

Интуиция за Z-счетом состоит в том, чтобы описать любую точку данных, найдя их связь со стандартным отклонением и средним значением группы точек данных.Z-счет находит распределение данных, где среднее значение равно 0, а стандартное отклонение равно 1, то есть нормальное распределение.

Вам должно быть интересно, как это помогает в определении выбросов? Что ж, при расчете Z-показателя мы масштабируем и центрируем данные и ищем точки данных, которые слишком далеки от нуля. Эти точки данных, которые находятся слишком далеко от нуля, будут рассматриваться как выбросы. В большинстве случаев используется пороговое значение 3 или -3, т. Е. Если значение Z-показателя больше или меньше 3 или -3 соответственно, эта точка данных будет определяться как выбросы.

Мы будем использовать функцию Z-счета, определенную в библиотеке scipy, чтобы обнаружить выбросы.

 из scipy import stats 
 import numpy as npz = np.abs (stats.zscore (boston_df)) 
 print (z) 

Z-показатель данных жилья в Бостоне

Глядя на код и выходные данные выше, трудно сказать какая точка данных является выбросом. Давайте попробуем определить порог для определения выброса.

порог

 = 3 
 отпечатков (np.where (z> 3)) 

Это даст результат, как показано ниже -

Точки данных, где Z-показатели превышают 3

Не путайте результаты.Первый массив содержит список номеров строк и номеров соответствующих столбцов второго массива, которые означают, что z [55] [1] имеет Z-оценку выше 3.

 print (z [55] [1]) 3.375038763517309 

Так , точка данных - 55-я запись в столбце ZN является выбросом.

Оценка IQR -

На блочном графике используется метод IQR для отображения данных и выбросов (форма данных), но для того, чтобы получить список идентифицированных выбросов, нам нужно будет использовать математическую формулу и извлечь выброс данные.

Wikipedia Definition

Межквартильный диапазон ( IQR ), также называемый midspread или middle 50% , или технически H-спред , является мерой статистической дисперсии, равной разница между 75-м и 25-м процентилем, или между верхним и нижним квартилями, IQR = Q 3 - Q 1.

Другими словами, IQR - это первый квартиль, вычтенный из третьего квартиля; эти квартили можно отчетливо увидеть на графике на графике.

Это мера дисперсии, аналогичная стандартному отклонению или дисперсии, но гораздо более устойчивая к выбросам.

IQR в некоторой степени похож на Z-показатель с точки зрения определения распределения данных и последующего сохранения некоторого порога для определения выброса.

Давайте выясним, что мы можем построить график с использованием IQR и узнать, как мы можем использовать его для поиска списка выбросов, как мы это делали с помощью вычисления Z-показателя. Сначала мы рассчитаем IQR,

 Q1 = boston_df_o1.quantile (0.25) 
 Q3 = boston_df_o1.quantile (0.75) 
 IQR = Q3 - Q1 
 print (IQR) 

Здесь мы получим IQR для каждого столбца.

IQR для каждого столбца

Поскольку у нас теперь есть оценки IQR, пришло время ухватиться за выбросы. Приведенный ниже код даст вывод с некоторыми значениями true и false. Точка данных, где у нас есть False, означает, что эти значения действительны, тогда как True указывает на наличие выброса.

 print (boston_df_o1 <(Q1 - 1.5 * IQR)) | (boston_df_o1> (Q3 + 1.5 * IQR)) 

Обнаружение выбросов с помощью IQR

Теперь, когда мы знаем, как обнаружить выбросы, важно понять, нужны ли они быть удаленным или исправленным.В следующем разделе мы рассмотрим несколько методов удаления выбросов и, если необходимо, вменения новых значений.

Во время анализа данных, когда вы обнаруживаете выброс, одним из наиболее трудных решений может быть вопрос о том, как бороться с выбросом. Должны ли они удалить их или исправить их? Прежде чем говорить об этом, рассмотрим несколько методов устранения выбросов.

Z-счет

В предыдущем разделе мы видели, как можно определить выброс с помощью Z-счет, но теперь мы хотим удалить или отфильтровать выбросы и получить чистые данные.Это можно сделать с помощью всего одного строкового кода, поскольку мы уже рассчитали Z-показатель.

 boston_df_o = boston_df_o [(z <3) .all (axis = 1)] 

С размером выброса и без него из набора данных

Таким образом, вышеуказанный код удален на 90+ строк из набора данных, то есть были удалены выбросы.

IQR Score -

Точно так же, как Z-Score, мы можем использовать ранее рассчитанный IQR для фильтрации выбросов, сохраняя только действительные значения.

 boston_df_out = boston_df_o1 [~ ((boston_df_o1 <(Q1 - 1.5 * IQR)) | (boston_df_o1> (Q3 + 1.5 * IQR))). Any (axis = 1)] boston_df_out.shape 

Приведенный выше код удалит выбросы из набора данных.

Существует несколько способов обнаружения и устранения выбросов, но методы, которые мы использовали для этого упражнения, широко используются и просты для понимания.

Должен ли быть удален выброс или нет. Каждый аналитик данных / ученый данных может получить эти мысли один раз в каждой проблеме, над которой они работают. Я нашел несколько хороших объяснений -

https: // www.исследовательский портал

Чтобы суммировать их объяснения - неверные данные, неправильные расчеты, их можно идентифицировать как выбросы, и их следует отбросить, но в то же время вы можете захотеть исправить их тоже, поскольку они изменяют уровень данных i.е. означает, что вызывает проблемы при моделировании ваших данных. Для бывших 5 человек получают зарплату в 10, 20, 30, 40 и 50 тысяч, и вдруг один человек начинает получать зарплату в 100 тысяч. Рассмотрите эту ситуацию, так как вы являетесь работодателем, новое обновление зарплаты может показаться предвзятым, и вам может потребоваться увеличить зарплату другого сотрудника, чтобы сохранить баланс. Таким образом, может быть несколько причин, по которым вы хотите понять и исправить выбросы.

В этом упражнении мы видели, как на этапе анализа данных можно столкнуться с некоторыми необычными данными i.Выражение Мы узнали о методах, которые можно использовать для обнаружения и устранения этих выбросов. Но возник вопрос о том, можно ли убрать выбросы. Чтобы ответить на эти вопросы, мы нашли дальнейшие чтения (эти ссылки упоминаются в предыдущем разделе). Надеюсь, что этот пост помог читателям узнать Outliers.

Примечание- Для этого упражнения использовались следующие инструменты и библиотеки.

Framework - Jupyter Notebook, Language - Python, Библиотеки - библиотека sklearn, Numpy, Panda и Scipy, Plot Lib - Seaborn и Matplot.

1. Boston Dataset
2. Github Repo
3. KDNuggets выбросы
4. Обнаружение выбросов

.

alexxlab

Related Posts

08.09.2021

Могут ли прийти коллекторы домой: Могут ли коллекторы приходить домой к должнику — сколько раз?

07.09.2021

Фото андрея черкасова: Андрей Черкасов: фото, биография, фильмография, новости

06.09.2021

До скольки можно вести строительные работы: В какие часы можно делать ремонт в квартире?

Добавить комментарий Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Комментарий *

Имя *

Email *

Сайт