хорошо всем привет собственно сегодня мы проведём некоторое тренировочное собеседование вызвавшим ся координатам андрея привет андрей да так уж вышло что у нас два андрея то есть есть еще андреев здесь это мой коллега по с которым я познакомился бы с 5 с которым мы будем собственно а задавайте вопросы анализ данных обсуждать какие-то вопросы обращать внимание на какие-то детали на которые я буду спрашивать не обратил вот прошел мы сегодня пока время привет надо меня собственно зад александра мы
00:00:00 - 00:01:33
поговорим сегодня про пройдемся по четырем по частям это питон теория помощь научения и погремушка про статистику в проекции на бы так вот прошел тогда андрей давай ты расскажешь немножко по себя вот расскажешь про опыт доучился с чем работал какой-то опыт анализа данных есть вот как ты в этой области прокачиваешься [музыка] всем привет меня зовут андрей я сенатор момент учусь в краснодаре на инфо бете скажем так несколько облажался с выбором но потом для себя нашел да да сайт о вас учит брайс и начал афина не
00:00:50 - 00:02:27
заниматься пока опыта именно работа не имею на данный момент учусь в школе на нее данных от мтс это также понимаю активное участие в лишним фактов про не понял что ты сейчас еще учишься на каком курсе ты но 4 она хорошо а вот проход он сказал а в каких-то которым части какой такой задачей было несколько ну надет первых это было прошлый год рост нефти в готовую страны там необходимо было задача написалось классифицировать тексты по различным тематикам там было пять пять категорий и для каждый из них
00:01:39 - 00:03:23
там свои варианты получать допустим это объекты там то прямолинейную сильно и прочее такой был потом съемщик вот таких английским потом был хакатон на распознавании самара сбитых самолётов компании с тобой скрыли россии чтобы та картинка сказать ну да достаточно на самом деле простое соревнований был не против просто картинки с высока но сделанная спутником насколько я помню и необходимо было определить если на них разбитый самолет или ент какую модель использую резерв почему ресниц потому что рис 3 2 1 хоть и потому что
00:02:30 - 00:04:10
почему не резная хорошо супер давай тогда начнем с с питоном это понял ты часто пишешь код ты пишешь питание вот как это с питоном как ты как ты оцениваешь свою раз ну объективно если уверены середняк может даже лучше может быть какая-то возбуждать я понял давать тогда я скину тебе виртуальную комнату в которую мы попробуем порешать какие-то задачи простые наш господь задачка да действительно просто на понимание работы со строчкой попробуем с тобой и написать функцию которая переворачивать строчку
00:03:25 - 00:05:06
просто банально у нас на вход подается некоторые объект формата street да на выход просто полностью перевернуты небо и отлично правильно вот мы если хочешь можем усложнить немножко задачку и сделать например задачку связанную с обратным представлением в бинарном коде числа то есть sage можно добавить вот у нас есть общем задачку да у нас есть например число давали примеру 417 сейчас саша добавится на в бинарном виде представляется были открыть вид да вот например да то есть вот вид соответственно мы переворачивали строчку
00:04:20 - 00:05:58
связанную с бинарным представлением и обратно конвертируем в соответственно целочисленный информатор и нам надо сделать бинарное преобразование его перевернуть и потом взять опять перевести обратно ведь если не ошибаюсь есть функция для представления бинарным на ход подается из я н который подается на вход он имеет формат кент он надо перевести в бинарный потом взять эту строчку перевернуть а потом перевести брат я подскажу действительно есть функция перевода вид она имеет название бен бен бен так это мы только преобразовали
00:05:16 - 00:07:15
видную форму так в днр на важный момент что когда переводится в бинарная там беркут два элемента они показывают формат то есть 0x а потом лет число то есть надо учесть при преобразовании что у нас первые два элемента они не являются числом то есть у нас при переводе будет например я только даже начинается со второго элемента вот так да и я пою бомбит тогда начинается 2 элемента и до конца строки это мы сделали бинарные представления потом необходимо перевернуть и сейчас необходимо преобразовать вот этот
00:06:51 - 00:08:37
набор это мы сделаем функции int так как можно следующим аргументом после строки указать основания по которым мы преобразуем да [музыка] да да убрали саш принципе пока все хорошо подавать тогда с питоном пока оставили с базовыми навыками она проблем нет давай тогда проспер поговорим [музыка] сначала дадим тебе задачу на базовый запрос даже ребята достаточно необходимый для позиции junior да то есть простейший успели запросы select вот так же еще задача будет no joy ведь надо будет написать простой и
00:08:00 - 00:09:49
select запрос структуру и дальше по общению стать тем более именно людей [музыка] прежде ну конечно но здесь мы получается выбираем все колонки так не сказано именно его дар то есть оператор звездочку использовать таблицу за дальше условие делаем с помощью операторов в где речь нужно им коса больше 18 лет все верно так давайте ветер по сложнее [музыка] конструкция там свет какой-нибудь простой фильтр достаточно примитивно давай теперь вот такую тоже достаточно базовой задача с джоном прочитай также прокомментировать
00:09:17 - 00:11:05
цель запрос который вернет некоторые идентификатор продукта его цену а все понял отдавая получается получается нужен найди вернуть измены до 10 и цену до и при этом нам сделать так чтобы наши таблицы product еще соответствовал соответственно название компании-производителя так сейчас который вернет и прайс то еще вернусь к имя компании данный момент что нам нужно чтобы для всех абсолютно элементов было сопоставление из таблицы produces я понял это говорит о том что тогда необходимо будет использовать
00:11:13 - 00:12:51
оператор left join если до тех же хорошо в чем разница между например но если сопоставить вот представьте кругами и лора то есть вот допустим пирсе вот есть две вы можете пересечения постинор это вот это только внутренняя часть пересечении плеч которой есть и там и там а лев допустим это которые все элементы которые присущи [музыка] также из левой области все сопоставляются то здесь элемента from области нету тогда просто на устроиться хорошо да то есть смотреть давай еще посмел просто есть где могут быть
00:12:17 - 00:13:44
находиться дома и джойнер таблицу от пропуски то есть у нас есть левая таблице есть правая таблица правильно до этого у нас например не было пропуск of но есть какие-то контакты расхождения в матче вот сайт из inner где могут находиться пропасть и то есть давай начнем с левого joy на пропуске допустим для примера вот у нас есть компания обще таблица продукт и да то есть при этом не идеально сопоставляются с собой сначала неберунгов я понял это тогда получая что для продуктов и туда карт компания иди
00:13:09 - 00:14:29
этого айдишник а может просто не быть в таблице кого компания а если вас на правом раньше это получается айдишники которые в таблице companies ну вот не быть 2 таблицы прыгать и соответственно углом плиз погибнут робски изначальных не был смотри тут просто будет действительно будет название компании которые не то бред про dex то есть у нас будет сопоставлении с продаж и проще будет продукции inner действительно пропусков не будет ну давай тогда напишите запрос ведется дублируется а [музыка] если ты сейчас не подписал я воспитанник
00:13:52 - 00:15:29
одну ошибку ошибку выдало потому что на mf присутствует и 100 этой таблице условия было [музыка] смотри здесь у нас есть таблицы продаж да он бы не айди и [музыка] давай с тобой еще попробуем сделать фильтр что если у нас нет у компании то вы просто удаляю просто ну то есть у нас получается сейчас matching как ты сказал ранее справа может не быть название компании простые снимать отдавая горы колонки удаления так power по строчке в которую мимо компании нету надо удалить да я понял [музыка] [музыка]
00:15:19 - 00:17:04
да в принципе да так здорово отелем действительно достаточно хорошее знание особенно на позицию джона принципе этого достаточно да то есть далее уже как бы различные оконный но это в принципе достаточно чтобы собирать данные например из hdd компании в принципе и дизельные понимания join of есть понимание в принципе правильно joy нить фильтрует структура запроса принципе на просто еду принесли не изощряться то в принципе с баронским на проблем нет давай тогда поговорим теперь про классические мере владимире книжка про
00:18:04 - 00:19:43
статистику вот пример я предлагаю начать такого простого действо просто послушать тебя как решал задачу как бы ты работал по данным и как были строго в модели давай не будем далеко уходить возьмем ту же задачу кредитного скоринга вот представь что у тебя есть всевозможные данных клиентов есть какая-то история иванова все что можно вытащить из данных то что можно нафантазировать все у тебя есть и вот ты собрал воедино написал какой то искали запрос запрос вытащил все того council если табличку открыл бы панды сюда и вот тебе и у тебя
00:18:55 - 00:20:28
при глазами допустим 1000 признаках который описывает твоих клиентов и допустим количество данных у тебя достаточно несколько миллионов строк то есть данных тебе достаточно вот вопрос а что ты будешь делать чтобы построить модель которая будет определять дать человеку кредит или нет или точнее выплатить он кредит зависимости установки чтобы сделать я понял но начали наверное несколько определился с метрикой чтобы конкретно как я измерял в качество моей моделью скутера будет но то есть посмотри построить
00:19:41 - 00:21:10
гистограмму распределений как часто уходят с метрикой сейчас обсудим какие метрики а какой тип задач на бинарных классификация пошел знать какие у нас метки могут быть при сижу рипол f1 сбор рукаву еще какая такая самая просто но это я говорю но и видео в даст мне кажется в данном случае классы будут не сбалансирован и поэтому я кружусь нельзя будет использовать данную задачу абсолютно верно хорошо давай теперь я ещё немножко про называл присели на recall вот а когда например нам предпочтительны при седане или на
00:20:34 - 00:22:27
приколы понятно что мы сразу ну получается вот касательно ребола иногда необходимо взять что постараться все случаи максимально покрыть даже если будет ошибкой в точности допустим пример выявления раковых заболеваний чтобы лучше перестраховаться чтобы клинок пациент заучил там допустим дополнительно прошел но при этом всех их выявить то какой ты будешь выбирать тысячи нулевиков это rival голову так как чем укол его альбом а потому что при хижин оценивает что как точно выпадаем высокий при хижину может еще означать то
00:21:35 - 00:23:16
что это то что могут определенные пациенты у которых может быть рак пацану добиться под сомнением и они просто не будут ставиться альбом метрика заметно сколько мы полностью я пукаю ну вот пациентам покрывает документирую да то есть действительно не кажется правильно было потому что действительно но у нас рипол наказывается так и зоны пол снегопад ошибка второго рода платой спина у нас идет не с работа не то есть нам в данной задаче важнее лучше подсветить лишний раз что человек у нас заболел нежели не
00:22:32 - 00:23:53
подсвечивают поэтому не кажется еще я думаю просто андрей прокомментирована престиж и наш да в целом хорошо я думаю просто андрей прокомментируете на престиж и наш да в целом [музыка] хорошо всегда пример про при хижину на ум так сразу не бросать необходим то есть выбрать допустим тех случаев когда допустим наши ресурсы будут не вечны какие-то ограничены и мы не можем всем подряд назначать нитку выводим затем мы не можем попасть нужно только в том что мы больше идеологов больше уверены ну наверное наверное
00:23:18 - 00:24:57
вот в трейдинге я бы сказал так вот мэр при хижин будет больше предпочтительней то есть лучше ставить на вариант который вы больше всего уверены который будет это и а другие вариант допустим которые вы вершины на небо облачно самих лучше пропустить здесь выбираем вот допустим ставки на футбол то есть ты допустим уверен на 100 ватт это команда сто процентов победит уже войну дальше а другую тоже если она слабее допустим это поэтому если бы на метр policy живым престижем власть оценят чтобы они больше было новый мир только 1
00:24:09 - 00:25:31
1 1 но второй раз но не предпочтёт в целом в целом ты очень так близко-близко все подходишь но ты правильно начал с ограничением действительно что если допустим мы не можем делать прогнозы на все и нам нужно сделать словно там не знаю выбрать только какие там 10 10 самых вероятных кандидатов то при сильном здесь пока что посреди выбранных до среди наших прогнозов должен быть наибольший процент того что этом году условно если то тот же твой пример 40 ли рассматривать достаточно не предпочтительно будет так
00:24:54 - 00:26:24
как давай давай какой другой какой-нибудь допустим она маленького бежит данных и тебе нужно это не можешь как бы сказать что все об этом ну тебе ногу допустим нужно отранжировать все твои там образцы по престижем мы его можно гораздо проще и самый простой пример на престижем да то есть много это ложно срабатывать а вот у нас есть предсказание например поломки так нефтедобывающего борна вот я как раз на следующем хотел сказать что вот когда и пытаешься все эти на монеты как раз не хочешь хочешь отнести
00:25:44 - 00:27:05
положенный из сработал ложные срабатывания потому что замена оборудования которые работают это очень дорого и в ущерб компании давай да придется с метрикой ты знаешь какая задача как ты будешь 10 вы дальше что дочь смотреть два шара либо сделал как он был line грамм травы либо еще одна тысяча близок of which обрели на самом дне достаточно много постараюсь выбрать самые релевантные из них то есть самое ценное супер вот допустим тебе нужно оставить только 20 признаков как ты будешь оценивать но воспользуюсь алгоритм
00:26:28 - 00:28:01
например такие как метод главных компонент а смотри если мы говорим про бизнес тон сколько тут здраво использует метод главных компонент очень когда мы говорим про быть про бизнес что нам важно интерпретируют модели хорошие вот если ты и сей можно взять сжать там пространство удалось каких очень то там 20 признаков бутылки но допустим нам нужно сохранить это такая всё я понял тогда допустим можно воспользоваться дабы случайным лесом которая и у него родной встроен к карте риском бы сразу с колен посмотреть
00:27:15 - 00:28:50
призраки но 2 вести по порядку его вот их одно ценности вкладам как как как как лишь ранжировать ну по убыванию получается того как вообще понять что признак важны и неважно как пример помощь корреляция на хорошо какой например какое как один корреляции пирсона . но если у тебя задача не регрессия классификации то что-то будет в принципе для бинарная классификации все еще можно как бы взять условно говоря корреляции пирсона данного же с допущением если у тебя будет было бы 3 класс или четыре то ты бы уже не смог
00:28:04 - 00:29:48
ну да тогда можно взять логистическую регрессию и внутренне рацию хорошо тренировать логистическая даже по конечно вот величине коэффициента который был на повисали на сидит на абсолютно верно с помощью формировать повисал да хороший способ давай допустим ты вот давай тогда раз ты сказал про логистическую регрессию вообще-то legacy то какие ты знаешь методы регуляризации лассо и ливневые регрессе ну еще и ластик нет но как греции комбинации расчета допустим говорить возьмем 102 какой ты выбрал вы здесь для того чтобы
00:29:04 - 00:30:50
понять какие признаки тебя точечные вот так вверх на родину сон потому что над и ее свойства что она неважно признаки она загулять супер да допустим ты взял на физическую регрессию с летними реализацией замылил и вот у тебя уже не 1000 признаков а допустим ну давай давай 300 вот еще много чтобы дальше делать ну вот как пример тоже потом можно использовать но сильно пока что брать случайный лес ножку страстно тренировать и потом уже тоже по значимости признаки между собой или отранжировать или выбрать наиболее
00:30:04 - 00:31:51
значимые но если там если мы не знаем какие назначен какие нет как вариант можно сделать один признак сделано после который заполнил чисто случайно на случайно цифрами и если ну и допустим вот отранжировать учебную визу на супер держу вот давай бы мне очень понравилось то что печатал что можно по случайному признаку сделать некоторую отсечку на то где начинаются важные признаки где заканчивается там где начинаются бесполезная хорошо но вот в каком случае такой метод будет работать то есть как ты думаешь когда ему можно
00:30:57 - 00:32:31
применять ну туда например когда мы не знаем какие признаки сколько предоплата реально важно вот давай давай может так вот здесь немножко подскажу если у тебя модель предсказывает в добычу дерево до которую ранжирует мир признаки и допустим у тебя точность на валидации в этой модели 55 процентов будешь ли ты верить тому как она дрожи рава lopez ники [музыка] 10 процентов наверное уже нет да да то есть такой метод можно использовать только коня у тебя уверены так хорошо мы значит обсудили два типа
00:31:44 - 00:33:28
два способа как можно давать признаки сказал эта корреляция это с помощью моделей из к регрессии можно построить дерево и к социальным признакам тоже понять какие там нужно отсечь какие-то признаки бесполезный отсечь хорошо под тем же 3 назвал тебя уже там не не 1000 признаков как бы уже не 300 а допустим у тебя их 100 вот уже как бы так уже прилично то есть уже достаточно большой кусок срезал 93 зал как еще можно понять какие признаки всё-таки нам не нужно ну так напрямую перебора может даже если
00:32:48 - 00:34:32
шабо считал и в общем называть fbs да хорошо есть перебором и у него есть 2 2 это 2 реализации это первый когда начиная с одного признака каждый по отдельности рассматриваем выбираем самым носом крутой тип которые вне дальше этот прием уже как используем комбинации с ним использует в оставшейся выбираем какой самый классный комбинаций для двух признаков вот эти два берем и все и но и так потихоньку делаем да конечно вариантов которые нам необходимы да [музыка] да а другой вариант получаться когда все
00:33:39 - 00:35:10
есть ну и берем все варианты и начинаем по одному убирать то есть берем так все убрали все вот сама уж качества на это когда вот это при как убрали все герои его берем и так потихоньку начнем тоже убирает признаки пока не уберем когда какой из этих способов на предпочтите я так думаю что первый способ предпочтительнее когда у нас мы понимаем что есть сильная зависимости между призраками что вообще значит я бы надо девайс это называется mute коли не ярость не то что признаки вот сами по себе безличным не очень много
00:34:28 - 00:36:07
дают но в совокупности имя вот как мир собой они падают значимый эффект сцеплено о н л а а вот если мы думаю что признак является независимо the fathers и они являются независимыми между собой то 1 использовать на самом деле с этой точки зрения качестве неважно и первый второй случай тебя приведет за если тебя есть достаточно времени вот этот случай тебя придет списков скрипт в том что ты когда выкидываешь признаки тут и когда тебе нужно просто сжать количество которые ты ходе которой то есть то лучше
00:35:23 - 00:36:49
использовать способ когда ты выбрасываешь ты зовешь и нам чуть быстрее вот а когда ты начинаешь с нами roxy комбинировать то это может занять хорошо до 5 твоего времени ну да скрипнул одна из идей вот так да тут на самом деле спорно все зависит от конкретной задачи от количества признаков того какая у них активная сила и так далее хорошо ты назвал ушел к страшно существенные и вот есть еще один на самом деле самый такой банальный самый простой не требующие вообще никакой статистики и никакой тематике вот и словно 5 назвал
00:36:06 - 00:37:35
есть еще один еще один который я попал не к самому подумать да надо подумать что еще сделать вы это немножко подскажу если у тебя есть ты пишешь безмерно что ты все знаешь что matplotlib собор вот если ты знаешь такие места как можно чем пилять признак типа вообще нужно или нет как бы ты сам тебе дали данную и сказали проверь признак важными не важно чтобы он был бы всего один допустим а как бы ты понял что так так мы тут ли какой-то тип мира пика чтобы сам очень простой нужно визуализировать визуализировать не знаю
00:36:49 - 00:38:33
просите на таргет а то есть построить я бы я бабой можно поставить является допустим данные полторы не торопили мы допустили сигналы классификации то я в таком плане на если раньше вас его называют паршин плод но можно сделать еще чуть чуть чуть мне очень часто у нас данных есть временная зависимость и делаю так что по одной оси растягивают эту зависимость еще пасе временной и тогда становится более понятны картина ей можно понять вообще признак вообще уже глазами становится понятно признак зависят от орбитали не
00:37:53 - 00:39:12
разделяются чехол гуринец вот и это уже такой самый вообще если у тебя всего признаков немного признаков 10 то возможно стоит просто глазами посмотреть но если такая ситуация как у нас 100 признаков исколесил долго кучки глазами глазами их просматривать возможно стоит быстренько использовать те методы которые мы описали когда у тебя их чуть-чуть признаков 30 то уже посмотреть 20 то есть вот если бы из ста признака с помощью вот этого вот этого вы выбрасываете знак у тебя осталось бы 30 туда последний последний
00:38:34 - 00:39:54
рубеж до 20 и бы уже мог даже визуально хорошо от целом целом хорошо что ориентирующийся подборе признаков давай теперь про модель что будем брать как модель вот у тебя есть 20 признаков все ты отобрал они хорошие имеет хорошую легитимную способность что дальше но посмотреть вообще а какие признаки но природа мир между собой одно они я они потеряют категориальные допустим или же числовые да хорошо ну допустим ну допустим ты с этим справился еще когда тело признаки на их женщин иначе непонятно как и хотел удара громады
00:39:15 - 00:40:59
хорошо но раз ты коснулся где мы допустим то категориальные признаки что обычно не делать ну тогда честная будут как boost использовать так ты можешь ли ты линейную модель поместить эти категориальные признаки да если мы используем до корабли на ванную вот наконец то есть когда вместо одной ну допустим если у нас мы знаем что в одной колонке допустим на бинарных да нет разделять потом на две колодки то есть если до 1 в 1 там из нет другой можно это перебьют тоже вопрос хочу задать вы смотрите про он хотел поднять
00:40:08 - 00:41:32
назвала еще кроме он спутниками корниш какие-либо козероги но самом простом допустим но пока еще чем можно сделать ну понятно что математика для неё там математические операции не определены но что ты можешь сделать скатерть но есть два типа к федеральное значение порядка вы который вместо бой но то по расположить на оси пути понятно ну то есть можно раскусить насильно и тяжком быть хорошо ну да те которые ты вообще не можешь сравнить между собой больше меньше реального ухода хорошо ладно окей можно считать
00:40:52 - 00:42:34
категория тогда у тебя есть колд county входит такой она тоже не самый лучший способ и есть еще очень такой популярный как бы стерилизован ладно все три тебе сказал таргетинга пересмотреть до рвотный подруга ну теперь давай попробуем то есть понятное название да то есть но наверное что-то делается целевой метод давай попробуем соответственно понять что же он делает как подруга если torment опусти целевой то он ее на получается разбиваем предстоит 9 in vector допустим у нас есть внутри будет или в нашем случае требует
00:41:58 - 00:43:28
непосредственного 01 войска более реквизируем у нас есть задача например регрессии клевая метка это не знаю цена банана и мы сейчас например цвет бананов красный желтый зеленый вот возьмем например значение зелен то есть как она он кодируется ну а давай давай оставим просто если андрей проблемно к этому подвести а вопрос хорошо ладно давай смотрели день после последней допустим за кадир переменная вопрос а могу ли я использовать дерево если я не забыл хотел признаки вообще никак не будет обработал реальным переменам
00:42:50 - 00:44:34
не можно нельзя но они влиянию я не успеваю я долл как буквы ну допустим не как будто пусть допустим просто дерево а-да-да-да нельзя почему что будет ну вот в линейную модель точно а вот с деревом но прекрати вероли энтропии наверное новые метрики которую подразделение про использует он не сможет на самом деле сможет просто ему понадобится больше делать сплитов какой-нибудь дерево или дерево будет проблем провал просто будет чуть попроще но да действительно будет не очень оптимально строится модель действительно как бы не
00:43:43 - 00:45:33
нужно но вся норк можно вот хорошо давай ладно раз перевелся в поисках густом как в капусте реализовывать ну то есть если в как books ты не будешь мне как ты добра батэ войти признаки то что буду делать случае как густо но дня у него параметры если необходимо закинуть указать создать массив который будет название таскать игральных признаков и потом уже допустим в фид когда мы закидываем x велик и еще вот кафедральной в языке необходимо указать но да понятно что как будь то есть ты тоже ты по сути тоже
00:44:42 - 00:46:15
бред обработку перемеряем переменных просто лишь на совесть капусту хорошо что он там делает потом как бы иметь представления получает происходит модель бустинга но строится деревья ногу указано сколько денег будет строиться получается и те bustin да она в чем заключается одна ну строится dosage слабой модели но это короткий деревья чего радикально называют они предсказывают тарелки предсказания а потом строится следующие за ним на дерево которая старается уменьшить ошибку первого наши ошибки предыдущих моделей людей как
00:45:32 - 00:47:14
строится дерево киносъемка все понятно а как именно категориальные признаки предобработки то есть вот почему того находятся ли они под капотом или что то еще с ними делается ладно давай тоже поставим ok последний вопрос если мы говорим про про бизнес дату что нам учил приняли вибро до линейную модель или какой-нибудь там какое дерево пишущий ну на самом деле вот можно красно вверх на и линейной модели дерево а вот здесь вот вот есть какой-нибудь один бутон новый слой случайный лес уже дал слабину не лет
00:46:29 - 00:48:00
предпочтительно на продажах принципе но и что линейной модели что дерево не являются интерпретированы изначальную и но интерпретируем модели они но ты тоже читал стадионе чаще как раз используется для показания интерпретация на самом деле есть здесь некоторые отходы капля дальше еще один способ какие-то если ошибаюсь цель как-то так назывался способы чего но для других модели оценки перевода них интерпретировать и понятно что у каждой модели есть велосипед хотя вот у кнр есть какой-нибудь способ
00:47:21 - 00:48:49
какой-нибудь fitch impotence что вас можно я прежде чем ты перейдешь вот вопрос затронут был случайный лет до до этого ты говорил например что вы допустили пикника борисполь по случайному лес два вопроса ну понятно объяснить как там принципе это все происходит на то есть как обучать случайного леса во второй вопрос 2 1 вопросах а что же там случайного сразу скажу что на 2 случайности какие вот и соответственно сейчас еще был вопрос например задачей регрессии случайным лесом то есть возможно ли например на задаче регресс если данные
00:48:07 - 00:49:59
обучались то есть данные обучающей выборке или целевые метр и положительную да или нет 30 то какие значения может давать предсказание модель 1 расскажи вот про то как сам выглядит общая алгоритм я случайно лес получается вон тоже строят деревья небольшого размера большой глубине но в чём отличие именно они пытались они независимы между собой случайно действительно тут два будет признан то есть первое это признаки на которых он обучается каждый деревом случайным образом выбирается какое-то количество признаком
00:49:03 - 00:50:38
и на них там обучать а второй как раз это калий но выбор получать данных из данных тоже выбирать веке вот случай выборка это была быстрая выборка происходит и они получают происходит обучение в принципе верно единственное не совсем согласен насчет неглубоких деревьев потому что по сравнению с бушингов получается не поглубже был но да да ну и соответственно второй вопрос что будет с целевой метки с предсказаниями если обучалась на неотрицательных целевые но мы не отрицаем целевой метки насколько я помню и
00:49:51 - 00:51:18
набираться предсказание каждого дерева и потом находимся их среднеарифметическое ну и что теперь можно сказать про соответственно метку случае если у нас обучалась миллион но она будет выдавать жуки отеля доставь я потом дед читал что но поэтому как правило деревья не используются для задачи на дальнейшую прогнозировать так как она возможность будем только присущи операции там проводить они будут только именно в этом диапазоне выдавать рулоне да действительно не рекомендуется к использованию когда у нас в тестовой
00:50:36 - 00:52:08
выборке да на котором будем предсказывать может отличаться существенно диапазон значений то есть нашем случае с от нуля до ста то все хорошо оно так и будет искать но я достану если предположим цена будет как-нибудь там отрицательным надо другой сливай меткой собак отрицательный провод на обучение на диапазоне от 0 до 100 мы отрицательно не должны получить то есть но не получили и ответ правильный что случайно да супер давайте перейдем закончен работы построил модель tippins коренко выбрал во-первых
00:51:27 - 00:52:42
правильно то признаки правильно дам выбрал я определился с моделью угла давай теперь поговорим о как бы ты дальше эта модель использовал для того чтобы и вы видели в какой-нибудь надо white это тот же кредитный скоринг и мы пытаемся проверить насколько твоя модель лучше чем нежели мы даем каждому второму кредит как бы ты проверял но краса провести абэ тест хорошо как где руководил но получается разбил бы на две группы получается получили начальные альтернативной гипотезы дело наливайки против вас на самом деле
00:52:07 - 00:53:49
модели никак не надо никого уже не просто не дает дальше на альтернативный гипотеза получается что модели и сказал ни какой прирост не дают прирост а почему но в качестве вот у существ к метрике то есть отношение как раз случайным ну вот когда мы укажем втором даем что допустимыми трико f1 до путей мы пытаемся проверить насколько f1 рандомный лучше против необходимо модель прошел идем дальше даже получается разбиваем на две группы пользователей были стараемся чтобы их ну количество каждой группе
00:53:02 - 00:54:45
было приблизительно одинаковы ты взял всех клиентов поделил на две части и у тебя одинаково одинаковое количество там и там не что да да хорошо вы то допустим это какой-то банк и вот ты разделении у тебя допустим [музыка] 100 тысяч человек всего клиентов вот и ты бы получается разделил быв на 50000 в одной группе 50000 нет это уже у группы меньше брать потому что если будет допустим нет но нулевая гипотеза не оправдается допустим минус это то это оборот компании принесет у бы др лучше взять их вдруг бы поменьше
00:53:54 - 00:55:49
ну сколько бы взял но пару тысяч человек ну лучше конечно процентах допустим не за процент 35 процентов относительно данный но не реальный версии что-то сказать что 1000 ну где-то 100 тысяч в этом кино и тогда и тогда отлично хорошо писать что в бф3 у фпс у тебя попали в тебя попали только мужчины в контроль и мужчины и женщины нормально не этой ситуации не нормально да здравствует выборки между собой более стратифицированные не совсем не совсем случайно а специфицированы домой к одинаковым получать смотреть мы
00:54:54 - 00:56:34
говорим про кредит на ускорен где может быть так что событие это выплатила невыплата оно произойдет через очень много тут у нас есть проблема с тем как эти как оценивается эффект модели и выжла поэтому допустим будет пусть это какие-нибудь перейти на сайт допустим ты сравниваешь тест и контроль того на сколько у тебя один баннер лучше другого как примерно оценивал сколько времени тебе нужно ждать пока идет в бресте но мне кажется что в районе деле надо так что можно ли как-то это ценить ну как это математически оценить они интуитивно
00:55:48 - 00:57:20
ну чтобы это было не привязана к нашему кейса привязан вы по ситуации вот допустим вы сказали когда вы смотрите сказал недели не допустим за неделю у нас в трене всего в тесте у нас всего десять человек в контроль у нас всего три человека вот можем ли мы такие результаты потом сразу матери нет ну наверно нет а если наверное да слишком майкл а если на сводной 10000 от другой там в контроль например 500 уже как бы побольше или будет результат должен вот олег найти вот это вот оптимальную минимально они всегда на которые нам
00:56:37 - 00:58:18
нужно чтобы добиться также даже уверенности это и специально какая-то формула ну есть формула да есть и примерно критерий того как это я не сталкивался с таким пришел реального ничего страшного еще значит что такое пиво да конечно можешь рассказать что у меня получается это вероятность того что но в данном конкретном опыте вот выполнилась наливайки пальца прикуп при каком условии ну и ждала нулевая гипотеза пусть мы считаем что вот ноты допустим как пример это это почти правильно или деление не хватает
00:57:30 - 00:59:23
еще последнее вот еще кусочков фраза вы [музыка] скажете чески измучили дании гармонировать вероятность ноги пальцев при условии что эффект при условии что наверно или если мы говорим про случайность приходит что эффект был случай [музыка] случае но то например у нас сама не от гормонов то есть мы у нас есть допустим монеткой мы хотим проверить gear 5 или она честный или нет ну допустим мы десять раз ее подкинули и 10 раз подряд бы по выпала решка допустим до кого-то будет минус вероятность этого
00:58:31 - 00:59:57
в 100 тыс на хороший пример хороший пример то есть если вы не считали что эффект случайный вот и быть там через десять орлов подряд заподозрил бы что что-то не так с его это что-то прошел пюре сказал а как использовать белье когда мы проверяем какую-то гипотезу но мы находим поверил и устанавливаем на порог значимость альфа как правило задачи она либо один процентами по начать все пять процентов не допустим и еще если если если повезет получается меньше пяти процентов до мы отрядами любую гипотезу не считаю что
00:59:21 - 01:00:49
выполняется альтернативное если же больше то наоборот мы считаем того что видно на любой не куется 133 интерпретируешь эволюции правильно правильно а ты велю для чего троица говоришь наших и выиграл а вот для чего ты бы почитал на использую что а польза путем различными критериями то есть есть несколько cd с ted с нелетающим критерий моно вы дня где какой применять когда какой-то 1 2 cd но рассмотрим zts мы применяем когда мы знаем вот нас больше тридцати значений и мы знаем дисперсию стандарт плане и
01:00:06 - 01:01:53
генеральной совокупности и тест либо когда много ночей и меньше чем пресс либо когда мы не знаем чему равно бункера стандартное отклонение генеральной совокупности то есть она t-тест основывается на распределение ноты распределения в пленка которая 8 ну то похоже на нормальное распределение тока у него ветки получается не более подняты вверх получается более тяжелые края хвосты хорошо окей давай тогда последний раз тела 1000 сказал манамы дня а когда мы берем теперь 100 когда мы нажмите ctrl z с бульоном значение вот zts это
01:01:02 - 01:02:48
может быть 10 тысяч и т.п. но так оно принципе мы считаем что нормально и данные распределены эти выборы которые мы пользуемся заперты пять лет аман вы если вы видите допустим то что на своем и данные мечта вы распределены не по нормально в плене мойка применяем критерии могут не решен до правильно но она ведь не более устойчив к боссу получается более аж на нее с большим количеством да там на основании потому что арам мы не сами почему точно работа с андрей ворвался с вопросом провод выброси вот как ты думаешь и
01:01:57 - 01:03:31
верею для выбросов она чему равно большое не она маленькая наоборот выдумано должно быть маленьким да хорошо действительно вот еще такой вопрос к том преимущество медианы над средним она более устойчива ко сну выбросы получается на почему там но но государством суть алгоритм потому что меня посреди там мы носили мира и значение напрямую являет но то влиять лишь тобой а медиана мы получается берем все значения но оставляем их подковку поток упал до пола по возрастанию и берем кран очень которые идут по середке
01:02:48 - 01:04:22
центральное значение если нечетное количество или если честно это третий арифметическое двух этом центре центральное место до 50 процентов . хорошо так я предлагаю тогда на этом закончится хорошо теперь поговорим про общий фидбэк по собеседованию да потому что морфий или и разберем твою резюме так андрей давай ты начнешь я тогда давай начнем все таки с резюме вот собственно как бы режимы классно плюс что одна страничка потому что чаще всего действительно чем компактной информация тем лучше из явных
01:03:36 - 01:04:55
минусов которые я вам сразу вижу первое не совсем понятно скажем так как он скажем так на каком уровне этапе образования ты находишься да то есть у тебя средняя высшая высшая не закончена обязательно надо добавить потому что чаще всего даже при первом рассмотрении соответственные чары смотрят на образование а то есть потому что практически во всех соответственно вакансиях стоит сразу наличие технического высшего груза во вот если говорить про with john + металл и так далее это прям обязать здесь чтобы
01:04:18 - 01:05:43
понять на каком то этапе надо как минимум это сгубить чаще всего это не делают и чары они смотрят понимают видят что у тебя тут лицей предполагаю что ты школьник и вот на этом собственно все и заканчивается да то есть это два ну то есть формализация стиль степени скажем так образованности она очень сильно повышает скажем так процент утки это прям вот далее соответственно по навыкам ну смотри здесь как я понимаю ты сам сказал да что у тебя нету а профиля с образованием папа каждой порошка я заказ учусь в школе яранске но
01:05:00 - 01:06:25
вот этому поэтому я настоятельно рекомендую добавить ну то есть видно что у тебя техническая по сути образования подогнуть с безопасностью и бы то есть уже в принципе формально под критерии техническое образование ты уже подходишь вот тогда надо более четко описать что там ну то есть я бы сделал это строчками например с такого-то по такое-то год я учился там выше высшего в учебном заведении с такого-то по такое-то прохожу например дополнительное образование профессиональны до связаны с ds то есть более четко чтобы понимать
01:05:43 - 01:07:09
статус того где ты находишься с точки зрения образования гид хоп да то есть вот здесь есть ссылка на гитхабе и лучше вывести сразу наверх потому что обычно если ее и смотрят то как бы не надо выделить просто потому что иногда действительно работодатель за ходит и смотрит ну что ты вообще можешь как подпишь да вот что касаемо например хакатона здесь также рекомендую добавить прям отдельно то есть ты упоминаешь ты занимаешься свободно микоголд которые - да да то есть про курсы я настоятельно рекомендую
01:06:25 - 01:07:46
именно от рассказать то что как бы на тебя то есть то что ты прям проходишь там будешь получать алиану то естественно профессионально образовать то есть понятно что все мы проходим какие-то курсы да то есть там будь то не знает различные компании да без рекламы сегодня как бы здесь надо просто более формализовать вот про хакатоны обязательно напиши что ты участвовал в таком-то и таком-то хакатоне и решал такую это такую-то задач тем самым формулируешь как раз ну свой скажем так стек и потому что как бы опыта у тебя к
01:07:05 - 01:08:24
утру готова нет можешь сказать что вот я на работе делал то-то то-то было но хакатоне ты можешь сказать что вот мы решали задачу детекции там сломанных поломанных самолетов там еще там такой-то такой-то ps это надо тоже обязательно выделить что ты уже пытался боевом скажем так сильно на боевой задачи и решать эти значки на практике то есть уже как-то вовлечен но вот это уже повысит действительно как бы ночь твою привлекательность для работодатель вот счас есть еще че-нить так и пока есть под добром угодно год на отлично смотри
01:07:48 - 01:09:11
давай прямо по нему сверху вниз по резьбе и если мы говорим про which are как родился в руки мой размера 1 он хочет понять это какой вакансии ты соответствуешь 1 какой vacancies перо и соответствующей и этой пока не очень полезно если ты знаешь какой то водитель машины инженер что угодно указателя прям вот под именем то есть позиция на которую ты тыкаешь всегда понятно сразу что-то мне фрукты не front in der бы ты ни ios разработчик даже тут и что ты их мудрость сразу понятно в каком какой призме на тебя посмотреть а
01:08:30 - 01:10:06
теперь насчет фото фото прикольная вот но она не совсем формальная давно не соответствуют таким формальным требованиям даже требование нет новых обычно фотография должно быть не как то есть если ты уже добавляешь туда решил добавить агрессию безмен это хорошо в принципе для россиян лично но она должна быть более меня так назвала и пробуя то есть она даже новых вперед действительного как на документы приблизительно 1 полет как документ желательными улыбкой вот он действительно же давший это твой
01:09:16 - 01:10:40
фронт еще можно короче саму фотку именно в кружочке обрезать чтобы она была просто эстетические приятно не смотреть вот если мы говорим про вакансии заграничную не открывать америку подписку там вообще запрещены фотографию возьмем потому что у людей есть свои люди могут ценить тебя субъективных да потому что не будет выбирать тебя не по твоим навыкам арфа цвету кожи ну что такое вот поедали даже некоторые это номер системы они там фильтровую 3 зиме у которых есть фотографии и мысль об этом никогда не
01:09:59 - 01:11:10
поэтому фото 1 если для российского рынка фотка эта бумажка могут быть еще и вас а дальше вот ты пишешь например давай по навыкам пройдемся вот и пишет питон и основные фромборке для машинного обучения на результате и перечисляешь но борьба нос при либо тогда сразу это называю то есть как бы так понятно что либо тогда не назывались ты знаешь все но лучше там их перечислить am2 кабель жизнь потому что а за самые фромборке для обучения находитесь . а я указал позицию наверное пишешь по буллитам поступает я
01:10:37 - 01:12:17
постараюсь по группировать приблизительно при этом there a spider старче вижу в одном месте да потому что это все типа sd или семьи то есть это нужно м в одну строк можно разбить прям на группы я например может быть где-нибудь на видео здесь поставлю что вообще можно прогнозировать к отдельным секциям навык машинном обучении твои пайтор что там socket легок далее какой нибудь еще раздел by the flow когда ты какие-то тоже панда снапа air flow и мир flow hadoop на что-то что связанные с мира с инфраструктурой данных и они какие-то
01:11:27 - 01:12:56
дополнительные gamecom x10 кирова скорее всего дик ты знаешь да ты указываешь очень хорошо так теперь дальше идем про личные качества не подпишешь там участвую в различных соревнованиях ученым обучение зритель уже сказал что лучше их формально формализовать то есть если у кого-то крупных о котором то это название хакатона задача и рассылка дальше можно было гадит хоп красиво оформленные зайти посмотреть его решение иначе просто типа я участвую сознания звучит как будто бы у него наличные внушает доверие дальше с местом учебы я
01:12:11 - 01:13:31
согласен полностью с андреем его название курсов а многие курс они имеют такое уже очень популярное название какие-то специализация с тех а вот так далее если их сюда уже пишет что можно можно их строго тем же названием там специализации все детали названия но вот что бросается в глаза ты прям ссылки вставляешь если ты хочешь ссылку стать людьми то лучше конечно ну и чар вряд ли вы будете и там открыл какой-то телефоном поменяться придет на если она распечатана эту морят на месяц руку кликнет а если она сейчас смотрят в
01:12:56 - 01:14:33
электронном виде да эту ссылку можно здесь можно слова как сделать кликабельно и не обязательно столицу как то есть например вот пишешь это ссылка на твой профиль да то есть можно сделать и сделать это слово криками тоже можно делать сделать а действительно то есть кликабельные 2 ну там профиль степи кино еще смотри пир маленький след от пищи для во всех ссылках есть http если ты уж ссылку отставляет штука вот этот кусочек нужно начнём-ка бы так автоматический вставляются если ты не загублю штанги т'хаб . андрей
01:13:46 - 01:15:15
он стопроцентно найдет твой гифка бти без почти теперь по этому гаджету можно пожать так свободное время фанат ну а 5c про фанаты царством тут либо какие-то свои пит проекты указывает либо указывать ну то есть вообще хобби у тебя такие которые представляют тебя в принципе в в позитивном свете в дополнительное время надеешься на войну но тогда хотя бы какие то может и проекты литров кислота или принципе так можно ставить но просто у тебя смотрите я фанат да это саянске пищу пишешь тихо как и парке
01:14:30 - 01:15:54
кадр и хакатоны это это почти одно и то же на курсы по реке саммит атэс казалось что ты занимаешься и посещение тренажерного зала почему вы не до ссылка коровы валери бабушкина людей личные качества я да я сам скептично отношусь к тому чтобы хвалить себя бремя я обычно указать какие то факты которые говорят о том что ты энергичный сентября список там не сидите чемпионатов которые ты выиграла что по выходным ну понятно что ты там энергичные инициативные самостоятельно соответственно если ты говоришь про
01:15:14 - 01:16:39
коммуникабельность то как отец жиров к или какие-нибудь какие-то факты которые говорят важно например в англоязычной то есть компания хочет также смотрят на всякие волонтерские истории если напишет что я оля там не знаю бабушкам печенья раздавал праздник то есть но и образно то есть участвовал того крутые обычно вот режим который песка лекс видел люди они также проведение чемпионата мира или еще что этот раз патриотичный отличный показатель такой факт который очень сильно тебя сразу он сразу показывает и чару вот эта вот
01:15:56 - 01:17:34
точку входа а как это можно было указать вот допустим просто места типа там волонтер это проекта место и значимо написана дата и что ты делал на ездил на олимпиаду-2022 был авантюра или там в москве организуют институте окружал ее тоже говорит что ты указывает допустим занятие свободное время в принципе мне кажется это просто как тот надо вот эти два пункта их реструктурировать то есть например даже в качестве примера не знаю то что лидер можно понять стала например скажу чтоб не всем спать не знаю капитаном команды
01:16:50 - 01:18:20
просто как пример так и последние последняя также как и с гербом то сейчас ты уже указываешь ссылку то ты говоришь про когда ум укажу ссылку на как если есть это желательно что сверху справа вынести придут сюда чтобы тебя прям блок был то есть круто штуки телефона туда сразу снизу вот где-то здесь дала форматирование сделать правее дата сбоку в принципе это как такой я как такой пример я могу показать как я свое резюме формула то не то есть у меня тоже не самый лучший не самый лучший пример на я
01:17:45 - 01:19:11
пока могу показать как я попытался донести какие-то свои характеристики на рима что же открыть просто сравнение так но я скажу что она у меня не на российский рынок времена английский чтобы иметь возможность отправлять независимо от того есть вот поэтому просчеты говорил этот скилл profile как раз напомню вот то как раз то что делать с прошлым говорить а вот и вот как раз соответственно experience то есть но саше так понимаю торг experience понятно синьор помидор у нас вот у него еще вот видишь это типа по сути можно он также
01:18:36 - 01:20:21
формулируется как кида но он типа обучающий что вот он учит людей и вот еще дополнительное образование то есть вот этот блок как раз это то что этот курс это есть основной 2 включается но тоже важный момент что включает надо именно высшее образование то обычно школу не пишу как бы принципе никому сильно не интересно ты я учился долгу за а служит как бы осознанный выбор скажем так и как бы уже интересно то есть дикий шум в данном случае является как бы вот именно образованием основным твоим то есть
01:19:28 - 01:20:50
действительно государственно образца то что ты получил высшее образование дальше уже как растут это все добавляешь cd + скулы различные по русски называется переквалификацию вот языки конечно надо сказать да вот языками не прокомментировал вообще вот ты пишешь себя разговорный лучше всякими на уровень потому что насколько сколько разговор на тебя непонятно от кредитных b1 b2 это уже где мы чтим ты можешь то есть принцип понятно что есть человек там elementary да он может чуть-чуть с помощью google переводчик если он пишет
01:20:09 - 01:21:42
там c2 это значит если можно вообще любите еще можешь как рекомендации linkedin себе завести говоришь про сиськи компании ничто не мешает тебе еще указать евро программ это уже давно средства коммуникации про ты говорил андрей вот смотри видишь сверху контактная и все так ссылки кабель они верху и как бы на виду вот это тоже очень важно потому что действительно очень много то смотрит куда вот отправляйся потому что на почту скорее многомиллионные контракты присылают вот сотовые чары пишут телеграме то еще все 50
01:20:56 - 01:22:32
приведите его прекраснейший код и не видит какой красивый рубашечке так хорошо давай теперь про можно было о'хара скромного сразу беремся вот что касается питона и английская даже несмотря на то что мы там сильно никополь и ты как бы звучишь хорошо тесты уверенно пишешь и код и эксперт там каким-то деталям и не придирались сама наша цель видно что с питоном ты имел square and исхода написал два запроса они не самые сложные на самом базовые в спиртном меж ее вещи которые чаще всего спрашивают дальше
01:21:48 - 01:23:20
важно да вот обоймой лена очень хорошо ориентируешься кристина что базовый pipeline модели ты можешь построить то можешь взять и данные понятно не проверяли как это можно делать тут ты правильно начал из целей то есть при правильно разбил на шаге потому что большая ошибка когда люди сразу умирает там начинают работать данный метод строить модель они сложнее не разобрались тем что какая задача построить не медлите не обсудили вот и значит сметри которую большое теперь это там сердце вот дальше при
01:22:40 - 01:24:02
более-менее хорошо сообразил с тем как фильтровой песни кито сильно что ты понимаешь все можно зайти да и там даже какие-то наводящего просто тебя быстро приводили в нужную точку то есть смыкал год пришел про статистику и новость про статистику и какие-то более глубокие вещи из на машину обучением и там никополь а потому что вот но вот про статистику с одной стороны тоже молодец да ну вот какой-то опыт в рамках junior позиции хорошо то есть я бы даже сказал что ты к по теории ты можешь идти на там junior
01:23:22 - 01:25:04
тюнер + то есть то есть идти на более какие-то быстро высокие middle там в кавычках ну то есть все конечно определяется не только тем как ты отвечаешь на вопросы собеседования но в плане теория ты принципе ориентируешься хорошо другой просто как у тебя готовым опыт мы не ставили задачу спрашивать такие задачи ты конкретно решала как до чувствуешь уже о такой в боевой строке одно из теоретической базы более менее хорошо тебе я бы есть все это вопрос толку 20 кг и более эдванс задачей из классического рекомендует
01:24:13 - 01:25:44
рекомендательные системы там тоже мог [музыка] позиции с точки зрения скажу так hard скилов достаточно очень сильная точка входа потому что но часто на позицию даже метла люди со беседуют с гораздо хуже сказать более плохими скажем так знаниями даже теории вот но в целом действительно единственно верное что там тебя ограничивает уже вот развития дальше реального мидла он понятно это опыт да то есть как бы можно уже вполне действительно но для джуна достаточно то есть надо уже действительно начинать именно идти в бой
01:25:00 - 01:26:36
искать и да просто меня лично я просто так сказать на одной платформе преподаю виды таргетинга дернул надо выучить ну вот так сказать от но лично у меня ни у галочка после первого раза гадость им сталкиваешься уже обнять получаешь но пусть это будет как раз первый раз так ну все хорошо я тогда стану запись
хорошо всем привет собственно сегодня мы проведём некоторое тренировочное собеседование вызвавшим ся координатам андрея привет андрей да так уж вышло что у нас два андрея то есть есть еще андреев здесь это мой коллега по с которым я познакомился бы с 5 с которым мы будем собственно а задавайте вопросы анализ данных обсуждать какие-то вопросы обращать внимание на какие-то детали на которые я буду спрашивать не обратил вот прошел мы сегодня пока время привет надо меня собственно зад александра мы
00:00:00 - 00:01:33
поговорим сегодня про пройдемся по четырем по частям это питон теория помощь научения и погремушка про статистику в проекции на бы так вот прошел тогда андрей давай ты расскажешь немножко по себя вот расскажешь про опыт доучился с чем работал какой-то опыт анализа данных есть вот как ты в этой области прокачиваешься [музыка] всем привет меня зовут андрей я сенатор момент учусь в краснодаре на инфо бете скажем так несколько облажался с выбором но потом для себя нашел да да сайт о вас учит брайс и начал афина не
00:00:50 - 00:02:27
заниматься пока опыта именно работа не имею на данный момент учусь в школе на нее данных от мтс это также понимаю активное участие в лишним фактов про не понял что ты сейчас еще учишься на каком курсе ты но 4 она хорошо а вот проход он сказал а в каких-то которым части какой такой задачей было несколько ну надет первых это было прошлый год рост нефти в готовую страны там необходимо было задача написалось классифицировать тексты по различным тематикам там было пять пять категорий и для каждый из них
00:01:39 - 00:03:23
там свои варианты получать допустим это объекты там то прямолинейную сильно и прочее такой был потом съемщик вот таких английским потом был хакатон на распознавании самара сбитых самолётов компании с тобой скрыли россии чтобы та картинка сказать ну да достаточно на самом деле простое соревнований был не против просто картинки с высока но сделанная спутником насколько я помню и необходимо было определить если на них разбитый самолет или ент какую модель использую резерв почему ресниц потому что рис 3 2 1 хоть и потому что
00:02:30 - 00:04:10
почему не резная хорошо супер давай тогда начнем с с питоном это понял ты часто пишешь код ты пишешь питание вот как это с питоном как ты как ты оцениваешь свою раз ну объективно если уверены середняк может даже лучше может быть какая-то возбуждать я понял давать тогда я скину тебе виртуальную комнату в которую мы попробуем порешать какие-то задачи простые наш господь задачка да действительно просто на понимание работы со строчкой попробуем с тобой и написать функцию которая переворачивать строчку
00:03:25 - 00:05:06
просто банально у нас на вход подается некоторые объект формата street да на выход просто полностью перевернуты небо и отлично правильно вот мы если хочешь можем усложнить немножко задачку и сделать например задачку связанную с обратным представлением в бинарном коде числа то есть sage можно добавить вот у нас есть общем задачку да у нас есть например число давали примеру 417 сейчас саша добавится на в бинарном виде представляется были открыть вид да вот например да то есть вот вид соответственно мы переворачивали строчку
00:04:20 - 00:05:58
связанную с бинарным представлением и обратно конвертируем в соответственно целочисленный информатор и нам надо сделать бинарное преобразование его перевернуть и потом взять опять перевести обратно ведь если не ошибаюсь есть функция для представления бинарным на ход подается из я н который подается на вход он имеет формат кент он надо перевести в бинарный потом взять эту строчку перевернуть а потом перевести брат я подскажу действительно есть функция перевода вид она имеет название бен бен бен так это мы только преобразовали
00:05:16 - 00:07:15
видную форму так в днр на важный момент что когда переводится в бинарная там беркут два элемента они показывают формат то есть 0x а потом лет число то есть надо учесть при преобразовании что у нас первые два элемента они не являются числом то есть у нас при переводе будет например я только даже начинается со второго элемента вот так да и я пою бомбит тогда начинается 2 элемента и до конца строки это мы сделали бинарные представления потом необходимо перевернуть и сейчас необходимо преобразовать вот этот
00:06:51 - 00:08:37
набор это мы сделаем функции int так как можно следующим аргументом после строки указать основания по которым мы преобразуем да [музыка] да да убрали саш принципе пока все хорошо подавать тогда с питоном пока оставили с базовыми навыками она проблем нет давай тогда проспер поговорим [музыка] сначала дадим тебе задачу на базовый запрос даже ребята достаточно необходимый для позиции junior да то есть простейший успели запросы select вот так же еще задача будет no joy ведь надо будет написать простой и
00:08:00 - 00:09:49
select запрос структуру и дальше по общению стать тем более именно людей [музыка] прежде ну конечно но здесь мы получается выбираем все колонки так не сказано именно его дар то есть оператор звездочку использовать таблицу за дальше условие делаем с помощью операторов в где речь нужно им коса больше 18 лет все верно так давайте ветер по сложнее [музыка] конструкция там свет какой-нибудь простой фильтр достаточно примитивно давай теперь вот такую тоже достаточно базовой задача с джоном прочитай также прокомментировать
00:09:17 - 00:11:05
цель запрос который вернет некоторые идентификатор продукта его цену а все понял отдавая получается получается нужен найди вернуть измены до 10 и цену до и при этом нам сделать так чтобы наши таблицы product еще соответствовал соответственно название компании-производителя так сейчас который вернет и прайс то еще вернусь к имя компании данный момент что нам нужно чтобы для всех абсолютно элементов было сопоставление из таблицы produces я понял это говорит о том что тогда необходимо будет использовать
00:11:13 - 00:12:51
оператор left join если до тех же хорошо в чем разница между например но если сопоставить вот представьте кругами и лора то есть вот допустим пирсе вот есть две вы можете пересечения постинор это вот это только внутренняя часть пересечении плеч которой есть и там и там а лев допустим это которые все элементы которые присущи [музыка] также из левой области все сопоставляются то здесь элемента from области нету тогда просто на устроиться хорошо да то есть смотреть давай еще посмел просто есть где могут быть
00:12:17 - 00:13:44
находиться дома и джойнер таблицу от пропуски то есть у нас есть левая таблице есть правая таблица правильно до этого у нас например не было пропуск of но есть какие-то контакты расхождения в матче вот сайт из inner где могут находиться пропасть и то есть давай начнем с левого joy на пропуске допустим для примера вот у нас есть компания обще таблица продукт и да то есть при этом не идеально сопоставляются с собой сначала неберунгов я понял это тогда получая что для продуктов и туда карт компания иди
00:13:09 - 00:14:29
этого айдишник а может просто не быть в таблице кого компания а если вас на правом раньше это получается айдишники которые в таблице companies ну вот не быть 2 таблицы прыгать и соответственно углом плиз погибнут робски изначальных не был смотри тут просто будет действительно будет название компании которые не то бред про dex то есть у нас будет сопоставлении с продаж и проще будет продукции inner действительно пропусков не будет ну давай тогда напишите запрос ведется дублируется а [музыка] если ты сейчас не подписал я воспитанник
00:13:52 - 00:15:29
одну ошибку ошибку выдало потому что на mf присутствует и 100 этой таблице условия было [музыка] смотри здесь у нас есть таблицы продаж да он бы не айди и [музыка] давай с тобой еще попробуем сделать фильтр что если у нас нет у компании то вы просто удаляю просто ну то есть у нас получается сейчас matching как ты сказал ранее справа может не быть название компании простые снимать отдавая горы колонки удаления так power по строчке в которую мимо компании нету надо удалить да я понял [музыка] [музыка]
00:15:19 - 00:17:04
да в принципе да так здорово отелем действительно достаточно хорошее знание особенно на позицию джона принципе этого достаточно да то есть далее уже как бы различные оконный но это в принципе достаточно чтобы собирать данные например из hdd компании в принципе и дизельные понимания join of есть понимание в принципе правильно joy нить фильтрует структура запроса принципе на просто еду принесли не изощряться то в принципе с баронским на проблем нет давай тогда поговорим теперь про классические мере владимире книжка про
00:18:04 - 00:19:43
статистику вот пример я предлагаю начать такого простого действо просто послушать тебя как решал задачу как бы ты работал по данным и как были строго в модели давай не будем далеко уходить возьмем ту же задачу кредитного скоринга вот представь что у тебя есть всевозможные данных клиентов есть какая-то история иванова все что можно вытащить из данных то что можно нафантазировать все у тебя есть и вот ты собрал воедино написал какой то искали запрос запрос вытащил все того council если табличку открыл бы панды сюда и вот тебе и у тебя
00:18:55 - 00:20:28
при глазами допустим 1000 признаках который описывает твоих клиентов и допустим количество данных у тебя достаточно несколько миллионов строк то есть данных тебе достаточно вот вопрос а что ты будешь делать чтобы построить модель которая будет определять дать человеку кредит или нет или точнее выплатить он кредит зависимости установки чтобы сделать я понял но начали наверное несколько определился с метрикой чтобы конкретно как я измерял в качество моей моделью скутера будет но то есть посмотри построить
00:19:41 - 00:21:10
гистограмму распределений как часто уходят с метрикой сейчас обсудим какие метрики а какой тип задач на бинарных классификация пошел знать какие у нас метки могут быть при сижу рипол f1 сбор рукаву еще какая такая самая просто но это я говорю но и видео в даст мне кажется в данном случае классы будут не сбалансирован и поэтому я кружусь нельзя будет использовать данную задачу абсолютно верно хорошо давай теперь я ещё немножко про называл присели на recall вот а когда например нам предпочтительны при седане или на
00:20:34 - 00:22:27
приколы понятно что мы сразу ну получается вот касательно ребола иногда необходимо взять что постараться все случаи максимально покрыть даже если будет ошибкой в точности допустим пример выявления раковых заболеваний чтобы лучше перестраховаться чтобы клинок пациент заучил там допустим дополнительно прошел но при этом всех их выявить то какой ты будешь выбирать тысячи нулевиков это rival голову так как чем укол его альбом а потому что при хижин оценивает что как точно выпадаем высокий при хижину может еще означать то
00:21:35 - 00:23:16
что это то что могут определенные пациенты у которых может быть рак пацану добиться под сомнением и они просто не будут ставиться альбом метрика заметно сколько мы полностью я пукаю ну вот пациентам покрывает документирую да то есть действительно не кажется правильно было потому что действительно но у нас рипол наказывается так и зоны пол снегопад ошибка второго рода платой спина у нас идет не с работа не то есть нам в данной задаче важнее лучше подсветить лишний раз что человек у нас заболел нежели не
00:22:32 - 00:23:53
подсвечивают поэтому не кажется еще я думаю просто андрей прокомментирована престиж и наш да в целом хорошо я думаю просто андрей прокомментируете на престиж и наш да в целом [музыка] хорошо всегда пример про при хижину на ум так сразу не бросать необходим то есть выбрать допустим тех случаев когда допустим наши ресурсы будут не вечны какие-то ограничены и мы не можем всем подряд назначать нитку выводим затем мы не можем попасть нужно только в том что мы больше идеологов больше уверены ну наверное наверное
00:23:18 - 00:24:57
вот в трейдинге я бы сказал так вот мэр при хижин будет больше предпочтительней то есть лучше ставить на вариант который вы больше всего уверены который будет это и а другие вариант допустим которые вы вершины на небо облачно самих лучше пропустить здесь выбираем вот допустим ставки на футбол то есть ты допустим уверен на 100 ватт это команда сто процентов победит уже войну дальше а другую тоже если она слабее допустим это поэтому если бы на метр policy живым престижем власть оценят чтобы они больше было новый мир только 1
00:24:09 - 00:25:31
1 1 но второй раз но не предпочтёт в целом в целом ты очень так близко-близко все подходишь но ты правильно начал с ограничением действительно что если допустим мы не можем делать прогнозы на все и нам нужно сделать словно там не знаю выбрать только какие там 10 10 самых вероятных кандидатов то при сильном здесь пока что посреди выбранных до среди наших прогнозов должен быть наибольший процент того что этом году условно если то тот же твой пример 40 ли рассматривать достаточно не предпочтительно будет так
00:24:54 - 00:26:24
как давай давай какой другой какой-нибудь допустим она маленького бежит данных и тебе нужно это не можешь как бы сказать что все об этом ну тебе ногу допустим нужно отранжировать все твои там образцы по престижем мы его можно гораздо проще и самый простой пример на престижем да то есть много это ложно срабатывать а вот у нас есть предсказание например поломки так нефтедобывающего борна вот я как раз на следующем хотел сказать что вот когда и пытаешься все эти на монеты как раз не хочешь хочешь отнести
00:25:44 - 00:27:05
положенный из сработал ложные срабатывания потому что замена оборудования которые работают это очень дорого и в ущерб компании давай да придется с метрикой ты знаешь какая задача как ты будешь 10 вы дальше что дочь смотреть два шара либо сделал как он был line грамм травы либо еще одна тысяча близок of which обрели на самом дне достаточно много постараюсь выбрать самые релевантные из них то есть самое ценное супер вот допустим тебе нужно оставить только 20 признаков как ты будешь оценивать но воспользуюсь алгоритм
00:26:28 - 00:28:01
например такие как метод главных компонент а смотри если мы говорим про бизнес тон сколько тут здраво использует метод главных компонент очень когда мы говорим про быть про бизнес что нам важно интерпретируют модели хорошие вот если ты и сей можно взять сжать там пространство удалось каких очень то там 20 признаков бутылки но допустим нам нужно сохранить это такая всё я понял тогда допустим можно воспользоваться дабы случайным лесом которая и у него родной встроен к карте риском бы сразу с колен посмотреть
00:27:15 - 00:28:50
призраки но 2 вести по порядку его вот их одно ценности вкладам как как как как лишь ранжировать ну по убыванию получается того как вообще понять что признак важны и неважно как пример помощь корреляция на хорошо какой например какое как один корреляции пирсона . но если у тебя задача не регрессия классификации то что-то будет в принципе для бинарная классификации все еще можно как бы взять условно говоря корреляции пирсона данного же с допущением если у тебя будет было бы 3 класс или четыре то ты бы уже не смог
00:28:04 - 00:29:48
ну да тогда можно взять логистическую регрессию и внутренне рацию хорошо тренировать логистическая даже по конечно вот величине коэффициента который был на повисали на сидит на абсолютно верно с помощью формировать повисал да хороший способ давай допустим ты вот давай тогда раз ты сказал про логистическую регрессию вообще-то legacy то какие ты знаешь методы регуляризации лассо и ливневые регрессе ну еще и ластик нет но как греции комбинации расчета допустим говорить возьмем 102 какой ты выбрал вы здесь для того чтобы
00:29:04 - 00:30:50
понять какие признаки тебя точечные вот так вверх на родину сон потому что над и ее свойства что она неважно признаки она загулять супер да допустим ты взял на физическую регрессию с летними реализацией замылил и вот у тебя уже не 1000 признаков а допустим ну давай давай 300 вот еще много чтобы дальше делать ну вот как пример тоже потом можно использовать но сильно пока что брать случайный лес ножку страстно тренировать и потом уже тоже по значимости признаки между собой или отранжировать или выбрать наиболее
00:30:04 - 00:31:51
значимые но если там если мы не знаем какие назначен какие нет как вариант можно сделать один признак сделано после который заполнил чисто случайно на случайно цифрами и если ну и допустим вот отранжировать учебную визу на супер держу вот давай бы мне очень понравилось то что печатал что можно по случайному признаку сделать некоторую отсечку на то где начинаются важные признаки где заканчивается там где начинаются бесполезная хорошо но вот в каком случае такой метод будет работать то есть как ты думаешь когда ему можно
00:30:57 - 00:32:31
применять ну туда например когда мы не знаем какие признаки сколько предоплата реально важно вот давай давай может так вот здесь немножко подскажу если у тебя модель предсказывает в добычу дерево до которую ранжирует мир признаки и допустим у тебя точность на валидации в этой модели 55 процентов будешь ли ты верить тому как она дрожи рава lopez ники [музыка] 10 процентов наверное уже нет да да то есть такой метод можно использовать только коня у тебя уверены так хорошо мы значит обсудили два типа
00:31:44 - 00:33:28
два способа как можно давать признаки сказал эта корреляция это с помощью моделей из к регрессии можно построить дерево и к социальным признакам тоже понять какие там нужно отсечь какие-то признаки бесполезный отсечь хорошо под тем же 3 назвал тебя уже там не не 1000 признаков как бы уже не 300 а допустим у тебя их 100 вот уже как бы так уже прилично то есть уже достаточно большой кусок срезал 93 зал как еще можно понять какие признаки всё-таки нам не нужно ну так напрямую перебора может даже если
00:32:48 - 00:34:32
шабо считал и в общем называть fbs да хорошо есть перебором и у него есть 2 2 это 2 реализации это первый когда начиная с одного признака каждый по отдельности рассматриваем выбираем самым носом крутой тип которые вне дальше этот прием уже как используем комбинации с ним использует в оставшейся выбираем какой самый классный комбинаций для двух признаков вот эти два берем и все и но и так потихоньку делаем да конечно вариантов которые нам необходимы да [музыка] да а другой вариант получаться когда все
00:33:39 - 00:35:10
есть ну и берем все варианты и начинаем по одному убирать то есть берем так все убрали все вот сама уж качества на это когда вот это при как убрали все герои его берем и так потихоньку начнем тоже убирает признаки пока не уберем когда какой из этих способов на предпочтите я так думаю что первый способ предпочтительнее когда у нас мы понимаем что есть сильная зависимости между призраками что вообще значит я бы надо девайс это называется mute коли не ярость не то что признаки вот сами по себе безличным не очень много
00:34:28 - 00:36:07
дают но в совокупности имя вот как мир собой они падают значимый эффект сцеплено о н л а а вот если мы думаю что признак является независимо the fathers и они являются независимыми между собой то 1 использовать на самом деле с этой точки зрения качестве неважно и первый второй случай тебя приведет за если тебя есть достаточно времени вот этот случай тебя придет списков скрипт в том что ты когда выкидываешь признаки тут и когда тебе нужно просто сжать количество которые ты ходе которой то есть то лучше
00:35:23 - 00:36:49
использовать способ когда ты выбрасываешь ты зовешь и нам чуть быстрее вот а когда ты начинаешь с нами roxy комбинировать то это может занять хорошо до 5 твоего времени ну да скрипнул одна из идей вот так да тут на самом деле спорно все зависит от конкретной задачи от количества признаков того какая у них активная сила и так далее хорошо ты назвал ушел к страшно существенные и вот есть еще один на самом деле самый такой банальный самый простой не требующие вообще никакой статистики и никакой тематике вот и словно 5 назвал
00:36:06 - 00:37:35
есть еще один еще один который я попал не к самому подумать да надо подумать что еще сделать вы это немножко подскажу если у тебя есть ты пишешь безмерно что ты все знаешь что matplotlib собор вот если ты знаешь такие места как можно чем пилять признак типа вообще нужно или нет как бы ты сам тебе дали данную и сказали проверь признак важными не важно чтобы он был бы всего один допустим а как бы ты понял что так так мы тут ли какой-то тип мира пика чтобы сам очень простой нужно визуализировать визуализировать не знаю
00:36:49 - 00:38:33
просите на таргет а то есть построить я бы я бабой можно поставить является допустим данные полторы не торопили мы допустили сигналы классификации то я в таком плане на если раньше вас его называют паршин плод но можно сделать еще чуть чуть чуть мне очень часто у нас данных есть временная зависимость и делаю так что по одной оси растягивают эту зависимость еще пасе временной и тогда становится более понятны картина ей можно понять вообще признак вообще уже глазами становится понятно признак зависят от орбитали не
00:37:53 - 00:39:12
разделяются чехол гуринец вот и это уже такой самый вообще если у тебя всего признаков немного признаков 10 то возможно стоит просто глазами посмотреть но если такая ситуация как у нас 100 признаков исколесил долго кучки глазами глазами их просматривать возможно стоит быстренько использовать те методы которые мы описали когда у тебя их чуть-чуть признаков 30 то уже посмотреть 20 то есть вот если бы из ста признака с помощью вот этого вот этого вы выбрасываете знак у тебя осталось бы 30 туда последний последний
00:38:34 - 00:39:54
рубеж до 20 и бы уже мог даже визуально хорошо от целом целом хорошо что ориентирующийся подборе признаков давай теперь про модель что будем брать как модель вот у тебя есть 20 признаков все ты отобрал они хорошие имеет хорошую легитимную способность что дальше но посмотреть вообще а какие признаки но природа мир между собой одно они я они потеряют категориальные допустим или же числовые да хорошо ну допустим ну допустим ты с этим справился еще когда тело признаки на их женщин иначе непонятно как и хотел удара громады
00:39:15 - 00:40:59
хорошо но раз ты коснулся где мы допустим то категориальные признаки что обычно не делать ну тогда честная будут как boost использовать так ты можешь ли ты линейную модель поместить эти категориальные признаки да если мы используем до корабли на ванную вот наконец то есть когда вместо одной ну допустим если у нас мы знаем что в одной колонке допустим на бинарных да нет разделять потом на две колодки то есть если до 1 в 1 там из нет другой можно это перебьют тоже вопрос хочу задать вы смотрите про он хотел поднять
00:40:08 - 00:41:32
назвала еще кроме он спутниками корниш какие-либо козероги но самом простом допустим но пока еще чем можно сделать ну понятно что математика для неё там математические операции не определены но что ты можешь сделать скатерть но есть два типа к федеральное значение порядка вы который вместо бой но то по расположить на оси пути понятно ну то есть можно раскусить насильно и тяжком быть хорошо ну да те которые ты вообще не можешь сравнить между собой больше меньше реального ухода хорошо ладно окей можно считать
00:40:52 - 00:42:34
категория тогда у тебя есть колд county входит такой она тоже не самый лучший способ и есть еще очень такой популярный как бы стерилизован ладно все три тебе сказал таргетинга пересмотреть до рвотный подруга ну теперь давай попробуем то есть понятное название да то есть но наверное что-то делается целевой метод давай попробуем соответственно понять что же он делает как подруга если torment опусти целевой то он ее на получается разбиваем предстоит 9 in vector допустим у нас есть внутри будет или в нашем случае требует
00:41:58 - 00:43:28
непосредственного 01 войска более реквизируем у нас есть задача например регрессии клевая метка это не знаю цена банана и мы сейчас например цвет бананов красный желтый зеленый вот возьмем например значение зелен то есть как она он кодируется ну а давай давай оставим просто если андрей проблемно к этому подвести а вопрос хорошо ладно давай смотрели день после последней допустим за кадир переменная вопрос а могу ли я использовать дерево если я не забыл хотел признаки вообще никак не будет обработал реальным переменам
00:42:50 - 00:44:34
не можно нельзя но они влиянию я не успеваю я долл как буквы ну допустим не как будто пусть допустим просто дерево а-да-да-да нельзя почему что будет ну вот в линейную модель точно а вот с деревом но прекрати вероли энтропии наверное новые метрики которую подразделение про использует он не сможет на самом деле сможет просто ему понадобится больше делать сплитов какой-нибудь дерево или дерево будет проблем провал просто будет чуть попроще но да действительно будет не очень оптимально строится модель действительно как бы не
00:43:43 - 00:45:33
нужно но вся норк можно вот хорошо давай ладно раз перевелся в поисках густом как в капусте реализовывать ну то есть если в как books ты не будешь мне как ты добра батэ войти признаки то что буду делать случае как густо но дня у него параметры если необходимо закинуть указать создать массив который будет название таскать игральных признаков и потом уже допустим в фид когда мы закидываем x велик и еще вот кафедральной в языке необходимо указать но да понятно что как будь то есть ты тоже ты по сути тоже
00:44:42 - 00:46:15
бред обработку перемеряем переменных просто лишь на совесть капусту хорошо что он там делает потом как бы иметь представления получает происходит модель бустинга но строится деревья ногу указано сколько денег будет строиться получается и те bustin да она в чем заключается одна ну строится dosage слабой модели но это короткий деревья чего радикально называют они предсказывают тарелки предсказания а потом строится следующие за ним на дерево которая старается уменьшить ошибку первого наши ошибки предыдущих моделей людей как
00:45:32 - 00:47:14
строится дерево киносъемка все понятно а как именно категориальные признаки предобработки то есть вот почему того находятся ли они под капотом или что то еще с ними делается ладно давай тоже поставим ok последний вопрос если мы говорим про про бизнес дату что нам учил приняли вибро до линейную модель или какой-нибудь там какое дерево пишущий ну на самом деле вот можно красно вверх на и линейной модели дерево а вот здесь вот вот есть какой-нибудь один бутон новый слой случайный лес уже дал слабину не лет
00:46:29 - 00:48:00
предпочтительно на продажах принципе но и что линейной модели что дерево не являются интерпретированы изначальную и но интерпретируем модели они но ты тоже читал стадионе чаще как раз используется для показания интерпретация на самом деле есть здесь некоторые отходы капля дальше еще один способ какие-то если ошибаюсь цель как-то так назывался способы чего но для других модели оценки перевода них интерпретировать и понятно что у каждой модели есть велосипед хотя вот у кнр есть какой-нибудь способ
00:47:21 - 00:48:49
какой-нибудь fitch impotence что вас можно я прежде чем ты перейдешь вот вопрос затронут был случайный лет до до этого ты говорил например что вы допустили пикника борисполь по случайному лес два вопроса ну понятно объяснить как там принципе это все происходит на то есть как обучать случайного леса во второй вопрос 2 1 вопросах а что же там случайного сразу скажу что на 2 случайности какие вот и соответственно сейчас еще был вопрос например задачей регрессии случайным лесом то есть возможно ли например на задаче регресс если данные
00:48:07 - 00:49:59
обучались то есть данные обучающей выборке или целевые метр и положительную да или нет 30 то какие значения может давать предсказание модель 1 расскажи вот про то как сам выглядит общая алгоритм я случайно лес получается вон тоже строят деревья небольшого размера большой глубине но в чём отличие именно они пытались они независимы между собой случайно действительно тут два будет признан то есть первое это признаки на которых он обучается каждый деревом случайным образом выбирается какое-то количество признаком
00:49:03 - 00:50:38
и на них там обучать а второй как раз это калий но выбор получать данных из данных тоже выбирать веке вот случай выборка это была быстрая выборка происходит и они получают происходит обучение в принципе верно единственное не совсем согласен насчет неглубоких деревьев потому что по сравнению с бушингов получается не поглубже был но да да ну и соответственно второй вопрос что будет с целевой метки с предсказаниями если обучалась на неотрицательных целевые но мы не отрицаем целевой метки насколько я помню и
00:49:51 - 00:51:18
набираться предсказание каждого дерева и потом находимся их среднеарифметическое ну и что теперь можно сказать про соответственно метку случае если у нас обучалась миллион но она будет выдавать жуки отеля доставь я потом дед читал что но поэтому как правило деревья не используются для задачи на дальнейшую прогнозировать так как она возможность будем только присущи операции там проводить они будут только именно в этом диапазоне выдавать рулоне да действительно не рекомендуется к использованию когда у нас в тестовой
00:50:36 - 00:52:08
выборке да на котором будем предсказывать может отличаться существенно диапазон значений то есть нашем случае с от нуля до ста то все хорошо оно так и будет искать но я достану если предположим цена будет как-нибудь там отрицательным надо другой сливай меткой собак отрицательный провод на обучение на диапазоне от 0 до 100 мы отрицательно не должны получить то есть но не получили и ответ правильный что случайно да супер давайте перейдем закончен работы построил модель tippins коренко выбрал во-первых
00:51:27 - 00:52:42
правильно то признаки правильно дам выбрал я определился с моделью угла давай теперь поговорим о как бы ты дальше эта модель использовал для того чтобы и вы видели в какой-нибудь надо white это тот же кредитный скоринг и мы пытаемся проверить насколько твоя модель лучше чем нежели мы даем каждому второму кредит как бы ты проверял но краса провести абэ тест хорошо как где руководил но получается разбил бы на две группы получается получили начальные альтернативной гипотезы дело наливайки против вас на самом деле
00:52:07 - 00:53:49
модели никак не надо никого уже не просто не дает дальше на альтернативный гипотеза получается что модели и сказал ни какой прирост не дают прирост а почему но в качестве вот у существ к метрике то есть отношение как раз случайным ну вот когда мы укажем втором даем что допустимыми трико f1 до путей мы пытаемся проверить насколько f1 рандомный лучше против необходимо модель прошел идем дальше даже получается разбиваем на две группы пользователей были стараемся чтобы их ну количество каждой группе
00:53:02 - 00:54:45
было приблизительно одинаковы ты взял всех клиентов поделил на две части и у тебя одинаково одинаковое количество там и там не что да да хорошо вы то допустим это какой-то банк и вот ты разделении у тебя допустим [музыка] 100 тысяч человек всего клиентов вот и ты бы получается разделил быв на 50000 в одной группе 50000 нет это уже у группы меньше брать потому что если будет допустим нет но нулевая гипотеза не оправдается допустим минус это то это оборот компании принесет у бы др лучше взять их вдруг бы поменьше
00:53:54 - 00:55:49
ну сколько бы взял но пару тысяч человек ну лучше конечно процентах допустим не за процент 35 процентов относительно данный но не реальный версии что-то сказать что 1000 ну где-то 100 тысяч в этом кино и тогда и тогда отлично хорошо писать что в бф3 у фпс у тебя попали в тебя попали только мужчины в контроль и мужчины и женщины нормально не этой ситуации не нормально да здравствует выборки между собой более стратифицированные не совсем не совсем случайно а специфицированы домой к одинаковым получать смотреть мы
00:54:54 - 00:56:34
говорим про кредит на ускорен где может быть так что событие это выплатила невыплата оно произойдет через очень много тут у нас есть проблема с тем как эти как оценивается эффект модели и выжла поэтому допустим будет пусть это какие-нибудь перейти на сайт допустим ты сравниваешь тест и контроль того на сколько у тебя один баннер лучше другого как примерно оценивал сколько времени тебе нужно ждать пока идет в бресте но мне кажется что в районе деле надо так что можно ли как-то это ценить ну как это математически оценить они интуитивно
00:55:48 - 00:57:20
ну чтобы это было не привязана к нашему кейса привязан вы по ситуации вот допустим вы сказали когда вы смотрите сказал недели не допустим за неделю у нас в трене всего в тесте у нас всего десять человек в контроль у нас всего три человека вот можем ли мы такие результаты потом сразу матери нет ну наверно нет а если наверное да слишком майкл а если на сводной 10000 от другой там в контроль например 500 уже как бы побольше или будет результат должен вот олег найти вот это вот оптимальную минимально они всегда на которые нам
00:56:37 - 00:58:18
нужно чтобы добиться также даже уверенности это и специально какая-то формула ну есть формула да есть и примерно критерий того как это я не сталкивался с таким пришел реального ничего страшного еще значит что такое пиво да конечно можешь рассказать что у меня получается это вероятность того что но в данном конкретном опыте вот выполнилась наливайки пальца прикуп при каком условии ну и ждала нулевая гипотеза пусть мы считаем что вот ноты допустим как пример это это почти правильно или деление не хватает
00:57:30 - 00:59:23
еще последнее вот еще кусочков фраза вы [музыка] скажете чески измучили дании гармонировать вероятность ноги пальцев при условии что эффект при условии что наверно или если мы говорим про случайность приходит что эффект был случай [музыка] случае но то например у нас сама не от гормонов то есть мы у нас есть допустим монеткой мы хотим проверить gear 5 или она честный или нет ну допустим мы десять раз ее подкинули и 10 раз подряд бы по выпала решка допустим до кого-то будет минус вероятность этого
00:58:31 - 00:59:57
в 100 тыс на хороший пример хороший пример то есть если вы не считали что эффект случайный вот и быть там через десять орлов подряд заподозрил бы что что-то не так с его это что-то прошел пюре сказал а как использовать белье когда мы проверяем какую-то гипотезу но мы находим поверил и устанавливаем на порог значимость альфа как правило задачи она либо один процентами по начать все пять процентов не допустим и еще если если если повезет получается меньше пяти процентов до мы отрядами любую гипотезу не считаю что
00:59:21 - 01:00:49
выполняется альтернативное если же больше то наоборот мы считаем того что видно на любой не куется 133 интерпретируешь эволюции правильно правильно а ты велю для чего троица говоришь наших и выиграл а вот для чего ты бы почитал на использую что а польза путем различными критериями то есть есть несколько cd с ted с нелетающим критерий моно вы дня где какой применять когда какой-то 1 2 cd но рассмотрим zts мы применяем когда мы знаем вот нас больше тридцати значений и мы знаем дисперсию стандарт плане и
01:00:06 - 01:01:53
генеральной совокупности и тест либо когда много ночей и меньше чем пресс либо когда мы не знаем чему равно бункера стандартное отклонение генеральной совокупности то есть она t-тест основывается на распределение ноты распределения в пленка которая 8 ну то похоже на нормальное распределение тока у него ветки получается не более подняты вверх получается более тяжелые края хвосты хорошо окей давай тогда последний раз тела 1000 сказал манамы дня а когда мы берем теперь 100 когда мы нажмите ctrl z с бульоном значение вот zts это
01:01:02 - 01:02:48
может быть 10 тысяч и т.п. но так оно принципе мы считаем что нормально и данные распределены эти выборы которые мы пользуемся заперты пять лет аман вы если вы видите допустим то что на своем и данные мечта вы распределены не по нормально в плене мойка применяем критерии могут не решен до правильно но она ведь не более устойчив к боссу получается более аж на нее с большим количеством да там на основании потому что арам мы не сами почему точно работа с андрей ворвался с вопросом провод выброси вот как ты думаешь и
01:01:57 - 01:03:31
верею для выбросов она чему равно большое не она маленькая наоборот выдумано должно быть маленьким да хорошо действительно вот еще такой вопрос к том преимущество медианы над средним она более устойчива ко сну выбросы получается на почему там но но государством суть алгоритм потому что меня посреди там мы носили мира и значение напрямую являет но то влиять лишь тобой а медиана мы получается берем все значения но оставляем их подковку поток упал до пола по возрастанию и берем кран очень которые идут по середке
01:02:48 - 01:04:22
центральное значение если нечетное количество или если честно это третий арифметическое двух этом центре центральное место до 50 процентов . хорошо так я предлагаю тогда на этом закончится хорошо теперь поговорим про общий фидбэк по собеседованию да потому что морфий или и разберем твою резюме так андрей давай ты начнешь я тогда давай начнем все таки с резюме вот собственно как бы режимы классно плюс что одна страничка потому что чаще всего действительно чем компактной информация тем лучше из явных
01:03:36 - 01:04:55
минусов которые я вам сразу вижу первое не совсем понятно скажем так как он скажем так на каком уровне этапе образования ты находишься да то есть у тебя средняя высшая высшая не закончена обязательно надо добавить потому что чаще всего даже при первом рассмотрении соответственные чары смотрят на образование а то есть потому что практически во всех соответственно вакансиях стоит сразу наличие технического высшего груза во вот если говорить про with john + металл и так далее это прям обязать здесь чтобы
01:04:18 - 01:05:43
понять на каком то этапе надо как минимум это сгубить чаще всего это не делают и чары они смотрят понимают видят что у тебя тут лицей предполагаю что ты школьник и вот на этом собственно все и заканчивается да то есть это два ну то есть формализация стиль степени скажем так образованности она очень сильно повышает скажем так процент утки это прям вот далее соответственно по навыкам ну смотри здесь как я понимаю ты сам сказал да что у тебя нету а профиля с образованием папа каждой порошка я заказ учусь в школе яранске но
01:05:00 - 01:06:25
вот этому поэтому я настоятельно рекомендую добавить ну то есть видно что у тебя техническая по сути образования подогнуть с безопасностью и бы то есть уже в принципе формально под критерии техническое образование ты уже подходишь вот тогда надо более четко описать что там ну то есть я бы сделал это строчками например с такого-то по такое-то год я учился там выше высшего в учебном заведении с такого-то по такое-то прохожу например дополнительное образование профессиональны до связаны с ds то есть более четко чтобы понимать
01:05:43 - 01:07:09
статус того где ты находишься с точки зрения образования гид хоп да то есть вот здесь есть ссылка на гитхабе и лучше вывести сразу наверх потому что обычно если ее и смотрят то как бы не надо выделить просто потому что иногда действительно работодатель за ходит и смотрит ну что ты вообще можешь как подпишь да вот что касаемо например хакатона здесь также рекомендую добавить прям отдельно то есть ты упоминаешь ты занимаешься свободно микоголд которые - да да то есть про курсы я настоятельно рекомендую
01:06:25 - 01:07:46
именно от рассказать то что как бы на тебя то есть то что ты прям проходишь там будешь получать алиану то естественно профессионально образовать то есть понятно что все мы проходим какие-то курсы да то есть там будь то не знает различные компании да без рекламы сегодня как бы здесь надо просто более формализовать вот про хакатоны обязательно напиши что ты участвовал в таком-то и таком-то хакатоне и решал такую это такую-то задач тем самым формулируешь как раз ну свой скажем так стек и потому что как бы опыта у тебя к
01:07:05 - 01:08:24
утру готова нет можешь сказать что вот я на работе делал то-то то-то было но хакатоне ты можешь сказать что вот мы решали задачу детекции там сломанных поломанных самолетов там еще там такой-то такой-то ps это надо тоже обязательно выделить что ты уже пытался боевом скажем так сильно на боевой задачи и решать эти значки на практике то есть уже как-то вовлечен но вот это уже повысит действительно как бы ночь твою привлекательность для работодатель вот счас есть еще че-нить так и пока есть под добром угодно год на отлично смотри
01:07:48 - 01:09:11
давай прямо по нему сверху вниз по резьбе и если мы говорим про which are как родился в руки мой размера 1 он хочет понять это какой вакансии ты соответствуешь 1 какой vacancies перо и соответствующей и этой пока не очень полезно если ты знаешь какой то водитель машины инженер что угодно указателя прям вот под именем то есть позиция на которую ты тыкаешь всегда понятно сразу что-то мне фрукты не front in der бы ты ни ios разработчик даже тут и что ты их мудрость сразу понятно в каком какой призме на тебя посмотреть а
01:08:30 - 01:10:06
теперь насчет фото фото прикольная вот но она не совсем формальная давно не соответствуют таким формальным требованиям даже требование нет новых обычно фотография должно быть не как то есть если ты уже добавляешь туда решил добавить агрессию безмен это хорошо в принципе для россиян лично но она должна быть более меня так назвала и пробуя то есть она даже новых вперед действительного как на документы приблизительно 1 полет как документ желательными улыбкой вот он действительно же давший это твой
01:09:16 - 01:10:40
фронт еще можно короче саму фотку именно в кружочке обрезать чтобы она была просто эстетические приятно не смотреть вот если мы говорим про вакансии заграничную не открывать америку подписку там вообще запрещены фотографию возьмем потому что у людей есть свои люди могут ценить тебя субъективных да потому что не будет выбирать тебя не по твоим навыкам арфа цвету кожи ну что такое вот поедали даже некоторые это номер системы они там фильтровую 3 зиме у которых есть фотографии и мысль об этом никогда не
01:09:59 - 01:11:10
поэтому фото 1 если для российского рынка фотка эта бумажка могут быть еще и вас а дальше вот ты пишешь например давай по навыкам пройдемся вот и пишет питон и основные фромборке для машинного обучения на результате и перечисляешь но борьба нос при либо тогда сразу это называю то есть как бы так понятно что либо тогда не назывались ты знаешь все но лучше там их перечислить am2 кабель жизнь потому что а за самые фромборке для обучения находитесь . а я указал позицию наверное пишешь по буллитам поступает я
01:10:37 - 01:12:17
постараюсь по группировать приблизительно при этом there a spider старче вижу в одном месте да потому что это все типа sd или семьи то есть это нужно м в одну строк можно разбить прям на группы я например может быть где-нибудь на видео здесь поставлю что вообще можно прогнозировать к отдельным секциям навык машинном обучении твои пайтор что там socket легок далее какой нибудь еще раздел by the flow когда ты какие-то тоже панда снапа air flow и мир flow hadoop на что-то что связанные с мира с инфраструктурой данных и они какие-то
01:11:27 - 01:12:56
дополнительные gamecom x10 кирова скорее всего дик ты знаешь да ты указываешь очень хорошо так теперь дальше идем про личные качества не подпишешь там участвую в различных соревнованиях ученым обучение зритель уже сказал что лучше их формально формализовать то есть если у кого-то крупных о котором то это название хакатона задача и рассылка дальше можно было гадит хоп красиво оформленные зайти посмотреть его решение иначе просто типа я участвую сознания звучит как будто бы у него наличные внушает доверие дальше с местом учебы я
01:12:11 - 01:13:31
согласен полностью с андреем его название курсов а многие курс они имеют такое уже очень популярное название какие-то специализация с тех а вот так далее если их сюда уже пишет что можно можно их строго тем же названием там специализации все детали названия но вот что бросается в глаза ты прям ссылки вставляешь если ты хочешь ссылку стать людьми то лучше конечно ну и чар вряд ли вы будете и там открыл какой-то телефоном поменяться придет на если она распечатана эту морят на месяц руку кликнет а если она сейчас смотрят в
01:12:56 - 01:14:33
электронном виде да эту ссылку можно здесь можно слова как сделать кликабельно и не обязательно столицу как то есть например вот пишешь это ссылка на твой профиль да то есть можно сделать и сделать это слово криками тоже можно делать сделать а действительно то есть кликабельные 2 ну там профиль степи кино еще смотри пир маленький след от пищи для во всех ссылках есть http если ты уж ссылку отставляет штука вот этот кусочек нужно начнём-ка бы так автоматический вставляются если ты не загублю штанги т'хаб . андрей
01:13:46 - 01:15:15
он стопроцентно найдет твой гифка бти без почти теперь по этому гаджету можно пожать так свободное время фанат ну а 5c про фанаты царством тут либо какие-то свои пит проекты указывает либо указывать ну то есть вообще хобби у тебя такие которые представляют тебя в принципе в в позитивном свете в дополнительное время надеешься на войну но тогда хотя бы какие то может и проекты литров кислота или принципе так можно ставить но просто у тебя смотрите я фанат да это саянске пищу пишешь тихо как и парке
01:14:30 - 01:15:54
кадр и хакатоны это это почти одно и то же на курсы по реке саммит атэс казалось что ты занимаешься и посещение тренажерного зала почему вы не до ссылка коровы валери бабушкина людей личные качества я да я сам скептично отношусь к тому чтобы хвалить себя бремя я обычно указать какие то факты которые говорят о том что ты энергичный сентября список там не сидите чемпионатов которые ты выиграла что по выходным ну понятно что ты там энергичные инициативные самостоятельно соответственно если ты говоришь про
01:15:14 - 01:16:39
коммуникабельность то как отец жиров к или какие-нибудь какие-то факты которые говорят важно например в англоязычной то есть компания хочет также смотрят на всякие волонтерские истории если напишет что я оля там не знаю бабушкам печенья раздавал праздник то есть но и образно то есть участвовал того крутые обычно вот режим который песка лекс видел люди они также проведение чемпионата мира или еще что этот раз патриотичный отличный показатель такой факт который очень сильно тебя сразу он сразу показывает и чару вот эта вот
01:15:56 - 01:17:34
точку входа а как это можно было указать вот допустим просто места типа там волонтер это проекта место и значимо написана дата и что ты делал на ездил на олимпиаду-2022 был авантюра или там в москве организуют институте окружал ее тоже говорит что ты указывает допустим занятие свободное время в принципе мне кажется это просто как тот надо вот эти два пункта их реструктурировать то есть например даже в качестве примера не знаю то что лидер можно понять стала например скажу чтоб не всем спать не знаю капитаном команды
01:16:50 - 01:18:20
просто как пример так и последние последняя также как и с гербом то сейчас ты уже указываешь ссылку то ты говоришь про когда ум укажу ссылку на как если есть это желательно что сверху справа вынести придут сюда чтобы тебя прям блок был то есть круто штуки телефона туда сразу снизу вот где-то здесь дала форматирование сделать правее дата сбоку в принципе это как такой я как такой пример я могу показать как я свое резюме формула то не то есть у меня тоже не самый лучший не самый лучший пример на я
01:17:45 - 01:19:11
пока могу показать как я попытался донести какие-то свои характеристики на рима что же открыть просто сравнение так но я скажу что она у меня не на российский рынок времена английский чтобы иметь возможность отправлять независимо от того есть вот поэтому просчеты говорил этот скилл profile как раз напомню вот то как раз то что делать с прошлым говорить а вот и вот как раз соответственно experience то есть но саше так понимаю торг experience понятно синьор помидор у нас вот у него еще вот видишь это типа по сути можно он также
01:18:36 - 01:20:21
формулируется как кида но он типа обучающий что вот он учит людей и вот еще дополнительное образование то есть вот этот блок как раз это то что этот курс это есть основной 2 включается но тоже важный момент что включает надо именно высшее образование то обычно школу не пишу как бы принципе никому сильно не интересно ты я учился долгу за а служит как бы осознанный выбор скажем так и как бы уже интересно то есть дикий шум в данном случае является как бы вот именно образованием основным твоим то есть
01:19:28 - 01:20:50
действительно государственно образца то что ты получил высшее образование дальше уже как растут это все добавляешь cd + скулы различные по русски называется переквалификацию вот языки конечно надо сказать да вот языками не прокомментировал вообще вот ты пишешь себя разговорный лучше всякими на уровень потому что насколько сколько разговор на тебя непонятно от кредитных b1 b2 это уже где мы чтим ты можешь то есть принцип понятно что есть человек там elementary да он может чуть-чуть с помощью google переводчик если он пишет
01:20:09 - 01:21:42
там c2 это значит если можно вообще любите еще можешь как рекомендации linkedin себе завести говоришь про сиськи компании ничто не мешает тебе еще указать евро программ это уже давно средства коммуникации про ты говорил андрей вот смотри видишь сверху контактная и все так ссылки кабель они верху и как бы на виду вот это тоже очень важно потому что действительно очень много то смотрит куда вот отправляйся потому что на почту скорее многомиллионные контракты присылают вот сотовые чары пишут телеграме то еще все 50
01:20:56 - 01:22:32
приведите его прекраснейший код и не видит какой красивый рубашечке так хорошо давай теперь про можно было о'хара скромного сразу беремся вот что касается питона и английская даже несмотря на то что мы там сильно никополь и ты как бы звучишь хорошо тесты уверенно пишешь и код и эксперт там каким-то деталям и не придирались сама наша цель видно что с питоном ты имел square and исхода написал два запроса они не самые сложные на самом базовые в спиртном меж ее вещи которые чаще всего спрашивают дальше
01:21:48 - 01:23:20
важно да вот обоймой лена очень хорошо ориентируешься кристина что базовый pipeline модели ты можешь построить то можешь взять и данные понятно не проверяли как это можно делать тут ты правильно начал из целей то есть при правильно разбил на шаге потому что большая ошибка когда люди сразу умирает там начинают работать данный метод строить модель они сложнее не разобрались тем что какая задача построить не медлите не обсудили вот и значит сметри которую большое теперь это там сердце вот дальше при
01:22:40 - 01:24:02
более-менее хорошо сообразил с тем как фильтровой песни кито сильно что ты понимаешь все можно зайти да и там даже какие-то наводящего просто тебя быстро приводили в нужную точку то есть смыкал год пришел про статистику и новость про статистику и какие-то более глубокие вещи из на машину обучением и там никополь а потому что вот но вот про статистику с одной стороны тоже молодец да ну вот какой-то опыт в рамках junior позиции хорошо то есть я бы даже сказал что ты к по теории ты можешь идти на там junior
01:23:22 - 01:25:04
тюнер + то есть то есть идти на более какие-то быстро высокие middle там в кавычках ну то есть все конечно определяется не только тем как ты отвечаешь на вопросы собеседования но в плане теория ты принципе ориентируешься хорошо другой просто как у тебя готовым опыт мы не ставили задачу спрашивать такие задачи ты конкретно решала как до чувствуешь уже о такой в боевой строке одно из теоретической базы более менее хорошо тебе я бы есть все это вопрос толку 20 кг и более эдванс задачей из классического рекомендует
01:24:13 - 01:25:44
рекомендательные системы там тоже мог [музыка] позиции с точки зрения скажу так hard скилов достаточно очень сильная точка входа потому что но часто на позицию даже метла люди со беседуют с гораздо хуже сказать более плохими скажем так знаниями даже теории вот но в целом действительно единственно верное что там тебя ограничивает уже вот развития дальше реального мидла он понятно это опыт да то есть как бы можно уже вполне действительно но для джуна достаточно то есть надо уже действительно начинать именно идти в бой
01:25:00 - 01:26:36
искать и да просто меня лично я просто так сказать на одной платформе преподаю виды таргетинга дернул надо выучить ну вот так сказать от но лично у меня ни у галочка после первого раза гадость им сталкиваешься уже обнять получаешь но пусть это будет как раз первый раз так ну все хорошо я тогда стану запись
01:26:00 - 01:26:49