ML System Design с Валерием Бабушкиным | Выпуск 2 | Собеседование | karpov.courses

Транскрипция видео:

• как мы построим все эту жвачку к нашему сейчас сделаем перед тобой валер бабушкин который работает в расслабленной позе такой тебя ты подпишешься под своими словах у игрока может пригореть в раке в раке поэтому это воспринимает как хорошую возможность потренироваться кажется это де кастро сон а до я я бы не факт что нашел себе смелость какая-либо пушкин кого ними прыжки на собеседовании такой хуев так как член секты хлыстов почти всем привет и это второе видео вообще не знаках 0 2 1 или 3 двадцать второе это

  00:00:00 - 00:01:17

• был второй собеседованием здесь мы собрались чтобы обсудить результаты собеседования поймали дизайну полу пройти нгу и снова здесь я валери бабушки на момент записи видео работы фейсбуке в лондоне всем привет меня зовут стас я работаю с берье аптеки и занимайтесь динамическим прессингом и параллели с этим виду собственно модули в курсе харда мель в карпов корпус по динамическому просил меня зовут игорь на данный момент я работаю алиэкспрессе я занимаюсь алиэкспрессе matching от тем же занимался в яндекс-маркете и

  00:00:42 - 00:01:50

• мой модуль в курсе хардом или называется точно также matching и ранжирование как хорошо что нас видосами связанные с 3 pro matching и ранжирование как невероятно заводи не pro price она так к нам пришел александр and собеседование я не знаю что это говорит мое мнение вдруг она влияет на вас хорошо стать после пира посмотрела и ты посмотрел туда хорошо спасибо что пришел меня зовут валера в принципе я наговорил пообщались мы уже познакомились но так как это у нас уже второе собеседование предыдущий человек уже побеседовал с

  00:01:16 - 00:02:26

• зрители меня скорее всего знают тебя скорее всего не знаю поэтому я чуть-чуть ему расскажешь о себе это будет здорово кей меня зовут саша я рассказать по технические моменты я заканчивал кокаин в школу заканчивала магистратуру тоже вышку ну-ка данных заканчивал shot почти закончил там осталось чуть-чуть и работал в основном в деле области миля краз работал в мыле работал в яндексе чуть-чуть сейчас работаю в стартапе к занимаюсь всякими разными deep фейками что этим связано то что за состав майне labs

  00:01:51 - 00:03:00

• потому что нас был человек из pixar то до этого который к твоей павел сейчас в snap лондон второй человек связан и 1 этих такой старой траектория здорово здорово то есть листы ты тоже скоро пришло ну давай чуть-чуть расскажем опять про поскольку задача про постановку задачи вообще что такое и даже мимо не смогли сразу после того как ах он хорошо расскажем достичь хотя бы вы там значит иметь дизайн это как я уже несколько раз говорил одно из важнейших интервью на определения сеньор насти инженера это

  00:02:26 - 00:03:31

• уровне 5 6 7 8 по факту это кроличья нора в которой можно провалиться максимально глубоко и это должно быть сольное выступление практически на 45 минут и поэтому она довольно тяжелым уж тяжело русская церковь чем интервью меньше вопросы задает тем лучше она должна иметь некоторую целостность то есть это построенная история раз два три 4 5 вот это первая итерация вот это боязно им теперь вернулись сюда здесь здесь можно сделать так лучше могут быть такие какие-то проблемы деньги здесь что-то этот человек показывает что я

  00:02:57 - 00:04:03

• могу от начала и до конца сделать дизайн то есть архитектуру системы которая будет приносить что-то полезное соответственно мы обсуждали здесь если на сороковой минуте 45 человек думает а что вообще не надо сделать например не очень хороший но понятно любая 45-минутная беседа любое собеседование это некоторая брести которых мы пытаемся к противном получится ограниченное количество времени я тебе дам какую-то тему напишу какая задача а дальше все на тебе будет лежать как-то эту задачу будешь решать

  00:03:31 - 00:04:37

• в конце 45 минут у нас будут те собеседования в конце я тебе немножко расскажу что нам взгляд было хорошо на что уделить внимание может быть ни на что не надо будет взять она не может я буду радостно прыгать ну такое тоже может быть и возможно мы сейчас преподавателем хардом или отдельно разберем то я собеседование почему потому что если особенно это будет тема который щас дам я я щас выбираю между мягкий маме на самом деле которая попадается в хардом или то логично послушать преподаватель но это отдельная

  00:04:04 - 00:05:01

• история просто тебе расскажу я откровенно говоря думал между двумя темами какую дать и решил выбрать посложнее интерес к несколько вопросов интеллект или нет на самом деле любая тема в мыле дизайне это кроличья нора потому что вам нужно уйти бесконечно долго задачей тема следующей pricing представь ты marketplace люди которые сейчас студии слышали первое интервью они наверно уже залюбовались потому что мы тоже решали задачу marketplace а до этого мальчонка но сейчас pricing и в чем суть ты какую-то цену предлагаешь какой-то

  00:04:33 - 00:05:49

• товар за какую-то цену каким-то людям причем очевидно что как marketplace ты можешь продавать там и свои товары и там продают товары и другие организации продавцы и так далее ну например wildberries это marketplace aliexpress это marketplace на алиэкспресс выходят ребятки и продают товары но marketplace он обладает технологической экспертизой и он может сказать ребята вот если вы будете продавать допустим не за эту цену за эту у вас общие продажи вырастут допустим этой подаете за 100 рублей вы продадите 10 единиц товара а если 95

  00:05:11 - 00:06:18

• продадите 20 до вас маржа на каждом отдельном товаре упадет но суммарные джей ви или и или revenue или оборот у вас вырастет и абсолютная маржа если вы вновь конечно минус не уходите может быть его себе 196 95 не очень хорошие истории тоже вырастет но и соответственно проблема еще состоит в том я тебе хотя нет это большая и задач следующее вот это сказать что на этот товар вот эта цена оптимизирует у нас максимизирует такую-то метрику возьмем для метрики к джим в оборот но при этом мы не хотим торговать себе в минус

  00:05:44 - 00:07:04

• простой пример у нас есть есть то товар у него есть маржа допустим он себестоимость 80 мы можем продавать его от 80 до 100 рублей smd дешевле 80 мы будем в минус поэтому даже если мы видим что у нас будет отличный джимми при 79 возможно мы это не будем делать потому что не можем себе это позволить маржа у нас есть такой constraint снизу ну и вопрос достаточно простой вот у тебя есть этот marketplace marketplace возле думаю ты видел опять же aliexpress андрей смолин wildberries озон и стоит задача у тебя построить систему

  00:06:24 - 00:07:35

• ценообразования с точки зрения мы не с точки зрения инфраструктуры все это млм выбитой мой дизайн то как бы ты это делал окей ну в целом я расскажу увертюры на кого общий план так какие там эти компоненты что что она делать начали но вот мы определили как этап 11 стал определить такая какие у нас есть ограничение в целом и по задаче и полу инфраструктуре там и в целом такие вещи во-первых я подозреваю скорее всего образование та штука который не должна работать прям очень быстро скорее всего она должна там

  00:07:00 - 00:08:09

• какое-то приходит товары там весь какой-то доли секунды две 10-20 то есть не нужно real-time а поэтому скорее всего как-то исхитриться насчет быстрых моделей там легковесных быстрых это можно забыть есть целом обсчитывать это на бэг-энде достаточно эффективно вот roaming торнадо то уточнить это прокрас качества то есть важные нам отвечать более качественное там либо стрелы менее качественно в данном случае думаю такой thread'ов русское скорее всего нам хочется чуть более качественно поэтому эту отметку на эту штуку

  00:07:37 - 00:08:52

• обратите внимание отдельно встретишь ту которая очень важно как раз определить метрику именно бизнеса чтобы как раз там строить уже дальше какие-то метрики мониторинге чтобы следить за всем этим делом вот так как у нас метрика это в целом оборот компании не сильно разбираюсь в этих оборот вот оборот oki data set стоит задирать голове так и отвернул m-elle system design ты мне кажется там сам главных компонента это про данные по модели про данные то как мы будем собирать как раз где мы будем брать как хранить и обрабатывать

  00:08:14 - 00:09:27

• вот скорее всего про то как мы их будем собирать нужно ну какие то машин обучение нужно выборка где на что внутри него цена что будем предсказывать вот нужно как-то собраться тем как мы будем штаны размечать чтобы дальше учить модели откуда общее брать разметку я сразу скажу честно что такую сдачу никогда не shall но подозреваю что там есть какие-то исторические данные то есть там к это описание товара и катара магазины продают и сами люди и есть какая-то цена на которой они продавали есть цифры вот

  00:08:50 - 00:09:54

• это наверно кидание можно cars пособирать то есть заранее чтобы обучать и параллельно этом как раз вы стоите в pipeline тоже line сбора данных то есть когда приходит людей покупают то такой денег в крис бак они где то есть где записываются epilogue как раз данные туда параллельно брать вот ну и в целом как бы там есть у нас много больше бюджет током всегда есть возможность изменить что-то руками там пособирать и посмотреть там как бы берем многу дети локеров чуть и условных они что-то могу такое разметить но это такой

  00:09:25 - 00:10:33

• то для начала вот такая штука у так именно модельки для ценообразования я позеваешь технику глубинное обучение скорее всего что-то ну а стоит начать с такого то вообще в идеале прототип делается без имели волны что там быстро посмотреть и чтобы чтобы в общем плане было что то что делать предсказания и уже построить общий план там замерить мониторинге метрики что все не падала и уже потом можно докручивать модельки но с точки земную да пусть у нас есть к этом состоянии мыльная модель талантом не знаю ultramax берет и говорит такая

  00:09:59 - 00:11:15

• цена закупается на там плюс 5 допустим так стакан штука мы хотим ну чуть более мыльная это например допустим у нас есть данный тип этом это описание товара то есть он просто к это дискрипшн по тексту ли по картинкам и все это есть мы по этим почему поэтому писание можем построить кучи митингов благо есть там всякие про допущенные две штуки где можем презентацию для текста и для картинки дальность что он начался что но сразу же кен свою моделировать и ученики нам смоделировать ангины созданы хорошо в

  00:10:37 - 00:11:52

• данный он рассказал как меня есть какие то данные как я могу получить их репрезентацию пока ну пока легитимно но давайте свои пять копеек вставлю на мой субъективный взгляд лучше всего идти и сразу от бизнес-задач вот в первую очередь определить вообще что мы хотим делаем что мы собираемся прогнозирует что мы собираемся растить увеличиваете или там визировать наоборот и так далее и уже от этого и тела к данным в силу того что нам нужно точно и четко представлять очень бизнес-задач но согласно 5 же

  00:11:14 - 00:12:28

• структуры да ну трактора то есть как вы уже говорили повторить мы все удивились что никто не пользовался доской практически а доставить это очень здорово и для тебя структурировать опять же не на быть то что ты говорил что ты писал сюда вернуться или здесь потом с ним сделалось практически к хлебные крошки уганды аллегретто ли что они спасли детишек и плечо так это по временным рядам там посещение этого товара тоже мы такую популярность собрать ссылка blu 21 века сперва то есть хорошие вещи для описания

  00:11:50 - 00:13:00

• в любого почти объекта это это по двадцать первый век тот первый год вот и такие лектора мы запустим это у нас иксы a train там как раз будут это я не знаю как правильно сам решал гайюсу повторился но допустим это там водка это цена которой вот мы знаем таргетной цена при которой вот просто вещественное число потому что сказал как иксы и игреки другой вопрос легитимные to the guide совсем справедливо нас и близко вот пара наши иксы и игреки обязательно тяжело обучать многих систем снова по обучению

  00:12:26 - 00:13:35

• согласен группу согласен логичная цена 1 этого товара дарит нам пусть поэтому это чучелко ему по факту таких парах там доктора представления два товара и чуть-чуть челки будем предсказывать это якобы учитывает может осветить constrain и типа что цена не должна быть предсказание должно быть меньше . порог другим присадочного товара ну да там идеально то есть то что нам это даст могут мы будем знать там при какой то ну ка бы я такую вложила сам что это есть когда так этом цена при которой покупатель купить это и в целом

  00:13:02 - 00:14:06

• но там будет больше продолжать так если у нас покупатель проедется не купят у нас таргетом что является вот так это общий объем выборки общий оборот допустим это не определимся старые дома это важно с не сначала скал таргет эта цена товара теперь таргет это общий оборот и от на семена в моей модели это будет со товарами цена товара тропарь по ценам и мы при прогнозируем цену товара можно здесь вот небольшой небольшой установку сделать мольеру вообще я на самом деле заметил что во время собеседования

  00:13:34 - 00:14:47

• ты достаточно часто помогал такого реально редко бывает редко бывает что тебе дают какие-то наводящие вопросы зачастую ну типа ожидают что человек будет говорить самостоятельно может быть до может быть нет но суть меня 40 минут и сейчас идет в одну степи далеко от таргета неправильно возможно у него затык только в этом состоит то есть у меня есть какая-то линия времени все здесь он делает какую-то ошибку начинают ревновать не и он пошел и сюда-сюда-сюда здесь у неправильно и тогда все понятно что уже

  00:14:12 - 00:15:21

• вся система построена он сказал что она специалист это хорошо я опять же сделаю на эту скидку как минимум он поярче снимаюсь ганы геккона и где брать энди pricing поэтому я хочу четко понять при том он не опять же он мне два раза сказал разные вещи вы помните за один раз call цену просто скал оборот я на считаю что это естественно меня вопрос слитки что-то в духе здесь мне кажется был момент что александр не совсем понимал собственно вообще бизнес-задач и если бы он нет на мой субъективный взгляд нету ничего

  00:14:47 - 00:16:09

• страшного если ты не разбираешься спросить собственно какой таргет как он считается это было на мой опять таки на мой субъективный взгляд много упростило бы дальнейшей ответ в силу того что ты сразу записал вот в я записал прям что ты пытаешься оптимизировать и уже от этого идешь не был в институте предмет материаловедение и там преподавал доктор наук и ты начинаешь что-то рассказал пишут лида buried какой это из-за феррит он говорит так бабушки ты подпишешься под своими словами лишь подпишись подпишись на как он пишет в раке в рамки

  00:15:28 - 00:16:48

• сих пор я заполнял что писать но получается мы приди к тем же модели цену товара если татарки таргет туда просто а что дальше с этим делаем из нас есть на камне которая предсказывает идеально цен на товар хорошо мы знаем что как почему это идеально просто на который мы поставили то есть если мы как-то рвет берем ту цену которую мы ставили раньше почему-то ожидаем что она идеальная цена зачем его предсказывать мы ее поставили сами это грубо говоря такая цена то есть из данных что она не слишком большая никто

  00:16:07 - 00:17:11

• не купит не слишком маленькая что мы не проходим просто продолжу что мы не будем продавать там закупочный плюс один я такой идеальный баланс чтобы настолько распродавали много чтобы в сумме как раз не будем на этом фокусируется на несколько раз обсудили но опять же вот я считаю что правильно сказал как бизнеса то есть он сказал но не не закупка плюс 1 это мы уже сбалансированная цена да есть еще момент наверное тут тоже ну я просто во время просмотра обратил на это внимание что ты дал очень специфическую задачу на самом

  00:16:43 - 00:17:49

• деле с определенными ограничениями это то что нам нужно поднять товарооборот при падении поможение не больше но не уйти в минус да ну по сути своей до смысл в том что это очень важно на самом деле все что связано с динамическим ценообразованием очень важно от стратегии который мы принимаем то здесь повышение товарооборота при не уйти в минус маржи иногда это было бывает наоборот выкрутить маржу в максимум при условии что у нас товарооборот не упадет ниже определенной отметки и так далее и здесь ну как бы от этого нужно прыгать

  00:17:16 - 00:18:40

• вообще от в идеале за писателем данного да очень специфично задача типа и дальше от этого прыгать там типов задач и описать собственно ограничения потому что очень специфичное условия от этого ибо easy line по разному можно строить трудно не согласиться со станиславом который был твоим рукой нет очень и очень недолгое время к сожалению мудрый выбор бен знаешь и нет я считаю что мне не хватило с игорем поработать поэтому мы продолжаем общаться она под этим хорошим мы построили модель собрали данные дает

  00:17:57 - 00:19:15

• момент все отлично совсем не интересно то есть я хочу понять все и до этого момента все не то что то еще я все понимаю простая понимают на меняться лично я не понимаю я я грущу мы построили модель которая нам выдают цену обучился на текста на которые мы ставили ну хорошо допустим а как мы использовать были ну какой готовый товар так для него можем сказать эту идеальную цену с точки зрения того что наши католические данных скоро я согласен что тут не совсем все понятно верно как почему это коррелирует

  00:18:37 - 00:19:51

• с нашими ногами задницу да носовыми целью ну а вот и сам что-то сказал про вероятность покупки помнишь а где насти как она здесь учитывается ну по нечто типа цена сильно это большая средний цена покупки уменьшается вероятность покупки то что это блин а учитывается на как здесь предсказаний до искал мы взяли описание товара в векторном виде получили это через фичи экстракторы куча при добычного есть в качестве таргета взяли цену это уже товара нам теперь у нас поступил новый товар и наша модель говорит вот такая цена но

  00:19:14 - 00:20:37

• позднее наверно плюс-минус такая должна да а вероятность покупки здесь как учитывается конкретно здесь да никак не как так много хорошо мы к этом вопрос вернемся ты ж сам сказал бы и celine пойдем дальше ну вот это чтобы мы сделаем первую итерацию 1 кружочек потом вернемся к момент такого потом я зайду в трапе погуглю как правильно делается ценообразования смотри это пробная его задач в том числе научиться то есть в принципе ты можешь вообще сказать мне к контроллеру но не заткнись мало знает что я сейчас первую

  00:19:58 - 00:21:06

• итерацию сделал я посмотрю что мне не хватает вернусь к этому и ракету это вполне set 4 штуки но допустим такая катя лель которая просто не обещает удачу в раньше когда хорошо да поворотом ты когда начинаешь мониторить может увидеть что тебе нужно что-то да и это красота например гель брать брать данные там их что мы будем их булан тоже там собирать и хранить там такая простая модель к в 3 штука следы которая там стоит делать когда муж выкатили модель это очень до этого это как раз сделать такой мониторинг и в целом всей

  00:20:34 - 00:21:45

• нашей системы потому что достаточно важно чтобы там ловить какие-то баги и какие-то неточности какие-то файлы здесь он сказал что нужно пойти на поставки данных хранения данных и deploy модели pipeline мониторинга модели здесь все вообще без без задоринки прям мы тоже все хорошо всегда да но все таки на мой взгляд это точно равно при учете что больше если работа даже задач на самом деле быстро и на нормальном он будет от количества давайте же вещи с очень нужны да просто евро что они должны обучить

  00:21:09 - 00:22:13

• пожить и нам нужно мониторить целом восемь раз таки есть три метрики на 3 группы метрика это файл метрики . раз мы когда можем считать в целом какие-то метрики ну то есть метрики именно и моими например ну то есть там есть на следующую за чуть grace the boot camp msn насколько мы там вдалеке от проявляться минусом японии что что цена обычно распределяется не нормально поэтому мы светом не совсем хорошо брать то можно мая то есть абсолютное отклонение великим таки там близ близким метрики вот потом line метрики это

  00:21:41 - 00:22:53

• больше про бизнесовые штуки даст мы как раз хотим померить как наш как наш прогресс с точки зрения бизнеса это обычно как раз вот наш основная медика который мы оборот а наоборот там мере под оборотом по дням папа недели по месяцам там по-разному понимаем что плохо что хорошо то пока вы просто меряем вот и да я учился вот и плюс там киньте посетят ростом количества там покупок духе все что вот есть маркер converse я примерно представляю себе как это устроено остальные слова и там 3 класс метрик он такой больше

  00:22:16 - 00:23:43

• про инфраструктурную штуку то есть сам про в город наших запроса магнитов продам скорее всего вся эта штука какая сдача она требует переобучение модели часто вот поэтому как раз нужно будет мониторить скорость среди плохо смотрели выкатки все это дело это картошка будет стоить будет мониторить вот коснитесь эти метрики есть то это супер то есть там аналитики смотрят на лизе анализируешь как это происходит и могут отключить чего какой-то лорд сказать вот вторая секрету который столько сделал такую в общем плане у

  00:23:00 - 00:24:16

• нас есть мечты выкате она работает и там скажу куда это будет работать на на сервер и поэтому это просто какая-то обычная клин сервис к взаимодействие тут ничего интересного нету то есть там никого на девайсе читать надо этого тут все просто и обычно на как бы есть вы берёте какой-нить картинки это было бы гораздо интереснее вот и скорее всего тогда такая штука аналитический там есть очень много всяких разных моделей появляется часто и нужно будет там перри выкатывать новые и смотреть там замерять а чтобы стало чуть

  00:23:42 - 00:24:52

• лучше ли что-то стало хуже водка раз становится тебя б тесты те самые и это нужно будет урок 1 контроль так что мы что-то сделали ее красном переключать там наш модели на какую-то группу пользователей на самом деле меня вот вопрос ты спрашиваешь вопрос как насколько подробно нужно отвечать на этот вопрос на интервью когда у тебя вот 45 минут на интервью обычно висят часы ты можешь сказать опять же ты можешь сказать ребята я буду делать apts попытайся не что нужного пытаясь нужно контрольная тестовая группа не

  00:24:18 - 00:25:37

• нужно понять сколько не нужно в день ее ненужной метрики я сейчас не буду говорить как это рокировать я знаю что все это нужно делать останется время вот к этому менту вернет есть ты определил список небо как дальше ты говорю а я знаю что может быть проблем мощного сравнение я знаю что может быть проблема у меня связано и с тем что произойдет какой-то банк данных и доме нужен оао тест на память вот такими дальше уже не говорю чтобы сделать от с чтобы сделать скриншот и не ты прыгаешь я все эти вещи

  00:24:58 - 00:25:52

• знаю вернусь к нему позже но вопрос какую метрик вам это если ты будешь оценивать все таки можно сказать это в крайне важно чтобы результаты он теперь apts классный почему у нас метрика выросла какая не знаю бы теста красил метрику какую когда это неважно как бы мы оценивали у нас же ценообразование крон ног распаковка то у нас есть нет цена обрезаем мы можем разве показывать разным пользователям разную цену до вообще на самом деле очень хитрый очень такой непростой вопрос непростой он давал можем ли мы

  00:25:25 - 00:26:39

• показывать различные цену различным людям ответ кстати можем зависимости от geo da по гео может потому что если мы возьмем просто большую какую-нибудь страну типа нашей пони должны были появиться от москвы до отличается или тюменская область там от какой нагрузкой от той же московской то или тверской там области сильно отличается что также был большой скандал там запретили по musik к диску и тушь почтовый код вы четко указывают каком ты живешь в районе бедные и богатые вообще ну там с точки зрения

  00:26:05 - 00:27:18

• дискриминации очень очень частая схема это когда знаете один и тот же товар в допустим в какой-нибудь онлайн игре на одних устройствах стоят одну цену на других устройствах другую страну центов и здесь но честно у игрока может пригореть так но то есть вопрос был хитрый но справедливый справедливый полностью и здесь ну очень интересно на самом деле надо посмотреть на его ответ вроде бы он здесь ну не наступил на мину можно так вопрос мы послушаем мы можем разве показывать разным пользователям разную цену по нелегально лет и до

  00:26:41 - 00:27:59

• 4 не знаем и не могу скорее тысяч это дискриминация времен это не кнопка на сайте ну кукла пытаясь разгрызть не зная условно на это не разный цвет иконочки на сайте это не разного горит ранжирования это разная цена на акции до подходите по служением как-то будет то есть но смотрите даже чтоб меня устроило мы сейчас представим потому что правильно ответил он сам не дал мы к нему вышли им рассказал словно правильно это на что на самом деле многим из вариантов может делать это можно назвать это по тестам это

  00:27:20 - 00:28:25

• большой бросок скорее просто будет механизм оценки через смещение модель и так далее но и важно был осыпан за вы сказать да к бутылочка опыта я хочу проверять как смотри мы можем искоренить мы не можем то есть как то придумать вот этот базовый дизайн оба теста пока что пытайся нас а новый модель сара мы меняем цены десяток можем все отлично если не можем проблема нужно обращаться к специалистам по тестированию тоже ответ то есть такое тоже принимается я просто запишу что вы оба тестах человек хорош да не спине специально опять опять

  00:27:53 - 00:29:10

• же мы же говорим что есть разные уровни есть уровень 6 7 8 5 очевидно что они этот этот этот прошел но по-разному прошли телесами то есть человек может вообще в каждом объем в каждом пункте быть мега экспертом может такое но вероятность такого можем порвать с ты рассказал и как модель построит и данные собрать очевидно что do it never как это очень крутой чувак чувак может быть крутой но чуть менее как то есть тут тоже понятно бесовщину я знаю базовый теория пытаться на а б а это я знаю а как вот здесь делать что я не могу я не

  00:28:32 - 00:29:45

• знаю это не тривиальная задача я буду разбираться беда для меня уже то ответ что он понял что это проблема подсветил я потому что а теперь представьте сделана система те же то результатов а потому и мы не знаем как их оценить плохо очень а пока эта система делится на знаешь этот проблемы это же уделяем внимание он понял что проблема возникла когда его навели на то что там будет проблемам могла ситуация такая уж никто на это не обратил внимание а он инженер который делал дизайн выведу мы ведущий инженер

  00:29:08 - 00:30:16

• главный став неважно принцип инженер не обратил на это внимание никто не врать и мы честно в такой ситуации к это вопрос правда ли что эмма дизайн системы делается 45мл каким-то человеком о нем нет есть потенциально там за два-три дня он может додуматься разобрался у меня был опыт делать имели дизайнер система реальная большому кейси зазоров ничего получилось да ну вот и вы прошли я прекращал дамир пришлось но опять же не нужно говорить о деталь я не прошу решить эту проблему но подсветить что это может быть проблема это важно то

  00:29:42 - 00:30:57

• есть вопрос хорошо сколько нужно время чтобы понять что эта проблема возник да мы с чего начать 45-минутное имей ограничение во времени сказать проблемой как они за я знаю что отправляет вообще тоже немало важно понимать где у тебя лежит плоды можем проявить краснея не абэ тестированием туристам когда разные цены показывать а можно просто проверять что ему что-то выкатили и смотреть в целом по отдельного лайм метрикам то для этого нужно иметь чтобы смотреть на метрикам забиты вот выкатил новую модель

  00:30:20 - 00:31:29

• ну да да я-то как раз к что она лучше или хуже дорогие дамы и как мы не можем взять в группу людей ты просто выкатил бы что-то но для кит товары там каточку эту маленькую для принял просто группы людей только для них и там сравнил бы на исторических данных на люди на на людях не получится ли столько но в в онлайне над людях какой-то группе не получится новую другую цену ставить на товарах получится то есть ты можешь для всех людей поменять цену на товар ну да ну да себе память и цену людей такого

  00:30:56 - 00:31:55

• рода скорее носит как я бы как эту модельку на прием товары так а дальше что да и как раз смотрю меняется ли вы самая группа из товаров он там была цена какой то она на них там не один месяц стало другое потом там другая второй месяц я как раз смотрю там по этим товарам там в сумме там прибыль увеличилась увеличилось но и будем считать что это не мороженое и один месяц не апреля другой нимой ну да так и совсем базу и сам желательно конечно хотя конечно drive небольшие эксперименты что нам нужно значит в

  00:31:26 - 00:32:28

• идеале имеет для того чтобы таким методом пользоваться вот и тыс мы сейчас вы понимаем что в мае мороженого продается больше даст по себе это у нас получается есть некоторое внутри модель мира на слет дорогой а теперь если этот процесс раскрыть для того чтобы провести такой квази б какой стране нам нужно иметь папа формализуем формализует свои свои б то есть ты тут у тебя был алгоритм а до был алгоритм б были продажи слуга ритмом были продаж алгоритм б и ты говоришь теперь продаже с алгоритма б

  00:31:57 - 00:33:05

• лучше если но если выручка выросла вы роста по сравнению с чем посылочка это в прошлого не но в прошлом месяце совсем корректно сравнивать бренда с ожидаемой выручкой в этом месяце вообще мне кажется это дико стресово да я я бы не факт что нашел себе смелость мире бабушкину кого не либо ручки на собеседование и что значит укажет на столешне приходишь мало того что он тебя давит я одолел я задача подсказывал помогал не льняной типа представь ты приходишь хотя дикий стресс ты должен решать задачи который день и когда я

  00:32:31 - 00:33:50

• решал перед тобой валер бабушкин который работает фейсбуке который сидит в максимально раз расслабленной позе такой тебя ну что и потом какие-то три чувака тебя до того как ты прошел собеседование прошло просто не так молодежь так и живет с tick tock youtube вот посмотрите и коментируйте трусом форма местах или это неприменимо что он тебя из нас разделяет десятилетие реально 10 лет здесь я большая с гусаром он пошел к неплохо да ну он неплох достойно достойно maxio нужен как раз предсказывает временной

  00:33:14 - 00:34:39

• ряд типа прибыли на этом как бы старые данные наши советы да кстати а дальше если ты умеешь предсказывать у тебя в любом случае будут остатки от модели правильно это остатки между предсказаниями фактом да как-то ты можешь посмотрев на эти остатки сделать какие-то выводы я понимаю что занимаешься дэвида я тебе тебя виду в картошке и мы как бы скорее всего там если мы что-то предсказали а на самом деле оказалось так то как раз там можно скорректировать наши предсказания по этим остатков есть остатки будут смещены к но дорога как

  00:34:01 - 00:35:08

• поэтому смещение вот можно наши сказать нашему деду корректировать по нашим предсказали некроз ну предсказанием катрен вакцины у меня тебе вопрос возник вопрос частично потому что мы уже обсуждали но у нас теперь pipeline какой мы ставим цены на основе того какие цены на рынке ставили мы очень модель торги g мы берем 2 каком сайт для новых товаров раунда а какой-то момент ведь получится так что все предыдущие цены у нас тоже поставленной моделью на этом пире обучаемся что есть модели учиться на

  00:34:37 - 00:35:35

• результаты модели что в принципе хорошо затем можно не учит это называется фидбэк лук плохо это хорошо или не как то есть что в нашем случае ну на мой субъективный взгляд да есть меняя цену ты меняешь собственно спрос на определенные группы товаров и меняется поведение покупателей соответственно так или иначе у тебя есть влияние непосредственно на собственно свою аудиторию соответственно нужно как-то с этим работать как это секрет да нет ну типа на мой субъективный взгляд можно фидбэк лук за вернуть обратно с точки зрения там

  00:35:05 - 00:36:26

• выбора какую цену ставить на определенных групп товаров в определенных регионах что это значит что в целом мы там цены можем изменять каким-то образом причем мы ну там с точки зрения изменения цены и есть различные подходы есть подход с точки зрения эластичности подход с точки зрения там типа предсказание спроса прочие вещи но самый тупой наверное да этот подход по сетке когда мы просто берём у нас есть товар у него есть определенная себестоимость мы накидываем какую-то наценку и кстати вроде бы александр об этом рассказывает

  00:35:47 - 00:37:02

• там попозже мы накидываем какую-то определенную наценку и уже от этого изменяется собственно ну спрос на тот товар в маркетплейсе мы это можем увидеть добавляем сюда многоликих бандитов и можем увидеть что на определенную группу товаров нужно поставить такую наценку там по сетке для других групп товаров другую наценку ну и кажется что здесь опять-таки могут быть различные стратегии я помню вот игорь рассказывал про эпсилон гляди страстно был такой про upper confidence bound мне очень честно импонирует там вариант который предложил

  00:36:24 - 00:37:46

• все время алексей чернобров который говорил о том что в случае когда у нас нет возможности постоянно проводить тест на это кстати тоже важный момент то мы можем некоторым образом ускорить поиск оптимального точки где мы максимально много зарабатываем или у нас максимальный товарооборот пишет он через за добавление так называемом комиссии это параметризация определенно относительно определенной точки в кривой прибыли в зависимости от сана это не тоже самое что задать приор какой то это то же самое что

  00:37:05 - 00:38:17

• типа смысл в том что до это ты просто знаешь где лучше всего ты пытаешься найти ручку за счет там пары эксперимента вот собственно в зависимости от того как много у нас эксперимент можем ли мы постоянно менять что-то смотреть в зависимости от того как мы собственно работаем с фидбэк глупом какие стратегии используем мы кстати можно решать различные бизнес задачи и здесь это тоже важно собственно поэтому важно очень важно помимо бизнес задачи собственно что мы делаем товарооборот станислав миксе возникло 2

  00:37:41 - 00:38:49

• вопроса первый в учебных местах нет мной летели существуют ли они были зация и нужно это учитывать при оптимизации цен на нескольких товаров одновременно ну давай так с точки зрения наверное моего ответа вот в рамках например собеседования я бы наверное сказал что есть вот проблемы связаны с канализацией за таркой на будущее прочие вещи связанные с общим потреблением как бы но я бы не углублялся потом почему потому что вещь достаточно непростая вот с точки зрения оценки к мобилизации как один товар к

  00:38:15 - 00:39:28

• ним лидирует группу товаров и так далее это вопрос очень непростой с точки зрения того что нам нужно во-первых определить товар который будет иметь некоторые аналоги в во всем вот в этом пространстве затем как один товар к ним лидируют другие товары на сколько там к мобилизации одного товара сильно влияет на наш основной товар каннибала да тут честно черт ногу сломит и и вот как валера говорил что это просто вот дыра который ты залезаешь ее вряд ли выберешься но я бы сказал наверное об этом ну вы но стоит упомянуть особенно

  00:38:52 - 00:40:06

• бесит и хочешь а пытаться проводить в разрезе разные товары разную цену чтобы не дискриминировать людей разными моделями на один и тот же товар не понял еще разок либо за чего раньше обсуждалось что в области как-то уж проводить об этой с разными твои мудрыми сын образующими на один и тот же товар не можешь выставить две разные цены двумя разными моделями даками и поэтому ты не можешь такое бы тасс проводите нужно по товарам сплитить да и вот что это может выстрелить в б что ты на одну куда-то натравил модель что там отец мы

  00:39:29 - 00:40:21

• поменялись и у тебя из-за этого а группа поехала да ну давай такое может быть добывает и бывает больше ничего не стал говорить на его потратил столько проблема есть я думал что был бы очень ценный point если кто-то заметил на эмаль дизайнер интервью ты привычно который выдал ходить нужно банальной законе были зации может измениться слушайте знаете на самом деле это специфическая для ритой да да да абсолютно прав и этом заткнул не на второй вопрос вообще насколько вообще нужно понимать что еще что-то может

  00:39:55 - 00:40:56

• произойти и каких проблемах нужно думать во первых нужно расширять свой кругозор попытаться бы работать в разных возможно отраслях не только замыкается на одну бизнес задачу и которой типа является watcher no matching например наводчик и кидайте придется очень высокоуровневые понимания ты имеешь возможность очень легко перекатываться другие задачи и в них ведь какие-то проблемы чем больше ты в жизни повидал чем мы тебе легче быть чем-то вам строить ваши полностью согласен много повидал вот волосы

  00:40:26 - 00:41:14

• потерял ни одного на самом деле да очень чем с большим с более широким спектром задачи ты сталкивалась с тем много проще тебе проходить возможно такие интервью в силу того что значит назначения с петель очень глубокомысленный вывод что опытному человеку проходить проходить себе сигналить этими опытному с этим сложно поспорить не совсем пропал займешь это не только опыт по годам но и индустрия не только по industry ну ты сам должен формировать себе желание разобраться в чем-то не решить какую-то

  00:40:50 - 00:41:54

• техническую задачу так как вырасти до сеньора и выше что проходить такие интервью тебе нужно самому пытаться них разобраться и работать как бы на опережение а еще смотреть хардом и точно не только смотри то покупать смотрели купили купите смотреть да еще домашнее задание делать куда его пища обязательно на помогает это называется фидбэк лук плохо это хорошо или не как то есть что в нашем случае я просто когда учит скорее у нас там очень очень много данных там очень много пользователей малики томским простые там

  00:41:22 - 00:42:33

• может принтере обучиться скорее всего там на выучить время не знаю как выбрать правильный ответ наверное как скажем так фидбэк лук есть ну допустим мы не знаем плохо это или хорошо но кто-то придет это плохо кто скажет хорошо как мы как мы можем этот фидбэк лук лук погасла бить ну как раз но какие-то корректировки наши данные то есть по не учится на том что предсказали там какие-то сторонников рано или поздно мы вынуждены будем учиться на том чтобы сказались на модели всех новых товаров используем прошло

  00:41:59 - 00:43:00

• какой то период времени год 238 можем учиться на сейчас обучить на 2013 году на ценах в 2021 оставь на особенно россии в рублях что-то ну я пробираюсь там как-то масштаб будет разные до ночи пока этот интент в целом как смещение это помнишь ты сказал про арк макс а вот разве эту тему что что арматор cmax какие еще есть варианты то есть это мне кажется ты вошел в правильную сторону а потом про неё забыл про что решение которое можно дней мылись в нашу крытом случае это скорее всего вот видно клуб мы хотим как-то

  00:42:30 - 00:43:45

• борозда разбавить его здесь мы там нас есть там какой товар и есть там закупочная цена и мы просмотрим как раз допустим за иную цену этого товара пустой типу столько плюс там 20 процентов отлично то есть ты предлагаешь сделать ряд сценарным дифференцируем при все ну да будет так хотим мы прибывшим с булатом такая-то и вот столько и окажи товары накидываем так хорошо вы мужчина с первой операция сделана да у нас в принципе разобрана что данные у нас есть pipeline по поставке данных у нас есть какое-то по и

  00:43:07 - 00:44:16

• celine виде модели нас есть репрезентация у нас есть мониторинге у нас есть оффлайн метрики качества этой модели у нас есть онлайн метрики оборот мы можем даже как-то будем считать что проверять эту модель другой но все же у меня вопрос следующий здесь как эта модель какая строится делается какая-то какая-то предпосылка куда сам же и у нас предпосылка что цены который мы раньше ставили идеальные она звучит басиста сеанса улыбался потому что харрода как решал поэтому не надо бы допустим допустим я потому тебе и задал

  00:43:42 - 00:44:53

• в эту тему потому что не сказал чем ты занимаешься конечно вы в этом этом этом же весь интерес тут и предыдущий человек тоже приходил я ему тоже спрашивал не прога на в этом в этом интерес то есть понять как эта система работает попробуйте за дизайне до очевидно что ты не за дизайне ши и глупо ожидать тебя что ты еще сделаешь человек тардис лет работал цена в звании тогда возникает опросе чем 10 отдел аналогично но в целом ты и все крупные блоки поставил правильно нам все очень сильно собеседование вообще

  00:44:18 - 00:45:25

• это достаточно лишь себе тебя трос когда усредняется много различных сабис следующих и не пытайтесь и аргумента это уже какая-то попытка объективизации но мы сделал предложение нас идеальная цена раньше было то есть на лучшее не был и все такими не дает покоя когда-то сказал про вероятность покупки просит искал города стуку я все еще не вижу как здесь вероятность покупки учитывается как здесь а вдруг у нас была не идеальная цена мод же такое быть либо хотим друг актавис текут вероятно составляющую там раз мы хотим

  00:44:53 - 00:45:57

• аккуратность покупки с такой-то ценой вот тут и сказал не ну я подозреваю что так но эту штуку можно как как рождается что это будет делать теперь опять вот ты тогда сказал таргет и фичи но есть в такой постановке дата мы просто можем как раз вас примем такой постановке лишь когда мне что лишь на удачу депрессии то в целом мы как бы скажет очень наше предсказание будем считать там вероятность про предсказания вероятность вероятность предсказания еще раз вероятностью ты считаешь ну вот мы делать предсказания и вот может принять

  00:45:25 - 00:46:31

• вероятность в точке этого предсказания насколько вот там правдоподобно то есть ты говоришь я хочу в качестве своей фичи иметь в том числе и цену и говорить что с этой ценой вместо кайта вероятностью купят ну да мы пришли теперь плюс-минус уже можно правильному так ну вот правильной задачи когда к тому вариантов задачи которые мы считаем оптимально ну да да да не если вы пружин вариант задача было объяснено почему так можно решать я не могу тоже чтобы вещь для день для одного пользователя правильно то это может

  00:46:01 - 00:47:13

• сказать для кого-то притонам объекта но для для опары пользователя да ладно . почему-то пользователь товара цена вероятность покупки систему чем как бы не просто мне матсья такую вероятно что всё тело вниз мы вероятность зачем нам из я ну тоже вернула кстати вот опять таки на мой субъективный взгляд мы здесь ты просто ему сказал что да он ошибся и от прям красный флажок ну да ну да да да да да но мне нужно все равно с человеком прокатить его по всем стадиям чтобы дальше я мог сказать дружище смотри вот

  00:46:36 - 00:47:50

• здесь было клёво крыла вот здесь то недоработал не доработаем обратимая а есть мы пройдемся по трем стадии мы списка что красный флаг расходимся или он будет на этой третьей стадии где он буксуют все интервью проведет моего судна 4 5 не узнаем что там происходит сегодня там ему нужно дать в том что он уже пришел потратил время на нас мы на него мы должны дать ему какую-то обратную будем вечно будет полезно то есть но вот например мы чего-то сказали что пропал плане прям вот четко было сказано помощь допустим пора бы хорошо

  00:47:14 - 00:48:19

• чуть-чуть не дотянула здесь да вино но вот со все старые там была беда да у этой абсолютно не специфика александра тогда нам что нужно . не пускать вероятность этого ну как раз пары том что они такие то есть мы у нас есть вектор вектор i can катим цена и качество торги то что 0 1 0 1 то есть мы учим на какую функцию потерь на вариант выбирай null огласку где много вас хорошо так теперь у нас что получается есть у нас есть для пары товар пользователь вероятность покупки да это хорошо есть проблема мы не можем

  00:47:46 - 00:49:12

• ставить разным пользователям разную цену что начал все запутывать очень она была говорит что теперь мы делаем в экран адрес эти данные из этой вероятности там выставить какую-то цену то как как ты это сделаешь так и приходил вероятность то я не знаком с этим цену тут тоже на свечу ставишь а в плане типа что входные данные от есть такое письмо тогда если мы берем как хочу цену то как раз можем как раз эту цену и ставить и там 200 вероятности там как бы так просили как раз цена которую мы их останется начали как свеча есть как

  00:48:29 - 00:49:49

• вероятность забирая период длится до может открыть матожидание типа там нашей выручки и как раз вот так и что мы еще можем сделать если дать разную цену prague ну да и как раз мы можем то есть от этого перед вероятность крита и цену маневрировать получают вероятность нажатии на цену допускает ожиданий как раз там выбрать в тулу вероятность сердце котлу кабуто шелковый какой-то и кто нас устраивает такая на прибыль вообще на самом деле опять таки вот возвращайся про объекты да вот здесь за просадка пошла от этого то

  00:49:11 - 00:50:19

• есть на самом деле не то чтобы это я придумал я это прочитал вчера когда я готовился к сегодняшнему то есть но это клёво и это еще раз до целой к формату то есть там было чётко написано что и как нужно делать каком порядке там был один из первых пунктов то есть перейдем даже какой говорите про иксы и игреки грехи что вас является объектом ваще как не планируете устроить что мне бы такую прочитать инструкцию под своим собеседник автор статьи благо я был авторство нет нет но было в его признание нас

  00:49:45 - 00:50:47

• возникает вопрос на который на который тут не доказать что-либо знаешь его не знаешь не знаешь ее в принципе нравится то что опять же ты занимаешься дает матожидания до того что получить матожидание нам нужно иметь цену иметь вероятность мысли на величину а модель тебе действительно будет выдавать вероятность гарантирует ли тебе модель что она выдает вероятность какой-то знакомый вопрос где ты была в теории машину обучения что такое было потом накида гарантий нет там как раз ли какие-то штуки которые используют для

  00:50:16 - 00:51:20

• того чтобы верно не будем вдаваться подробно загрузить или надо эта модель выдает тебе скор на армия как откалибровать это дело типа чтобы это было как раз вероятность все отлично отлично так вот после того как мы уже получили от калиброванную вероятность мы получаем от ожидания есть проблем всегда бездне проблема следующий мы научились получать это для пары пользователь товар ok но мы же с тобой знаем что мы не можем по скорей сегодня нам все-таки предположение так как вектор пользователя будет меняться

  00:50:53 - 00:51:55

• скорее всего для каждого праздного пользователя будет разная цена ну да подходящий а мы не может так делать дискриминирую что делать в целом можем как-то к раз наши фичи пользователя зомбировать там где поступал в середине тимка распутать какую-то одну ну как то так учить как то либо там хороший вариант можно развитию ты предложил чтобы я правильно тебя понял то есть и не всегда лучше проговариваешь маллори катя пойму это же ты имеешь ввиду ты приложил представить некоего усредненного пользователя ну да и

  00:51:24 - 00:52:36

• но это может быть правильно может быть модель сойдется опыта никогда таких вещей не видела никогда не видела 025 мужчины например если ты используешь ты усреднил тебя на из четырех человек 3 женщин и один мужчина и модель сходи с ума чуть дальше если пойти что можно сделать подумаем что у нас есть и мы ты можешь расписать попробуем немного было скобы есть там как раз товар вопросам товары автомата что у нас есть для каждого пользователя после того как я построил модель которая может выдавать вероятность покупки при

  00:52:00 - 00:53:03

• такой-то цене где прибыль кто получаю оборот образовалась матожидания оборота при этой цене с этого человека для тебя и то есть для каждого да но ты можешь выбрать только одну цену до что теперь мы просто не можем от ожидания гривну просто реагируем по этой цене по факту делаем грубой по по цене еще среднем или медиан там-то ну а затем два сумма интересует открыт говоря удобно потому что средние как раз найти нас не интересует нас интересует сумма уже в сумму хотим хорошо отлично теперь вернёмся к вопросам функций потерь ты

  00:52:32 - 00:53:59

• сказал что мы будем учить на ну ты ты правильно сказал что скорее всего цена не нормальное распределение поэтому возможные мысли не зайдет можно мая можно наверно что-то еще делать но представим пра-пра-пра вероятностью модель понятно отыскал калибровку откалибрую не будем вдаваться в детали а как нам оценить вообще вот у нас какая то есть модель offline теперь как мы понимаем что она нам скорее всего revenue поднесу так нам и и оценивать уложились там плиты исторические данные можно использовать их и посмотреть там

  00:53:15 - 00:54:30

• уютно там этот отрезок времени такой то там поспорить нашу модель и посмотреть насколько там и i predict и совпадают по какой методике как реальными ну проникли сюда мы просто это чисел k там наша прибыль ну все есть нас есть там просто 2 чисел китам то сколько мы там сработались какой-то промежуток времени наши предсказания и итоговая и истина я просто вариант прослушка другого и что смотреть вопрос вот реально человек никогда не занимался pricing дак и он предлагает 2 метрики которые на самом

  00:53:53 - 00:55:09

• деле ну такие стандартные в решении задачи нам регресса и в во временных рядах и так далее вот на мой субъективный взгляд то что он вообще предложил эти две метки и а еще он там про нас есть чуть вспомнил да про мы в кажется что это уже неплохо неплохо согласен да ну то есть сам факт того что он перечислил а вот эти метрики по-моему мы по выполнил звал моек назвал по-моему я выиграю сказал что есть такие вот пробелы ты сказал про мы нет по его там не было я зря я был до посмотрим возможно я просто

  00:54:30 - 00:55:48

• сказал но по-моему он прямо над нами был такой вопрос то есть он своем хорошо но следующий вопрос какой метрику игры и и почему я не ту враги что же вопрос план у нас равна 1 метр и каждым пусть он я бы не задал вопрос только одно а тут у нас метрик очень много почему это же ладно мы говорим про функцию пати и pantheon скал функцию потерь модель тела blows формально углов вопросов а потому что важно что метрика вызовешь были мне по функции ватель точно прическа у меня в углов 012 как здорово это очень смешно но в матче

  00:55:09 - 00:56:22

• где мы измеряли прокси метрику одной модели к промежуточных и финальный через логос но это был самый быстрый способ и самый ну короче он очень сильно коррелирована вас прокси метре когда то есть понятно что вообще лосс как-то должен комментировать метр который хочет достичь хочет чего-то его оптимизирует по умолчанию вас это некоторые просто метрика так мы мы посмотрели за за понедельник вторник среда четверг пятница суббота воскресенье увидели какие-то чисел ки мы агрегированного рассмотрим это сказал да ну не писал как

  00:55:46 - 00:56:39

• можно так раз поднялись как будто предсказали там до падения такого такого комплекса мария ну вот можно просто краз ну поэтому света между ними поправим простом что м с его котором я примерно представляю почему ты там типа это весело к прибыли на обычно но она не вернешь плена нормально сто процентов и чаще отказ какая то решать задачу там приказание цен она split налога нормальные там просто набрать это логарифмы что как раз и этом центрировать чтобы она была колокольчик когда читать мысли я на

  00:56:13 - 00:57:22

• вопросы вы высказываете и считать вам валить будет что у нас есть формализуем у нас есть модель который у нас для пары пользователь товар говорит что при такой-то цене будет так а это матожидание оборота мы соответственно можем сказать что вот эта цена будет оптимальная просто сгруппировав по ней и просуммировав все матожидания при этой цене для всех пользователь по всем товарам благодаря так далее так далее как две модели будем сравнивать в оффлайне жесткий вопрос очень очень жесткий вопрос как сравнивать в оффлайне

  00:56:49 - 00:57:59

• кто знает как раз говорил врач исторический денежная которые были до этого и делать там сказали на прошлом для чего бы обучаться на прошлом и делает клане будущее но только для нас есть и данные исторические и смотреть там по дням там или в целом поэтому за весь период насколько мы так далеки от истинных поклонников ребята пока метрики ну я бы делали попросту углубленной массе я например нарисую благо у нас в селе в принципе открыто грэм и первой итерации прошли она подходящая то есть [музыка] но теперь мы можем немножко вообще

  00:57:23 - 00:58:38

• представь что у нас есть две модели представь что у нас есть ground roof или лейбл это но 10 раз пасту я напишу так просто 10 постов вот это наш grand rue у нас есть модель номер один которая везде нам сказала 300 есть модель номер два которое нам сказала девять раз пасту и один раз тысячи теперь мы прописать что мы сравним две модели и пусть мы сравниваем их по метрике мая и по метрике м с я я же здесь писал голубеньким что еще подумают люди что черная это относится к этой модели и все-все поломается

  00:58:04 - 00:59:43

• мая м с я подумаем так мая нас здесь везде посту беседе патрис и значит у них разница 200 на каждом значит средняя разница тоже 200 это это это мая мая здесь будет значит черной модели 200 здесь мая будет девять раз по нулю один раз 900 средние 90 потому что 900 на 1090 каждая чем это чтобы учесть масштаб предсказаний теперь теперь эмоция ну вот этой скалы мы съехались я буду оценивать пмс и двое поначалу да у нас есть запись у нас есть запись так смотрим что у нас будет поймать я здесь у нас будет двести

  00:58:57 - 01:00:34

• квадрата 200 то что 400 тысяч четыреста тысяч везде будет квадрата 200 400000 получается средняя ширина 4 400 тысяч значит записываем 400 тысяч девяносто теперь здесь у нас будет 900 до 900 в квадрате это что будет 810 тысяч a200 это через тысяч или 40200 2000 20000 40000 до 40 на нолик 40000 здесь будет 901 1810 пол и конечно но на разделить на 10 81 тысяч 81000 а здесь вот так здесь ноль смотрю а здесь допишем теперь смотрим получается что у нас по мая побеждает вот эта модель пмс е убеждает вот эта модель а теперь

  00:59:48 - 01:01:50

• скажи мне в случае нашего оборота какая из этих двух моделей нам будет больше подходит [музыка] наверное больше подходит к 1 2 зелененькая почему дать правильный ответ не даст я не исходя из цифра просто том плане что она там девять раз попал точно и один раз там ошиблась сильно но как бы начну н с е смотрят когда отклонение ну ладно в каждой смотрят на отклонение если бы они все были здесь просто везде были бы 0 и правильно дома этом сильно штрафует канатам далеко от правильно ответа новым светом нас есть квадрат системы и беседы

  01:01:02 - 01:02:26

• на выбор смотрят туда а вопрос нам когда мы предсказываем оборот нам важно из какой день сильно ошибемся или нам важно в среднем меньше ошибаться ника самом важном среднем меньше ошибаться высота это это это я не знаю стоит ли нам дальше купить или можно просто обсудить но чтобы наполнить этот момент да что здесь ну там были предложены 2 метрики мы молились и и собственно на этих двух метриках мы пытались выбрать какую модель лучше всего поставить и с одной стороны у нас там одна метрика простить одна модель

  01:01:49 - 01:03:05

• постоянно ошибалась другая модель и пошло вас только один раз но он достаточно сильно и вставал вопрос какую собственно модель выбрать честно вообще вот метрики сильно за ну как ты правильно сказал они должны аппроксимировать наш таргет условно и очень важно понимать что мы какую задачу решаем потому что зависимости от мы выбираем либо одну либо другую метку возможно иногда нам нужно типа пусть мы будем ошибаться до постоянно это типа не так будет страшно как один раз сильно ошибаются это вас только в день

  01:02:28 - 01:03:44

• распродажи да это же вообще ну типа надо понять какую сторону ошибаюсь здесь тоже кстати вот очень интересно там например с точки зрения предсказания квартир да вот цены на квартиру они же используют очень хитрый лосс насколько я помню это рмс л.е. где берут логарифм не он работает очень интересном типа если ты не ду не дошел до вот слова трубы значения то у тебя достаточно сильных штраф а если ты типа чуть выше спрогнозировал то у тебя уже не такой сильный штраф и это важно на самом деле важно понимать

  01:03:05 - 01:04:25

• от какого торги то мы идем какую метрику nubira но мы опять же возвращаемся к тому что если задача четко описано доске работать со всем остальном становится графиком надо это постоянно выстреливает нам ногу так мая или м.с. ну значит видосик показывает что лучше случае моя почта мы меньше смотрим если пранипат например там с мая была допустим суммарно и правда тысяч из мая тысяча девятьсот модели 1900 другой три помните 10 по 300 там было да это 3000 правильно на другом случае было 9 по стоит 9000 и то есть тысяча девятьсот а

  01:03:46 - 01:04:58

• правда было 10 по сто тысяч я и мои мысли было что здесь мы ошиблись не 900 сама она уже в среднем интересно сколько машин то там мы ошиблись на 2000 но если но выбор софта меньше вопрос выбросов каких какую сторону out у стойки плохо особенно в ней распродажа но не как говорит не просто не всем парков пришли кого-то с током при том что мы говорим про просека не про прогноз спроса то есть оно понятно что мы вовремя не связано но я бы не включал это общем сколько эту задачу честно опять-таки это наверное специфика очень

  01:04:21 - 01:05:33

• сильно специфика конкретная там и коммерса retail и прочего почему потому что ну там с точки зрения вот остатков на складе с точки зрения того сколько у тебя блин да даже возьмем ps 5 да вот почему ps 5 сейчас стоит в 2 раза дороже можно в полтора раза дороже да я знаю игорь ты недавно ее купил за 40 до него настойку перекупать натаскать прошла дороже счету буквально значит раза маркета не нужно придется я месяц назад смотрела на стоил 8 то все все хорошо ну типа и для желающих начал смысл в том что это из за того что есть

  01:04:58 - 01:06:22

• большая нехватка товара соответственно он и стоит в разы больше и реальность покупки вы при такой-то цене понижается количество товара с ней находится . баллона да ты из на этот крест дефолтной до тихона к носу чём как только мы понижаем центре повышаем ценам и же понижаем повышаем вероятность покупки знаешь мы понижаем повышаем оборот за счет чего за счет увеличения уменьшения продаж и дальше нам тоже а если мы не можем достичь этого матожидания потому что они вообще распроданы тоже нужно это уже сам с

  01:05:39 - 01:06:44

• двумя звездочками вопрос номер 2 горячий сверху . при расчете метрики врачом теперь представь реальный представь что это реальный оборот он верху сколько тысячи ну да первое в тот первый модель предсказала сколько 3000 а вторая предсказала 1900 но и собственно хотя черная модель у нас лучше несмотря на то что она приз очень далеко в среднем но у нее меньше на нее меньше выбросов зеленая модель в среднем нам прыскало гораздо лучше но не весь один выброс хорошо low читают еще деньги наверное надо ним из я там arms этом брать корень

  01:06:12 - 01:07:24

• но и в те я от калиновская хочу сказать никогда этого не говорит потому что если ты возьмешь корни 40000 из 81 тысячи у тебя все равно будет эти числа потому что я не а горне эта монотонная функция поэтому цену скажешь вы знаете я взял корень у меня зеленая модель в этом даже при массе и зеленая модель будет лучше это просто как бы числа будут такие гнить измене рублей в новой валютой когда ты можешь короче оперировать стандарт на самом же деле тебе в среднем ну да интересно поэтому средний абсолютная ошибка тебе важнее

  01:06:53 - 01:07:57

• чем среднеквадратичная ошибка там еще есть эта метрика маппет которые ели так раз на эту суку может быть при этом made это средняя абсолютно ошибка в процент да но тут ездить денег эти столбики и другая проблема есть другая проблема с мейком свайпом но это я не специалист но как работает мэйд есть товар который стоит ли у которого продаж на 100000 есть товару который правил который продажи на 100 миллионов теперь представь что здесь мы сказали что будет продаж на 110 тысяч ошибку нас процентов 10 правильно а

  01:07:25 - 01:08:58

• если 120 то ошибка в процентах 20 здесь у нас 100 миллионов мы сказали 101 миллион ошибка будет один процент теперь если мы посмотрим вот это и вот это то них мы будет десять с половиной процентов почему на сложили разделили надо и модель каштак так дружище даже еще я здесь были стремится уменьшить здесь ошибку а здесь можно увеличить допустим если здесь будет 10 процентов а здесь будет 5 здесь здесь и здесь 5 то суммарно это у них будет сколько 7 половин да это же меньше нагрев но отлично значит здесь

  01:08:11 - 01:09:27

• делаем 10 пусть здесь будет 110-ка а здесь будет пусть 105 миллионов то есть если раньше мы ошибались на 1020000 составе ошибаться на на 5 black man ну то есть все каждый метрики есть свои спасла александр сказал что ребят я вообще дольщик и понятно какие то вещи по этому поводу мы просто на них закрываем глаза на как на какие-то вещи не можем закрыть глаза на какие вещи мы не можем приказа самое важное на торги это от чего мы идем затем это собственно объекты на который мы смотрим с которым мы будем работать и дизайн

  01:08:53 - 01:10:22

• наверное эксперимента б здесь ну вот он немного дизайна бы может где угодно быть неважно дельта занимаешься да да это все равно очень важно кто-то же должен это делать а не просто принимать что другие как другое да другие сделали твои сотрудники другие же не будем делать с одной стороны хочется сказать что тут с прям совсем не классический дейсвительно нужно как хоть что то с этим поделать с этим поработать чтобы понимать и могут возникать подводные камни и пытаться их обойти с другой стороны даже там же

  01:09:37 - 01:10:35

• диоптриями если например ты делаешь распознавание лиц и пытаешься фотографии разных разных фотографий к одному человеку то потенциальное та же самая проблема . есть фотографии который ты не берешь тренировочного руку сможешь как на них performing так далее и как ты пытаешься по-честному по сплитить симулируя то что тебе продаж не происходить то есть как бы если ты наверное да и просто ешь до высокого уровня в декор никита все равно ты погружаешься и обычно это не должно являться оправданием того чтобы не

  01:10:07 - 01:10:56

• можете занять в этот ох какой то такой хлыст я не говорю как силен сектах last of montenegro когда хорошо области я это жилось симуляция теста в фанк вот я полагаю что человек который бы что человек пришел где пленки модельку зашли него не было бы оправданием что он ни разу стать мира бы ни была правда правда не бы не был точно потому что если ты хочешь опять и и тем более выше то ты точно должен понимать вообще может быть специфика практически любая задача раша жесткий газ скажи в целом впечатление к

  01:10:31 - 01:11:36

• но тут очень большая была проблема в том что человек не до конца разобрался с тем чем он работает и как он будет делать собрать воедино торги то и понимать как они влияют на эту метрику которой пытаясь оптимизировать это прям самая самая важно потому что отсюда когти брали говорил ты можешь полностью не ту сторону и заниматься абсолютно не тем это же тех сразу же поможет выйти на функций потерь и ты говоришь как ты оцениваешь модели метрики это уже должен был который момент обсудить и это типа завет очень легко дальше 3-го говоришь

  01:11:03 - 01:11:59

• вот это у нас будет с данными сапр что нас может быть согнута смог заснуть такие про на основе этих метрик может возникнуть такие проблемы возможно ты можешь позволить себе нос суёшь ошибки сказать нет сейчас мы дошли до б я помнишь нас нужно выбрать другую метрику так тоже не возбраняется вообще глаза но без записи на доске опять же тяжело бизнеса это очень сложно потому что в целом типичными ну в целом у меня впечатления следующий что в принципе учитывая то что он вообще никак не связан с этой спецификой он неплох

  01:11:31 - 01:12:28

• отвечал на частью вопросов но как вот правильно заметил что честно ну пишите пишите резануть мне показалось что александр явно сеньор ный инженер и мне показалось что у него именно инженерии больше по работе чем или меня могу ошибаться он очень классно рассказывал по инженерные вещи pipeline и мониторинга pipeline с ником вот это было очень человека и боевики можно сложилась еще такая стая может быть он больше инженерии за него чем мы но в целом кажется что-то может он какие-то дни мы и сроки подготовятся и

  01:11:59 - 01:13:21

• пройти сто процентов в принципе что эти хочу сказать не твой подход нравится подхода видно что ты человек сеньор нас опытом приятно нет ты действительно начал с правильных всех вещей опять же понятно что ты сын образование работал поэтому я тебя не буду про про это сейчас оценивать подход хороший ты начал с чего данные потом модель дособираем pipeline поставки данных модель на текущем на первом это неважно потом мы заменим это все ты правильно разбил на метрики оффлайн метрики на метрики мониторинг то есть

  01:12:40 - 01:13:57

• тут никаких у меня нету претензий все сделано хорошо не знаю даже имеет ли смысл передавать какие советы в плане дрель потому что насколько там важно знать эти метрики так далее в боксе ну кажется что неважно нам не спится я повторю специально не стал тебя гнать потому что ты знаешь потому что я и так уже знает какая то есть начале идет я del я немножко знаю но я бы не изменение могу туда глубоко лись но все очень хорошо единственное что вес и тогда таком интервью будешь в реальная жизнь старайтесь всегда формировать то с чем

  01:13:18 - 01:14:38

• мы хотим достичь этой степени как раз от скалы чего хочет бизнес чего нужно достичь то есть и и и вот видишь как они начали обсуждать что деньги а в среднем то есть нам это наверное важнее по тебя пошли мысли немножко другие и и прямо формализует а если сегодня даю такое а формально определенности согласен или кивнул вы по потом все четко кивал голов согласился но мне особо нечего добавить то есть если мы берем именно framework общего куда-то хорошо хорошо так что если диска мне вопрос задавай либо мы будем прощаться с ребятами

  01:13:59 - 01:15:14

• которые мы смотрим не спасибо что пришел пасе у тебя что думаю на этом закончим на найти что-то еще ты хочешь сказать нет нет тогда пасибо что послушали ей очень благодарна александру недюжинное мужество требуется чтобы придти я бы например не пришли ни периоде

  01:14:36 - 01:15:20