привет vigor привет фанеру как-то видела все отлично я знаю что сейчас работы шок спеть но ты уже мне сказал что это не надолго да куда ж ты куда же ты выходишь через две недели я ухожу в сбер девайсу именно уже выхожу на работу в команду поиска поиск ну там есть поиск на устройствах умных от веры условно найти фильм найти какой то продукт с помощью этих устройств и голосового помощника сна то есть они результ какой-то поиск по ну ладно хорошо ты а это поиск или matching потому что если на эти фильмы ты
00:00:00 - 00:01:11
говоришь какой фильм это вот надо однозначно смочить чем-то или нет или ну ладно это то детали таковы кстати ты сидела в x5 работал аналитиком ну и буду работать аналитиком девайсах on радостным ли ты работал в ценообразовании но то есть и работал с антоном денисовым да но в параллельной к команде к параллельной коммунисте другой ценообразования да есть экспериментальной среди ментальном ценообразования работал по моему борьбе за он думаем ли дом месяца три числа генри дом а кто там еще еще ну сейчас тем vip никитами который
00:00:36 - 00:01:48
раньше работал курков церковники то еще что то еще помню из x5 да но больше не знаю помнишь или нет очень тимлид некий поток никиту по уму помните даже я помог помог торис и беседовал или просто применён ого к-как ты знаешь участвовал харди миль до и даже интервью смотрел где мой тему да да так что мы можем вырезать из интервью почему ты переходишь дар девайсами интересно ну на самом деле получилось интересным не в общем стало интересно проходить по совместным где-то месяц назад подгонять какой у меня
00:01:12 - 00:02:23
уровень условно сколько я строю и на что могу претендовать как тогда поставил вилку которую мне интересно которые сильно выше чем в x5 было просто чтобы ну какой то cf изначально были подался в компании в некоторые там штук на 10 откликнулся потому что сами рекрутёры писали вот ну и я не хотел переходить но девайсы стали интересны и по задаче мы и финансовую задач неплохие там звучит интересно что таких 5 в плане что не контр оффер ну наверное он мог бы быть просто я сразу сказала что в принципе в
00:01:47 - 00:02:58
нем смысла нет и даже ничего не брала где ставил дал ли его дал бы его антон или нет вот ну то есть он тонн тарифе луком азкар есть затем антон решает давайте вы мне на ногу позаниматься этим же надоедали просто когда вы прямо к дому древний про антона мироненко не настолько которых точно мог сделать сам что все что ты можешь в общем я не знаю дал либо его или нет предложение было и про сразу отказался не имеет ну и не стали значит уже после такого когда если они дали такие же деньги 4 он перешел задач да а сколько ты в x 5 9
00:02:23 - 00:03:34
месяцев то есть я уже а ты перешел в x5 пустышку аналитиков и bряд там учился не сказал поешьте там учился когда я туда уходил мне написал явление макаров и предложил по себе скажем так ты попал в x5 времени через школу аналитик ну да есть пьяная бы там не оказался иначе не зря мы запускают со времен олеська многие вроде пришли дэш носом да она бы она крайне успешной оказалась в этом плане очень хорошие ну и сейчас магистратуре на кафедре x5 да да я буду про это кстати да я знаю это не указывал ну ладно не указывал не
00:02:57 - 00:04:07
указан слушай там вас учит сколько 25 человек 14 14 казалось больше нужно ну ладно ладно кусочек шарика что хочет x5 на другой стороны хорошо что ты уходишь хорошее место поэтому сейчас мы разрушим той репутацию глазах сбер девайса или наоборот укрепим и и многократно а зачем еще не сделаем ты наверное в курсе мы сделаем system design интервью не имел дизайн написал что ты хочешь адреналина испытать и почувствовать свои силы в принципе это развлечение потому что уже знаешь чего ты просто стоишь на рынке
00:03:33 - 00:04:42
что и походил по нему но как аналитик получился хорошего города как разработчиков другой вопрос что ты будешь делать как analytics бери потому что аналитик это очень широкое понятие ну насколько я сейчас понимаю но возможно это неточные задачи будут а б т с т в онлайне на то что на риск по сути строится сейчас будут оба тесты будут круто будет краудсорсинг радует метрики надо разметка будет это значимая часть топ поиска то божью поиски от крайне важно что что-то действительно интересное и очень
00:04:07 - 00:05:05
интересно насколько сергей марков будет далеко от тебя сбербанке сбер девайсах учитывая что я не знаю этот и сергей марков наверно далеко может быть ты передал вам привет артур то кузин ты знаешь это такой ну он все ближе работается принимается что же дверь девайс то есть васхнил где-то там высоте должен быть обще руководить это вопрос где где на какой-то уровень как бы какой ноги в конце концов у вас у всех будет грех как минимум кто вас является общим предком если мы говорим в терминах биологии хорошо
00:04:36 - 00:05:40
предлагаю перейти к задачки сорок пять минуток у нас будет даже 42 скорее ну потому что обычно пять минут на выйти церковь ходит знакомства привет я вася я пейте мысли очень больше поговорили но по непрост было интересно про дверь девайс тем не менее сейчас озвучу задачу и попрошу засечь 40 гривен задач следующие нужно сервис написать web crawler паучок то есть он что делает есть интернет а интернет нужно имеем что-то искать как удачно до что нас тема поиск для того чтобы искать нужно иметь обойти все эти
00:05:08 - 00:06:32
сайты которые из интернете нужно их наверное куда-то положить и потом построить индекс чтобы когда или вели что то что поисковая система благодаря а вот этот запрос матч с этим документом иду к нас таком яндексе насчет есть какой то есть тебе нужно как они собрать базу данных ну и соответственно возникает вопрос как эту штуку за дизайне что она должна себя включать о чем мы должны подумать и как должна выглядеть и архитектура этом можно говорить можно пользоваться маркером доской и стиралкой да это же наверное к этому прибегнуть
00:05:50 - 00:07:03
так что в этот момент можем начинать засекаем 42 минут задача наверное на понятные не нуждается в каких-то подробностях вопрос наверное откуда мы стартуем все-таки травлю словно должна должна быть верил начиная с которой мы ну обходим страницы которые на ней находятся и и так рекурсивно запускаемся дфм дфм куда-нибудь так хорошо откуда мы стартуем отлично мы видим откуда этому можем просто набрать даже страница руками то что дальше все равно почти все обойдется ну в нужном нам то имеем так хорошо мы
00:06:26 - 00:07:32
набрали странице отлично да то есть есть откуда стартовать хотя вот дальше на верный вопрос о том сколько данных нам нужно сколько страниц нам нужно быть и ну и соответственно your luck здесь интернет весь интернет ну то есть хорошо человек шесть миллиардов страниц миллиард или может побольше не знаю сколько среднем один слой но там субдомены какие то есть со страницы их наверное тоже нужно быть ну то есть но 110 миллиардов людей 10 миллиардов хорошо вот то есть нам нужно не знаю если ну давайте напишу я да я
00:06:59 - 00:08:22
это записываю что я предлагаю приписать но просто чтобы самому увидеть и 10 миллиардов страниц asus еще не только писатель на мой канале и стирать рукой это какая получается мы миллионеры сколько стоит 9 или 10 а ну если 1050 внутрь здесь сказал там кажется все равно объем ладно может повлиять когда-нибудь вот что мы хотим сохраняется этих страниц мы хотим сохранять точно ссылку на страницу и сделаем страниц сделаем про простую задачу и чтим и или допустит а более чем у той самой штеменко никакой не парся не
00:07:41 - 00:09:05
ну смотрите мальта уже за как он сохранил и чтим и ты даже можешь делать лишним угодно мы не сохраняем не видел вот кинутое столько текста только-только и чтим и но получать ссылка + hdmi или видимо ссылка совсем мало объем памяти занимают но возможно нам когда-нибудь это потребуется там сколько 7 ссылки кажется может быть очень много символов даже на самом деле особенно если она на русском языке случайно и я не знаю сколько байт под нее отвести хранение видимо но с тоном точно хватит как оценка снизу сверху точнее на
00:08:28 - 00:09:42
сохранение ссылки да почерк не лучший но я думаю но это терпится идет 100 байт на ссылку и сам html она видимо в килобайтах уже скорее измеряется там скорее порядок будет сотен чем тысяч я сейчас не знаю что -500 будет что-то между вот соответственно можем оценить сколько памяти на в принципе потребуется на все это дело хотя бы просто чтобы это хранить в каком угодно формате вот я думаю ссылками даже сейчас можно пренебречь потому что понятно что байта по странице килобайтами почти ничего не будут ставить я смою 7 500 килобайт
00:09:04 - 00:10:26
умножим на 10 миллиардов то получится и сложно как сложно килобайт это добавляет два он было два нуля и пятерочку но я хочу буква просто выбрать хорошо ну видимо это получится и тобой да кстати как 5 таблеток вожди просто три по три зачёркивая и каждый разбавляя мегабайт и пять петабайт получишь нашу они килобайт не байте на не байт и так у нас есть 5 тыс и тщательно 10 12 пойдем погнали 5 на 10 12 ну 5 10 и 12 надел на 10 в 9 этаж томи говорит и до 10 9 это дико пейдж в килобайтах можно мегабайт а
00:09:52 - 00:11:27
ну окей ну уберем три будет мегабайт до вы берем еще 3 0 будет гигабайт уберем еще три будет петабайт а дальше не знаю какой она ведет поэтому пусть будет за игры меня не нравится иксов мы просто так с лишними как то получится так что вот так вот эти 5000 потому что в этом математикой у не могу ошибиться и скорее всего же пусть но это арифметика я бы сказал там арифметика дыма даже на ты помог хорошо вот окей мы оценили данные которые нам точно придёт сохранить хотим текст long ago вопрос вот и сказал что по сравнению с
00:10:39 - 00:12:03
этим можно пренебречь ссылками нужен этот записать epam на будущее сколько нам это скорее всего потребуется будущем чтобы условно поиск по ним осуществлять и так далее просто именно вот хранение на диске чтобы просто лежал и это бы не понадобилась эта компания нашу удалить или меньше чем 1 тысячи но если у нас с тобой это это получится с тобой умножить на 1-е в 10 и тут уже байты это получается один петабайт как раз кажется нет хоть это и ошибаюсь нет не ошибаюсь у меня уши боишься но все равно
00:11:20 - 00:12:27
много получается но по сравнению с 5 тысячами [музыка] ссылки согнуть старой скорее всего придется на с вами страницы html так вот дальше а как кроули работает он постоянно ведь собирая информацию а вот расскажи мне как бы ты сделал то есть это хороший вопрос из я услышал то в начале скал bffs надо просто вот это тоже наверное так pfs или dfs но каким образом обходить даже если мы вот только начинаем например да и даже в каком-то любом моменте если мы будем использовать dfs то мы скорее всего просто углубимся
00:11:55 - 00:13:12
в какой-то но в какую-то домен на область условно увидим на сайт по медицине будем дальше если медицинской обходить и наверное учитывая если для поиска делаем например чтобы индекс потом это отображало были сбер девайсы потом отображали взаимодействие нам бы хотелось бы покрыть большое количество гостей поэтому мы используем вот если напишем bfs вот но и если брать bfs как то что вот мы посетили какую-то вершину то есть верил и больше в нее не вернемся это может быть неправильным наверное потому
00:12:36 - 00:13:38
что сайты меняются появляются в том числе новые которые мы возможно сможем за индексировать только с помощью старого сайта которые уже обошли поэтому наверное вот именно наивный bfs обошли отметили больше не возвращаемся на не найдено то есть это какая-то его модификация как минимум будет на который видимо стоит остановиться потом уже после описание системы чтобы сейчас времени потратить ну если это будет интересно тебе вы слышите на дефекации бы фас я записал вот макей мы поняли сколько данных мы
00:13:08 - 00:14:16
поняли примерно таким образом собирает то есть начинаем с каких-то ссылок идем по тем ссылкам которые которые упоминаются в этих html к которому изначально открыли и куда-то складываем пока не важно куда скоро определимся куда и каким образом вот учитывая такой объем данных наверное встаёт вопрос о том как быстро наш краулер должен работать хотя бы потому что данных много тут у нас есть без миллиардов страничек ну да вряд ли минут за пра пра обойти за какое то наверное разумное время ну да но при этом чтобы
00:13:41 - 00:14:52
это не сказалось условно на качестве сохранения данных ну то есть чтобы вся система работала но при этом время был адекватное там на скачивание 500 килобайт кажется не должно тратиться очень много времени ну учитывая текущую скорость соединения военном доступным но опять же наверное зависит от сайта который мы выкачиваем но условно если мы будем по 1000 страниц в день это мало по миллиону наверное тоже мало хотелось бы больше и наверное ото дня стоит вообще отойти и перейти к секундам скорее потому что при таких объемах более
00:14:17 - 00:15:26
показательно будет ли вообще кажется в семье 30 секундах если мы будем ходить миллион в секунду кажется что это хотя бы ну сколько это нормально поэтому наверное нужно стремиться к этому а то и увеличивать но пока остановимся на миллионе можно понять сколько нам секунд понадобится чтобы обойти все учитывая что страницы изначально предполагалось что ну пусть будет 10 миллиардов здесь миллиардов страниц если мы будем обходить миллион страниц секунду то на бот всех страниц если мы предполагаем что новые страницы не появляются и мы не
00:14:51 - 00:16:03
будем возвращаться кожи к тем страницам которые уже обошли то нам понадобится как минимум получается вычеркнем шесть нулей 10000 секунд если они отжимаются верно это звучит неплохо потому что в сутках если я не ошибаюсь секунд побольше в часе 3600 ну значит точно больше до 80000 или что то около этого получится вот так что мы обойдем это даже за хорошее время ну а теперь смущает то что мы это все сможем так быстро быть и и какие может вести но для этого потребуется хорошо какие ну окей если мы на до 10000 секунд и 1 миллион в секунду
00:15:27 - 00:16:54
за секунду с у нас один миллион страниц секунда должен обрабатываться то как минимум на скачивания всех этих страниц секунду будет уходить нарезать такую оценку на страницу вы с нужно знать что это в 10000 раз меньше чем вот это кстати не 10 кажется как билось ты тяжелее здесь по более жир на 10000 скачиваешь в секунду правда от всего 1 да да все в день 1 десятитысячной получается вычеркнем здесь 3 0 так вычеркнем так можно еще один ролик получим 500 терабайт а то есть звучит как какая-то очень хорошая скорость даже если мы
00:16:11 - 00:17:42
будем это скачивания как-то распределять по серверам а их у нас будет несколько скорее всего не один поэтому я думаю оценку с миллионом можно изменить у меня кто-то оценка это оценка то есть мы сможем почитать сколько нам нужно под эту оценку правда ну возможно дальше потом уже ткать но что-то слишком много машин мы хотим скачивать в x раз медленнее так что нет никаких проблем с оценкой я не вижу текучую ты про всегда может сказать делаем здесь раз медленнее или в x раз медленнее но скорее всего
00:16:59 - 00:17:58
помедленнее будет ну давай иди давай оставим до сейчас вот хорошо 500 обойти секунду наверное стоит понять ну сколько например хорошо вот мы хотим определиться например с количеством машин которые будут одновременно этого кочевать мы пока не говорим о всей архитектуре мы на просто выгрузка страниц сколько машин могут выгрузить одновременно 500 терабайт за секунду сколько в среднем наверное если взять угловые сервисы эколаб которым я хоть сколько-то пользовался то там скорость 50 мегабайт в секунду хорош выкачивания
00:17:28 - 00:18:38
ну да потому что они со своей уже серверов качают нос google drive например вот вряд ли со всеми страницами так получится я думаю можно уменьшить до 5 кажется это почти везде доступна уже пять мегабайт один сервер яз выкачивает вот соответственно чтобы одновременно столько выкачивать она бы потребовалось пятерку скрутим мегабайта терабайт и порядок миль или миллионов даже 100 миллионов 100 миллионов до многовато но оценка есть оценка так больше найдя из этой оценки можем понять что для нас реально что нет вы
00:18:03 - 00:19:30
500 миллионов нереальны там кем бы мы не были даже вы имеете наверное столько нереально это перебор бы был его сколько сократим если возьмем 100 тысяч например так кажется все равно многовато можно 10000 оставить кажется это можно себе позволить какой-то крупный гигант но возможно и 100000 может вам сможет позволить на 10000 па карамель и уж точно я не знаю весь тут смыслу чиркать наверное учитывая что мы об этом как и будем дальнейшем сказали построен на пин и пиши просто сколько ты считаешь .
00:18:51 - 00:19:51
какая скорость но заменим петабайты на гигабайта это сколько убрал это я убрал тысячу ну вот здесь тысячи вот здесь еще два стёр получается 100 тысяч пятьдесят терабайт серьезно ну кажется я 100000 серверов до 100000 серверов и изначально было 100 миллионов я скрутил в тысячу она пересобрать далеко добрались обратно возмущена запнулся немного то есть пропускная способность совокупно у нас будет ты ты ты ты ты ты стюарт 500 до байта в секунду и вернул 500 работа в секунду а там были терабайта в чем смысл говорит
00:19:23 - 00:20:45
это звучит лучше да я следующую размерность сразу перешел бы вернулся к прежней так в 100000 серверов да я даже про 10 а ну да я стёр нолик видим потому что 10 doom я предлагаю на 10 остановиться все-таки в дела не против и получить 500 гигабайт как соответственно сколько секунд тебе за что у тебя затронет это изменение ну суммарное время выкачивания всей базы если было 10000 секунд я скользил точнее я увеличила это время в десять тысяч раз потому что скорость уменьшилась 10000 раз старая нолики видимо
00:20:07 - 00:21:25
да это получится большим 100 миллионов кажется видите 10 тысяч на три часа по часам если в сутках у нас 80 ну в среднем не всей дури чего это три часа почему 33600 на triumph tree 600 на 3 умножить на 10000 11 411 4 а ну проще такая просто когда отсюда надо исходить из мы считаем на просто цифра кажется будет не три часа порядками три с половиной минуты изначально я была цифра это что за три часа все сказать 10 секунд все скачиваешь правда а ну а я сейчас разговора начальницей в да ты уже почти
00:20:46 - 00:22:09
соответственно тебя эта цифра увеличилась 10000 раз до соответственно будет 30000 часов не просто разу исходил от будущей цепляет их часов это что у нас это 1000 суд кажется ночью 2 года мода я три года многовато ну можно вернуть здесь нолик видим 0 3 года тоже наверно год но с другой стороны мы вряд ли все-таки хотим мы быть и все прям вообще все сайты какие то мы можем вызывать он входит тогда [музыка] возможно оценка скорости не верна и тогда в какое-то количество раз можно повысить на я думаю что это и так оценка
00:21:28 - 00:22:48
сверху скорее чему снизу свернутом не а десятках наверное речь идет но учитывая тоже все страницы разные по способу ну то есть iping какой ты есть когда могут открываем страницу этом информацию появляются при среднем я думаю примерно так выйдет сколько connection of сервер можем держать ну владельцем вообще может даже десятком эфирных максиму параллельно то вообще можно забыть обо всем да тогда цинк совсем не оправдывать но кажется речь все-таки тысячах и десятках конечно попробуйте стороны зайти а ну если у нас
00:22:09 - 00:23:18
здесь . нынче на ноже мы мы же можем скачивать много страниц и параллели правда брали даже от ведь даже если мы каждую скачивая медленно но мы все делаем параллельно у нас какой то там уже можно дата-центре быть у нас подведена какая-то оптика как тоже все люди в мире использует интернет а если подумать у них большие животные как-то инфра существует на это ну да ну если мы скачиваем про лента все равно скорость это вообще не не изменится на ночь нас может указать скорость будет больше 5 мегабайт то есть озорные на домашнем
00:22:44 - 00:23:46
пока работаем этот наверное же описал 5 мегабайт и сказал что скорее всего мы не сможем вот когда ты если я не ошибаюсь возможно я не прав это сказать многое секунду мы не сможем быстрее сайт скачивать ну вот и так скалу какой-то определенной не дают нам одну ну хорошо если мы будем скачивать но до 3 сайтов со скоростью мегабайт секунды у нас общая скорость какая 5 мегабайт или 1000 ну если мы можем с вами построить архитектура так чтобы было не запостил построили connection и разные мы же можно поразить connection и пихать да но
00:23:15 - 00:24:24
мне просто скорее тут мешал наверное мой возраста что я работаю с у им пока который так не очень выстроить можем так да просто мы видим и деньги у нас есть поэтому можем фиксировать ему лап лап розовый сервер может держать много connection of parallel ну да еще может с этими капюшонами что-то делать правдой но использовать одновременно ближе можешь один сервер использовать для многих клиентов до а могу все connection и под один бак какой-то большой файл упустить наоборот мы здесь от не нужно соответственно понимаешь что можем до
00:23:49 - 00:24:50
новый connection удержать параллель с каждым из них цифры какие-то действия ну тогда видимо от мегабайтов можно перейти гигабайтом я просто честно не сами может ли не оставлять на но предполагаем предполагаем что дети 5 гигабайт в секунду мы можем построить так чтобы один сервер держал вот таком предположении но пусть мы вот гигабит я помню еще я был ребенком были уже возможности гигабит и передавать секунду 1 гигабит не гигабайт и конечно но budget бита восемь раз отображается но пусть это будет у нас 125 мегабайт в
00:24:20 - 00:25:32
секунду но да да наверное с учетом того сколько времени прошло она наверное прошло с этого времени можем рассчитывать на такую скорость окей 5 гигабайт секунду соответственно три года превращаться в день ну примерно в день там плюс минус то есть навык 10 тысяч серверов 10 литров по 5 гигабайт в секунду используя вообще все connection и которые у нас есть a scoop collection of на держателю в таком случае тысячу если наша оценка на один документ было изначально 5 мегабайт так пастбище у нас было пять мегабайт и
00:24:55 - 00:26:11
сколько документов у нас скачалось за 5 мегабайт в секунду ну мы я вообще говорю что скорость выкачки у нас 510 лошадок у меня 500 килобайт если 5-ку за секунду до 10 значит сейчас это пять из десяти седина сейчас 10 но я просто исходил из тысяч банок же на флаге ну на самом деле кажется что нет потому что ну вот скачали какой-то файл ну ну как но очень 1 канале она просто в эту секунду использовать под разные файлы выкачали один туда через него качаем другой и так далее то есть одновременно открытых кажется может быть на самом
00:25:34 - 00:26:55
деле и тысячи просто учит одессы каждый connection может за секунду выключить по 5 мегабайт то последовал платеж то есть по сути у нас скорее тысячи collection of any действие опять же в таком идеальном мире и надеюсь я все-таки оценка сверху ни снизу на 500 килобайт в это сильно сверху значит даже меньше конечно я доказал это раз в десять сверху это наши оценки мы же так вы могли посмотреть зайти в гугл и набрать средний размер и стиль стране надо хотя бы не на 1000 раз ошибся это неплохо ну да да ну соответственно
00:26:14 - 00:27:28
реальной жизни бы даже меньше потребовалось но при таких оценках получил что тысячи конечно вот эти ну то есть получается мы в принципе знаем какая мощность нам нужно мы знаем что нужно 10000 я подписал кажется 10 минут остёр 10 машин то есть ты говоришь он уже десять тысяч машин да то есть если одна машина ломается система ломается почему мы пока просто говорили о том как весь процесс устроен мы пока говорили сколько в идеальном мире нам потребуется одновременно тачек моя вина согнал битвы качество главе принят принят архитектуры
00:26:54 - 00:28:04
видимо сейчас принято принятым в этих поняли сколько нам тачек можно теперь окей ну то есть можно ли нарисовать съемку какую-то вот погнали что у нас есть нас но в любом случае из мы рисуем какое-то количество точек 10000 данном случае действие чем сотни могу ли но 4 и скажи за 2 500 отвечает вот поставим нас нету кажется явно вы клиента в данном случае ну то есть условно пользователя которые к ним обращается но при этом иметь какую-то голову которых может и синхронизировать между собой понимать что одна тачка
00:27:27 - 00:28:50
например вышло из строя и стоит продолжить возможно было бы иметь неплохо ну то есть пока что просто и и нарисуем возможно потом обойдемся без нее я не ну то есть время сна этом сложно это назвать своей маме наверное так принято в общем от какие-то точки которые как-то подчиняется может бала бала бала на баланс ну вот bouncer празднуем какой назовем это мастера остальные непонятки да вот если они выкачивают ну предположим пока что вот эта часть она работает мы не поговорили о том как у нас ну отказоустойчивость работает канал броска
00:28:10 - 00:29:29
застой чуть . грим потом пока закончил сервис у нас еще сервис не закон сервис не закончена не пока что умеет только выкачивать данные год ты сказал что есть начальный набор страниц правильно да есть начальный набор страниц которые что мы можем сделать на самом деле каждый имеет смысл ну учитывая что у нас 10 тысяч пачек возможно нам стоит взять самые популярные страницы которые наверное кто-то до нас даже уже собирала они просто известный где-то лежат для русскоязычный сегмент в язычную неважно мышц равно под какой-то
00:28:50 - 00:30:02
конкретный язык строим наверное этот краулер сейчас они под все сразу вот и возьмем самые популярные страницы например и на каждую из этих машин и выделим по одной из начально вот постараемся чтобы они были разными и каждый из этих машин может например стоп давайте запускать поиск по вы сейчас насколько это хорошо ok либо каждая машина держит себе изначально я горел с которых она ходит на другие либо например каждой машине но то есть как у нас может выглядеть систему мы можем дать машине грн который
00:29:25 - 00:30:36
надо обрабатывать она скачивает html уберет из нее все ссылки которые встречаются возвращает обратно эти ссылки в какое-то общее хранилище как определяется вообще в хранилище какую командовать ну ну это скорее ну видимо разговор а вот балансиры ну то есть как мы можем делать мы можем смотреть какие то очки у нас сейчас вообще доступны например которые могут ответить на наш запрос который мы им отправляем цель которого выяснить доступные тачкой ленин вот и если она говорит что да и она в следующем но мы их как-то
00:30:00 - 00:31:05
упорядочили оснащена если тачка доступная на следующие в очереди мы можем ей это отправлять какой минус в этом всем этим мы отправим точно на доступную тачку ну возможно она очень загружена в этот момент это было бы не очень хорошо можно ну то есть это раунд робин робин называется если она живой с такой схемы вот просто распихивать родинку он вроде последовательно идет сутки с ремонтной тоже кажется примерно в данном случае нагрузку не то не то бы не учитывал никак вот можно как-то взвешены это делать кажется условно для каждой из
00:30:33 - 00:31:51
этих ну для каждого из этих серверов так не есть минута дни у нас ссылки хранятся это м это м хорошо ну то есть они возвращают новые ссылки в d&d мы он их распределяет и так хорошо вернул ссылку что еще нам нужно ну только возвращать ссылки недостаточно нам бы хотелось и текст документа качество сохраняйте ну точнее куда-то вкладывать почему потому что просто индексировать ссылки пишется бессмысленны то есть если мы строим поисковик мы бы хотели понимать что запрос вообще релевантен там построить
00:31:12 - 00:32:12
какую-то модель и машинного обучения на этом который определял бы релевантность поэтому текста нам надо куда-то складывать пока что мы их никак не складываем мы просто сохраняем все ссылки которые уже у нас были и при этом мы никак не учитываем ситуацию когда у нас ну из разных из каких яйца трупы там с каких-то двух разных сайтах вот на этом встретилась ссылка на википедию например на этом ссылка на википедию мы два раза ее сюда тренеры нужно подумать о дедупликации да ну исполнено моет назвать по видимо эти дуб река вопрос
00:31:42 - 00:32:47
отыскал сохранять документы правильно то есть ну была такая free надо хорошо звучит разумно документ сохранять ссылки это будет как выглядит ну сохранять мне в.м. естественно штеменко нас будет какое-то хранилище учитывая о чем мы поговорили кстати мы поговорили о том что на сохранение html и к нам потребуется печь петабайт вопрос кажется это на порядок больше чем может выдержать 1 ну и squier база данных любом но мы в любом случае не кидали эти маленькие бы скорее то есть ну условно и не ну какой то
00:32:14 - 00:33:26
новый скин база должна была порядками потом от одного до десяти вроде петабайт при оба иска и д ну условно как-то ну green поможет это новостей смешиваясь букину горин по 1 1 дипломата уже распределена china но уже распределенного проверяется ожидает ты имеешь ввиду под диски реляционная база данных атенаис келли можешь но эта абстракция уже работают и запрашивает правда да ну это abstract реализованное в d3 лицо у меня понял не реляционная нам нужно бездарным сунул секунд на усекла которая хранит например там
00:32:50 - 00:34:00
колонки а не таблицы сразу что можно использовать ну в ходу кажется это запросто поместятся например которых машина нужна сколько на одной машине лежит ну все хранится на жестком диске у нас какой объем жесткого диска может быть учитывая что она ну возьмем наши компьютеры там может быть спокойно терабайт бантик учитывая что это будут не компьютера какие-то но я не знаю 10 терабайт наверное точно на одном на же не может лежать соответственно нам еще здесь понадобится кусок кажется если правильно молитесь за
00:33:24 - 00:34:35
раба это умножаем на 1000 получаем 10 петабайт правильно audi 5000 на 510 терабайт умножаем на 1000 получаем сколько 10 петабайт а у тебя 5000 петабайт а я умножил привода 10 до разгореться на порядок ошибся снова я не люблю арифметику как уже наверное стало понятным из получается чуть сот тысяч на многовато ну наверное оценка с местом все-таки не вернее но в любом случае мы храним на hd деяния новелл опросе вот мы начали про место нам а может такое быть что одна и та же ссылка это один и тот же сити молл
00:34:00 - 00:35:19
документы разные ссылки это 1234 документ но делала всякие то ну и зеркало и кажется просто условно русский язык ссылках это все подпортит из моего ну условно вставим сначала в адресную строку то тех сильно изменится но там процент podria и нас может быть больше нас уникальных страниц у нас есть еще вникали ных материалов меч может такое случиться то есть наверное подумал про количество то есть у нас пять тысяч петабайт 5000 петабайт мы делим на терабайт получаем 5105 так допустим нас есть 55 тысяч
00:34:40 - 00:35:51
петабайт для того чтобы 10 таро байт в это превратить если мы на 1000 умножаем получается 10 петабайт а еще 500 до 1 машина 1000 но если царапает 1000 машин это 10 bed or white 500 г а нам пять пять тысяч пятьсот тысяч получится мне кажется уже обманывай несколько себя здесь и рифму на года многовато но опять же если оценка здесь все таки сильно меньше то это в какое-то количество раз но в 10 условно слышу 1-цы и будет уже не 550000 так кажется в дата-центр такой может поместил нас остались еще
00:35:19 - 00:36:35
репликация будет какая но в три раза бы например стандарты обсе от тыс но до плит дубликат у нас же могут быть могут ножи если мой них н ну то есть вопрос сколько их может быть какое число от общих ссылок который мы раз парфюмах может быть кажется что все-таки там непорядок половины будет это скорее 10 части на примерно в таком то есть мы несли не сократим это место в разы я не думаю что мы сократим это место в разы но кажется за счет более точной оценки здесь мы бы сократили в разы у нее уже есть ралли закрыть или на мы уже
00:35:56 - 00:37:03
сократили скорее всего очень много будет не популярных сайтах на которых мало информации например лежит ему еще в десяток раз здесь сократились до грустью можем поставить каждую машину по рейд массивы из многих дисков сделать это 100 терабайт но же жёстким ну да жесткие диски дешевые как минимум поэтому мы можем себе это позволить учитывая что мы позволили себе уже вы здесь мы шли на ускакать меньше памяти и естественно можно стаж машин получается репликации но я думаю даже еще раз пять можно сократить за счет оценки stretch как мы
00:36:29 - 00:37:34
уже это учили нас вместо нас было запечатать его сначала 5 нас было сначала 500000 до потом мы это сократили до 50 тысяч за счет за счет того что с 50 до 50 поля а это здесь шаг проиграл день мы умножили на 3 потому что репликацию доказал 30 стал 150 тыс и уменьшили еще в 10 раз за того что не 10 to buy the 100 видимо стало то что не можем 10 жестких дисков среды ну предположим что можете свободно 15 машин ну это кажется более реально учитывая что они не будут слишком дорогим потому что это же день ее ssd
00:37:02 - 00:38:20
какой-то ну кажется такой может себе позволить ей пока дальше нам у нас бьет с этим заметить у нас здесь тысяч машин нужно было на connection ну порядок тот же расстроить прям хорошо получается она до учитывая что мы выкачиваем здесь одновременно по тысяче условно страниц на каждой машине мы можем одновременно эти страницы и сюда отправлять и нам хватит машин для их обработки но точных данных шин бы не мы просто это делаем ну да какая она скорость записи кстати на жестких дисках там кажется порядка
00:37:40 - 00:38:45
вот она не больше сотни мегабайт если не ошибаюсь ну кажется что точно не больше скорее всего даже меньше на какой-либо рядами 10-100 наверное мегабайт в секунду а мы записываем и скачиваем сколько мы написали но и скачиваем одновременно 50 гигабайт в секунду или 5 вот видишь как важно писать корректный мы же ничего не помним это правда тут четно клякс как по 5 гигабайт секунды было возможно 5 потому что мы взяли 5 мегабайт умножили на тысяч она у нас машин 10000 до был весь миллиона сначала стало 10000 mah из 5
00:38:13 - 00:39:34
мега брата до 5 давай я не плана давай возьмем оценку в 5 до работа с доской сейчас не мои сильные стороны явно очень если 5 гигабайт секунду то ну окей у нас скорой записи если возьмем 50 просто чтобы билось по числам красивы 50 мегабайт в секунду скорость записи на действовал 50 мегабайт хорошо но ну кажется сейчас больше ну ладно я честный ладно он знает о распечатывать секунду оценки сверху это лучше чем вот снизу любом случае ну то есть принцесса я стал жестких там дисков по терабайту это это выражает вижу параллель
00:38:53 - 00:40:13
но такой скорости точно хватит чтобы это про bot plus minus создать запасы и цена до а если здесь чисел на самом деле побольше то тем более хватило бы вот ну то есть мы можно считать что мы пока в каком-то виде описали как мы храним но мы описали сколько нам нужна машина что у нас степени реки по и до сервиса пока не вижу ты садись за до этого я просто к тому чтобы они чаще да ну то есть можно наверное какие то линии здесь нарисовать что вот у нас есть одна мастер наводила балансер как угодно и наверно может
00:39:34 - 00:40:41
назвать это смысл не изменится у нас здесь хранятся ссылки сейчас попробует как-то аккуратно у нас каждая машина возвращает у нее новые ссылки которые ну пока что возможно ещё какие-то блоки появится пока что это так то есть ссылки которые были эти машины возвращаются сюда снова здесь какая-то очередь у нас например хранится в которой находится в случае bfs окажется да получается очередь чтобы это был bfs сетки ну с какими-то его улучшение насти все очередь из которой достаются и ссылки отправляются сюда вот эти все
00:40:07 - 00:41:21
линии пока что ссылки вот что мы добавили сейчас мы добавили то что html файл у нас тож куда сохраняются соответственно нас есть какая-то база данных я не буду здесь рисовать много кубика все равно условно им уже прорыв из работает через мастерноду из равно бы стрелочка платно вот так поэтому у нас ешьте мальки отсюда сохраняются на нее ну в эту базу данных вот наверное но кажется пока national мы это вполне вытянем потому что у нас мы здесь можем все ссылки например сразу отправляется с помощью одного connection
00:40:44 - 00:42:04
а потому что памяти немного на это требуется и свободных хватит чтобы одновременно отправлять базу данных h темрюке а базу данных маковку как как мы и будем ждать и будем будет представлять этот одна машина много машин так мы же сказали что у нас она поехали ногу машина поверх этих же машина то просто какая-то сущность настроек ну у нас есть мастернода которые распределяют уже по вот этим вот машина такая сильная мастерноды которая точно не упадет а на случай если она упадет у нас есть ее дубликат держит 13 тысяч машин
00:41:31 - 00:42:38
вы кажется так работает ведь все же dfs нет или там порядок игровой как мощно схема есть какие-то ну допустим у каждой семьи с нами к лимитирования хорошо 15 держит а 15 миллионов держит 1 мастернод connection особенно машин 15 миллионов не удержит то есть есть какой-то предел оправданного пределов ты hadoop кластер какой был сам большой жизнь ужасна лба и сколько x5 я захожу к для знания знаю сколько ну наверное порядок и такой же нет больше меньше я просто не могу представить сколько весит все эти таблички сейчас и сколько
00:42:04 - 00:43:17
у них сдан порядок но он в петабайтах на него эксабайтах скажем так она все-таки десяток раз меньше хотя бы возможно ну скорее всего ну понятно тут одной машины бы не хватило просто вопрос как бы мы это все распределяли тогда по нескольким машинам встает то есть получается если мы хотим одновременно большее число connection выдержать чем 10 тысяч которые наверное существует машина которая позволит нам это делать что можно сделать можно сделать сразу какой-то алгоритм по которому ну условно наши запросы на сохранение
00:42:40 - 00:44:02
разделяются по у мастернодам которых несколько и которые синхронизируются между собой каким-то образом при этом что мы хотим от этой синхронизации нам в принципе важно чтобы мы не записали ну у нас есть несколько мастернод что может случиться они могут одновременно выделить одно и то же место на жестком диске под запись и тогда произойдет беда какую-то html q мы потеряемся вот и наверное учитывая что если мы вождём орды 8 можете фст учитывая размер блока там 80 мегабайт хранить html и отдельно это просто невыгодно сильно
00:43:23 - 00:44:32
поэтому в случае с берем уж dfa100 точно придется их как-то сжимать условно в одно целое и кажется это очень сильно отразится на эффективности всей нашей системы которая поверх этого будет построена поэтому базы данных наверное все таки будет между fs и где честно не могу предположить какая возможна нож dfs отвращение база данных если уж ты говорить над файловой системы ну я имел разработка gt3 он является hadoop дистрибьютор цистин я просто как-то начал это говорите только сейчас понял что говорит что ты метода служб ночь
00:43:57 - 00:44:59
имелся ввиду hb из которой там есть например вот кажется что в таком случае это будет просто невыгодно наверное ошиблись внутри себя умеет это менеджеры я предполагаю поэтому можно пока остаться на это уже вот так хорошо в общем что мы хотим этот синхронизацию между мастернодами чтобы они не выделяли одно и то же место на этих машинах чтобы не было потерь и файлов можем ли мы это добиться ну такой не очень хороший наверное случай что его вот я с ему выделили место и видим что там уже что-то записано мы возвращаемся обратно
00:44:31 - 00:45:34
говорим выделить другое место и она выделяет но кажется от может какой-то бесконечный процесс потенциально перерасти и будет тоже не очень вот если мы кажется что и синхронизировать на самом деле не так дорого между собой именно в нормальном смысле что выделили место сообщили всем другим и так это менеджер ведь кажется что на десятки машин это не слишком сложная задача все-таки нужны десятки машин ну мастер машин ну хорошо то есть на таком варианте ну какой-то более полной синхронизации между матисса
00:45:05 - 00:46:08
машинами можно остановиться пока что я еще не уверен что здесь нужно мастера машина она только здесь можно какой то боль элегантное решение найти новый словно у тебя есть ссылка правда то есть ты ссылку можешь что как-то за хэшировать и знать на какой машинки сидеть и то есть вопрос у тебя сейчас лежит в области парте церовани я сейчас постоянно были как проецировать как протиснется скорее ты пытался протестировать через мастера какой-то который будет говорить куда что кому хранить куда кому идти но просто я
00:45:36 - 00:46:29
скорее приметы информацию даже говорила файлах ну хорошо файлы . по файлам наверняка как пика хранить связано с тем какую ссылку какая машина обрабатывает но возможно они сами разберутся просто с этим да скорее есть наверное какой то но ты раньше ну у нас остается 5 минут так что я предлагаю сесть поболтать его общую посадить который возможно даже не пойдет в интервью но значит мы будем конечно разбирать те совет который деда мне понравилось понятное дело что да не сетевой инженер что здесь возникали ну и в целом
00:46:02 - 00:47:14
какая записку на общей полезно знать какая запись скорость на жесткий диск на ssd диски я смутно помню в оперативку какая скорость записи правда ведь это же на эту важные вещи это важные вещи это на нужно знать какие жесткие диски бывают нухок какая скорость connection а может и сколько можно скачивать тоже принципе универсально тоже какой бы ты сервис не делал почти все сервисы они с интернет мира взаимозачета заканчивать арифметика арифметика но сам понял мы там потеряли забыли что-то 10 тысяч сто тысяч вот это
00:46:38 - 00:47:44
это вообще можно просто зафиксировать понять что доска нужно наверное побольше ну может быть и такая доска но вот этот полезно по поводу теперь структурно нужно было продумать сначала какие-то сервисы нужно ты их не проговорила ты уже начал рисовать потому что нужен сервис который 1 деду гликация ссылок нужно ну вот искал нужно начата сервис а он наверное как то что это хэш таблица в памяти оперативный лежит смотрит было не фильтр ему какой-то применить фильтр в науке мы не проговорил что есть такая часть 2
00:47:11 - 00:48:23
сердце где дупликация html ну разные страницы могут иметь одну и ту же структуру и но нужно смотреть дальше третье хранение ссылок хранение чтим рбк осуждаем как что есть потом собственно те которые скачивают серебра шину ну вообще понятно опять же пенсионер на есть такой файл robots.txt то что что нам нужно какие то вот вещи которые мы нет не нет необходим какие-то исключения которые мы задаем какой-то фильтр может не может наша собственная короче фильтрация через robots наш собственно ну типа пиратские
00:47:46 - 00:49:04
сайты но да допустим очень запрещен к всякой для нас но она всегда здесь есть то есть его вот теперь у что то возможно еще но дальше url а нам url то нам зачем wtp www и вот это все надо меню не сильно сэкономила место кажется мы просто не подошли к хранению самих силы но это все равно это это за канал бы кучу времени кроме того я хочу сказать что я мог сказать король лир и степик роллер ftp и так далее то есть это позволяет делать модуляр ную структуру потом беря то что нужно ftp то есть ты кладешь в втб
00:48:28 - 00:49:48
хранилище , лишь тихо не жди меня зачем тебе хранить эти лишние байт этот тебя уже один петабайт на ссылках наверное хочется держать оперативки что быстро детализировать если ты это может сократить в половину и на самом деле конечно оценка 100 байт для ссылки на среднем но 100 символ это многовато вам реально порядок 10 байт среднем то особенно если ты убираешь но сильно а еще ты можешь убрать до домена что это руку мы так далее еще протестировать поэтому выше знаешь что в этой частью ну допустим это же такие то есть вот как
00:49:08 - 00:50:13
только у тебя появляется картинка сервисов с которых она стоит и начинать 6 потому что сейчас началось с этим у папы оди дубликат ада нужно дедупликации я там ли тэ ika дальше вот это мастер нотке вообще по мне нужно тебе нужен список ссылок и дальше вопрос где этот список ссылок хранить если он достаточно маленький чтобы резать на одну машинку до несколькими что на полу кладите в кафку пусть каждый дергает из нее либо в порядке живой очереди либо но дело какой-то consist in teaching то есть ты просто эти ссылки и
00:49:41 - 00:50:43
следующий сути хранишь ты же можешь гадить нюхаешь причем причем ты можешь брать с двумя частями ты можешь брать хэш например только от от основной части чтобы все под странице хранить на той же машине те в принципе ну но это было бы удобно для дальнейших отработаны в 1 товар дальше bffs какие плюсы dfs dfs плюс в том что ты идешь по той же странице потому что корейцы он они будут ссылки на нее а это быстрее и тебе не нужно делать каждый раз новый хан шейки ты тоже идешь к этой странице к нашей к это но короче ты не инженер я
00:50:11 - 00:51:26
должен тебя ты устанавливаешь connections ты уже со страниц на вилка наша задача поэта пассируем также по нему идешь но представьте обрушился на машину ты ешь папки c в папку c windows c windows systems ты уже на машинке не нужно каждый раз заново к машине подключаться какие-то говорить кто ты такой чтобы они проверяли ну словно каждый раз и все спарта создавала давайте постреляем абсолютно верно то есть но это ладно я такая мелочь то есть хорошо что искал bffs это произошло то есть нет понравилось
00:50:49 - 00:51:45
арифметика арифметика но тут просто почему она это повторить потому что такая очевидная вещь и нужно вот вот вот 5 вещей выучить запись на и создай hdd memory скорость скачивания сколько конечно держит машина это вот в любом дизайне это нужно но это не изменяется 1 месяц поэтому зарубил магазин и пять цифра засунуть то есть а потом дальше ты многое времени тратил на ненужные операции если мы уже посчитали для 10000 дальше гамета три часа четыре часа ты говоришь окей ну потому что это ближе к трем часам новый
00:51:17 - 00:52:31
год действий ставишь а мне нужно тысяч раз больше время чуть выше 3000 часов все еще начинаешь заново зачем затем все три три часа в тысячи раз больше 3000 то же самое 5 гигабайт ну вот даже на 10 миллиардов материале какое то время но возьми то пиши тысячу каждый разделить тут в 10 7 габарит килобайт или что-то решил сразу это проскочите на этом но хороший видно что готовился ну и попытался во время которой был готовился хорошо мог по какие-то вещи опять же пока ты это не поделаешь это вот одно
00:51:54 - 00:53:00
дело готовится другое дело стать у доски первыми но мой тебе совет прежде чем рисовать структуру сервиса ты должен проговорить а мы не проговорили мы не записали . какие из каких частей состоит то есть вот так мастер мастер ну нахрена деятельность ну я скорее к самому устройством по да и здесь подходил счете буду где каждая машина может принципе напролет реплицироваться но я просто не так много знаем двух устройств вязаные условно как hd is хорошо устроен знаю что есть мастернода но даже не от бориса условно
00:52:27 - 00:53:37
green pan поэтому исходя из вопрос как как делать хэш над нормальное проще но в целом нормально мы тебя разберем конечно косточки переживай так все я полагаю на этом заканчивать поселите что посему шоу смелость достойно жди твердит больше 18 ну eurosit dash указу мало и фильм у нас там есть школьника казалось нам нужно его разрешение разрешения у родителей получать чтобы он в общем здорово я считаю хорошо если ты считаешь не хорошо это не так ну иди скорее с точки зрения польза для себя это оцениваю она держится позже
00:53:01 - 00:54:18
рассказ на камеру точно ничего не может быть мира ну и плюс ну вот хорошо видно что ты понимал о чем идет речь но ты уходил опять же какие-то очень глубоки и счету пошел мутко и здесь его нет это хотят 6 минут про это говорил я всего 45 минут но вот на все про все вместе знакомствами за свиданий из них 6 минут потрачу больше десяти про сам на какую-то хрень dfs ну то есть можно было сказать что просто храним по машинам сказать что мы распределяем данным но единство как только лишь к ним по машинам если машина положились все эти
00:53:40 - 00:54:43
легли все вот эти бонусы больших данных там прилипли к ции честь не видел соответственно может быть мы хотим иметь какую-то главную машину и все это лежит там про реплицироваться xx 10-го оператив сохраняет куда-то а отправлять по консистенции шинку каком-нибудь год consisting of young ну по часовой стрелке когда машинки и удобные но быстро переносим данном случае нужно то есть здесь вопрос а если ляжет даже это ты уже ну просто опять вы знаете я расскажу сейчас у меня три машины не лягу всеми репликация 3 все я
00:54:11 - 00:55:14
считаю или а может быть даже эти три лягушки тогда делаем то есть ну какой-то план б ну понятно лишь сказать я считаю четыре машины не лягут но и так все говорят круть но это далее а если лягут у ну потом от лягут хотя если на них лежат какие-то важные ну важные файлы и хранились наверное все таки не в той системе которую я сказал того вопроса может быть какие-то мега важные сайты которые прямо часто размещают может быть их стоит репетировать x10 но я утрированно то есть а тут возникает вопрос как часто
00:54:43 - 00:55:53
это входить какие-то сайт наверно стоит обходить очки txt такое же например на 8 сайт это одно а сайт наполеоновских войн и продажу это может быть другое или какой-то мертвый форум по сути вот ты говорил про приоритеты говорил ты затронул тему и пошла от этого ведь сразу то есть может быть у нас 10 миллиардов нам один раз обойти отдай половину этого у нас мертвые сайта мы видим что там не меняется и мы постепенно их приоритет падает падает падает по ну то есть по сути это операция очень дорогая она
00:55:18 - 00:56:23
выполняется очень редко поэтому можно было бы сократить машину на самом деле машина является коридор уж тебя папа коля хранению все равно тебе нужно бы хранить но я между вот в этом ну хотя ладно не дешевле чем те мне до 15 весь машинок нормально это 4 6 машин на я думал машину сторону 10000 баксов стоит ночью сомкнут для большой компании усам через пять баксов машина стоит пусть это 15000 это 10 миллионов остается 15 150 миллионов баксов могут расходы одного facebook она этот copics на на железо 10 миллиардов баксов 15 15 тысяч
00:55:50 - 00:57:03
машин можно было на порядок больше то вообще ну хочу все я пожал ему руку лавинского спасибо почти ни одна женщина не правда был в группе
привет vigor привет фанеру как-то видела все отлично я знаю что сейчас работы шок спеть но ты уже мне сказал что это не надолго да куда ж ты куда же ты выходишь через две недели я ухожу в сбер девайсу именно уже выхожу на работу в команду поиска поиск ну там есть поиск на устройствах умных от веры условно найти фильм найти какой то продукт с помощью этих устройств и голосового помощника сна то есть они результ какой-то поиск по ну ладно хорошо ты а это поиск или matching потому что если на эти фильмы ты
00:00:00 - 00:01:11
говоришь какой фильм это вот надо однозначно смочить чем-то или нет или ну ладно это то детали таковы кстати ты сидела в x5 работал аналитиком ну и буду работать аналитиком девайсах on радостным ли ты работал в ценообразовании но то есть и работал с антоном денисовым да но в параллельной к команде к параллельной коммунисте другой ценообразования да есть экспериментальной среди ментальном ценообразования работал по моему борьбе за он думаем ли дом месяца три числа генри дом а кто там еще еще ну сейчас тем vip никитами который
00:00:36 - 00:01:48
раньше работал курков церковники то еще что то еще помню из x5 да но больше не знаю помнишь или нет очень тимлид некий поток никиту по уму помните даже я помог помог торис и беседовал или просто применён ого к-как ты знаешь участвовал харди миль до и даже интервью смотрел где мой тему да да так что мы можем вырезать из интервью почему ты переходишь дар девайсами интересно ну на самом деле получилось интересным не в общем стало интересно проходить по совместным где-то месяц назад подгонять какой у меня
00:01:12 - 00:02:23
уровень условно сколько я строю и на что могу претендовать как тогда поставил вилку которую мне интересно которые сильно выше чем в x5 было просто чтобы ну какой то cf изначально были подался в компании в некоторые там штук на 10 откликнулся потому что сами рекрутёры писали вот ну и я не хотел переходить но девайсы стали интересны и по задаче мы и финансовую задач неплохие там звучит интересно что таких 5 в плане что не контр оффер ну наверное он мог бы быть просто я сразу сказала что в принципе в
00:01:47 - 00:02:58
нем смысла нет и даже ничего не брала где ставил дал ли его дал бы его антон или нет вот ну то есть он тонн тарифе луком азкар есть затем антон решает давайте вы мне на ногу позаниматься этим же надоедали просто когда вы прямо к дому древний про антона мироненко не настолько которых точно мог сделать сам что все что ты можешь в общем я не знаю дал либо его или нет предложение было и про сразу отказался не имеет ну и не стали значит уже после такого когда если они дали такие же деньги 4 он перешел задач да а сколько ты в x 5 9
00:02:23 - 00:03:34
месяцев то есть я уже а ты перешел в x5 пустышку аналитиков и bряд там учился не сказал поешьте там учился когда я туда уходил мне написал явление макаров и предложил по себе скажем так ты попал в x5 времени через школу аналитик ну да есть пьяная бы там не оказался иначе не зря мы запускают со времен олеська многие вроде пришли дэш носом да она бы она крайне успешной оказалась в этом плане очень хорошие ну и сейчас магистратуре на кафедре x5 да да я буду про это кстати да я знаю это не указывал ну ладно не указывал не
00:02:57 - 00:04:07
указан слушай там вас учит сколько 25 человек 14 14 казалось больше нужно ну ладно ладно кусочек шарика что хочет x5 на другой стороны хорошо что ты уходишь хорошее место поэтому сейчас мы разрушим той репутацию глазах сбер девайса или наоборот укрепим и и многократно а зачем еще не сделаем ты наверное в курсе мы сделаем system design интервью не имел дизайн написал что ты хочешь адреналина испытать и почувствовать свои силы в принципе это развлечение потому что уже знаешь чего ты просто стоишь на рынке
00:03:33 - 00:04:42
что и походил по нему но как аналитик получился хорошего города как разработчиков другой вопрос что ты будешь делать как analytics бери потому что аналитик это очень широкое понятие ну насколько я сейчас понимаю но возможно это неточные задачи будут а б т с т в онлайне на то что на риск по сути строится сейчас будут оба тесты будут круто будет краудсорсинг радует метрики надо разметка будет это значимая часть топ поиска то божью поиски от крайне важно что что-то действительно интересное и очень
00:04:07 - 00:05:05
интересно насколько сергей марков будет далеко от тебя сбербанке сбер девайсах учитывая что я не знаю этот и сергей марков наверно далеко может быть ты передал вам привет артур то кузин ты знаешь это такой ну он все ближе работается принимается что же дверь девайс то есть васхнил где-то там высоте должен быть обще руководить это вопрос где где на какой-то уровень как бы какой ноги в конце концов у вас у всех будет грех как минимум кто вас является общим предком если мы говорим в терминах биологии хорошо
00:04:36 - 00:05:40
предлагаю перейти к задачки сорок пять минуток у нас будет даже 42 скорее ну потому что обычно пять минут на выйти церковь ходит знакомства привет я вася я пейте мысли очень больше поговорили но по непрост было интересно про дверь девайс тем не менее сейчас озвучу задачу и попрошу засечь 40 гривен задач следующие нужно сервис написать web crawler паучок то есть он что делает есть интернет а интернет нужно имеем что-то искать как удачно до что нас тема поиск для того чтобы искать нужно иметь обойти все эти
00:05:08 - 00:06:32
сайты которые из интернете нужно их наверное куда-то положить и потом построить индекс чтобы когда или вели что то что поисковая система благодаря а вот этот запрос матч с этим документом иду к нас таком яндексе насчет есть какой то есть тебе нужно как они собрать базу данных ну и соответственно возникает вопрос как эту штуку за дизайне что она должна себя включать о чем мы должны подумать и как должна выглядеть и архитектура этом можно говорить можно пользоваться маркером доской и стиралкой да это же наверное к этому прибегнуть
00:05:50 - 00:07:03
так что в этот момент можем начинать засекаем 42 минут задача наверное на понятные не нуждается в каких-то подробностях вопрос наверное откуда мы стартуем все-таки травлю словно должна должна быть верил начиная с которой мы ну обходим страницы которые на ней находятся и и так рекурсивно запускаемся дфм дфм куда-нибудь так хорошо откуда мы стартуем отлично мы видим откуда этому можем просто набрать даже страница руками то что дальше все равно почти все обойдется ну в нужном нам то имеем так хорошо мы
00:06:26 - 00:07:32
набрали странице отлично да то есть есть откуда стартовать хотя вот дальше на верный вопрос о том сколько данных нам нужно сколько страниц нам нужно быть и ну и соответственно your luck здесь интернет весь интернет ну то есть хорошо человек шесть миллиардов страниц миллиард или может побольше не знаю сколько среднем один слой но там субдомены какие то есть со страницы их наверное тоже нужно быть ну то есть но 110 миллиардов людей 10 миллиардов хорошо вот то есть нам нужно не знаю если ну давайте напишу я да я
00:06:59 - 00:08:22
это записываю что я предлагаю приписать но просто чтобы самому увидеть и 10 миллиардов страниц asus еще не только писатель на мой канале и стирать рукой это какая получается мы миллионеры сколько стоит 9 или 10 а ну если 1050 внутрь здесь сказал там кажется все равно объем ладно может повлиять когда-нибудь вот что мы хотим сохраняется этих страниц мы хотим сохранять точно ссылку на страницу и сделаем страниц сделаем про простую задачу и чтим и или допустит а более чем у той самой штеменко никакой не парся не
00:07:41 - 00:09:05
ну смотрите мальта уже за как он сохранил и чтим и ты даже можешь делать лишним угодно мы не сохраняем не видел вот кинутое столько текста только-только и чтим и но получать ссылка + hdmi или видимо ссылка совсем мало объем памяти занимают но возможно нам когда-нибудь это потребуется там сколько 7 ссылки кажется может быть очень много символов даже на самом деле особенно если она на русском языке случайно и я не знаю сколько байт под нее отвести хранение видимо но с тоном точно хватит как оценка снизу сверху точнее на
00:08:28 - 00:09:42
сохранение ссылки да почерк не лучший но я думаю но это терпится идет 100 байт на ссылку и сам html она видимо в килобайтах уже скорее измеряется там скорее порядок будет сотен чем тысяч я сейчас не знаю что -500 будет что-то между вот соответственно можем оценить сколько памяти на в принципе потребуется на все это дело хотя бы просто чтобы это хранить в каком угодно формате вот я думаю ссылками даже сейчас можно пренебречь потому что понятно что байта по странице килобайтами почти ничего не будут ставить я смою 7 500 килобайт
00:09:04 - 00:10:26
умножим на 10 миллиардов то получится и сложно как сложно килобайт это добавляет два он было два нуля и пятерочку но я хочу буква просто выбрать хорошо ну видимо это получится и тобой да кстати как 5 таблеток вожди просто три по три зачёркивая и каждый разбавляя мегабайт и пять петабайт получишь нашу они килобайт не байте на не байт и так у нас есть 5 тыс и тщательно 10 12 пойдем погнали 5 на 10 12 ну 5 10 и 12 надел на 10 в 9 этаж томи говорит и до 10 9 это дико пейдж в килобайтах можно мегабайт а
00:09:52 - 00:11:27
ну окей ну уберем три будет мегабайт до вы берем еще 3 0 будет гигабайт уберем еще три будет петабайт а дальше не знаю какой она ведет поэтому пусть будет за игры меня не нравится иксов мы просто так с лишними как то получится так что вот так вот эти 5000 потому что в этом математикой у не могу ошибиться и скорее всего же пусть но это арифметика я бы сказал там арифметика дыма даже на ты помог хорошо вот окей мы оценили данные которые нам точно придёт сохранить хотим текст long ago вопрос вот и сказал что по сравнению с
00:10:39 - 00:12:03
этим можно пренебречь ссылками нужен этот записать epam на будущее сколько нам это скорее всего потребуется будущем чтобы условно поиск по ним осуществлять и так далее просто именно вот хранение на диске чтобы просто лежал и это бы не понадобилась эта компания нашу удалить или меньше чем 1 тысячи но если у нас с тобой это это получится с тобой умножить на 1-е в 10 и тут уже байты это получается один петабайт как раз кажется нет хоть это и ошибаюсь нет не ошибаюсь у меня уши боишься но все равно
00:11:20 - 00:12:27
много получается но по сравнению с 5 тысячами [музыка] ссылки согнуть старой скорее всего придется на с вами страницы html так вот дальше а как кроули работает он постоянно ведь собирая информацию а вот расскажи мне как бы ты сделал то есть это хороший вопрос из я услышал то в начале скал bffs надо просто вот это тоже наверное так pfs или dfs но каким образом обходить даже если мы вот только начинаем например да и даже в каком-то любом моменте если мы будем использовать dfs то мы скорее всего просто углубимся
00:11:55 - 00:13:12
в какой-то но в какую-то домен на область условно увидим на сайт по медицине будем дальше если медицинской обходить и наверное учитывая если для поиска делаем например чтобы индекс потом это отображало были сбер девайсы потом отображали взаимодействие нам бы хотелось бы покрыть большое количество гостей поэтому мы используем вот если напишем bfs вот но и если брать bfs как то что вот мы посетили какую-то вершину то есть верил и больше в нее не вернемся это может быть неправильным наверное потому
00:12:36 - 00:13:38
что сайты меняются появляются в том числе новые которые мы возможно сможем за индексировать только с помощью старого сайта которые уже обошли поэтому наверное вот именно наивный bfs обошли отметили больше не возвращаемся на не найдено то есть это какая-то его модификация как минимум будет на который видимо стоит остановиться потом уже после описание системы чтобы сейчас времени потратить ну если это будет интересно тебе вы слышите на дефекации бы фас я записал вот макей мы поняли сколько данных мы
00:13:08 - 00:14:16
поняли примерно таким образом собирает то есть начинаем с каких-то ссылок идем по тем ссылкам которые которые упоминаются в этих html к которому изначально открыли и куда-то складываем пока не важно куда скоро определимся куда и каким образом вот учитывая такой объем данных наверное встаёт вопрос о том как быстро наш краулер должен работать хотя бы потому что данных много тут у нас есть без миллиардов страничек ну да вряд ли минут за пра пра обойти за какое то наверное разумное время ну да но при этом чтобы
00:13:41 - 00:14:52
это не сказалось условно на качестве сохранения данных ну то есть чтобы вся система работала но при этом время был адекватное там на скачивание 500 килобайт кажется не должно тратиться очень много времени ну учитывая текущую скорость соединения военном доступным но опять же наверное зависит от сайта который мы выкачиваем но условно если мы будем по 1000 страниц в день это мало по миллиону наверное тоже мало хотелось бы больше и наверное ото дня стоит вообще отойти и перейти к секундам скорее потому что при таких объемах более
00:14:17 - 00:15:26
показательно будет ли вообще кажется в семье 30 секундах если мы будем ходить миллион в секунду кажется что это хотя бы ну сколько это нормально поэтому наверное нужно стремиться к этому а то и увеличивать но пока остановимся на миллионе можно понять сколько нам секунд понадобится чтобы обойти все учитывая что страницы изначально предполагалось что ну пусть будет 10 миллиардов здесь миллиардов страниц если мы будем обходить миллион страниц секунду то на бот всех страниц если мы предполагаем что новые страницы не появляются и мы не
00:14:51 - 00:16:03
будем возвращаться кожи к тем страницам которые уже обошли то нам понадобится как минимум получается вычеркнем шесть нулей 10000 секунд если они отжимаются верно это звучит неплохо потому что в сутках если я не ошибаюсь секунд побольше в часе 3600 ну значит точно больше до 80000 или что то около этого получится вот так что мы обойдем это даже за хорошее время ну а теперь смущает то что мы это все сможем так быстро быть и и какие может вести но для этого потребуется хорошо какие ну окей если мы на до 10000 секунд и 1 миллион в секунду
00:15:27 - 00:16:54
за секунду с у нас один миллион страниц секунда должен обрабатываться то как минимум на скачивания всех этих страниц секунду будет уходить нарезать такую оценку на страницу вы с нужно знать что это в 10000 раз меньше чем вот это кстати не 10 кажется как билось ты тяжелее здесь по более жир на 10000 скачиваешь в секунду правда от всего 1 да да все в день 1 десятитысячной получается вычеркнем здесь 3 0 так вычеркнем так можно еще один ролик получим 500 терабайт а то есть звучит как какая-то очень хорошая скорость даже если мы
00:16:11 - 00:17:42
будем это скачивания как-то распределять по серверам а их у нас будет несколько скорее всего не один поэтому я думаю оценку с миллионом можно изменить у меня кто-то оценка это оценка то есть мы сможем почитать сколько нам нужно под эту оценку правда ну возможно дальше потом уже ткать но что-то слишком много машин мы хотим скачивать в x раз медленнее так что нет никаких проблем с оценкой я не вижу текучую ты про всегда может сказать делаем здесь раз медленнее или в x раз медленнее но скорее всего
00:16:59 - 00:17:58
помедленнее будет ну давай иди давай оставим до сейчас вот хорошо 500 обойти секунду наверное стоит понять ну сколько например хорошо вот мы хотим определиться например с количеством машин которые будут одновременно этого кочевать мы пока не говорим о всей архитектуре мы на просто выгрузка страниц сколько машин могут выгрузить одновременно 500 терабайт за секунду сколько в среднем наверное если взять угловые сервисы эколаб которым я хоть сколько-то пользовался то там скорость 50 мегабайт в секунду хорош выкачивания
00:17:28 - 00:18:38
ну да потому что они со своей уже серверов качают нос google drive например вот вряд ли со всеми страницами так получится я думаю можно уменьшить до 5 кажется это почти везде доступна уже пять мегабайт один сервер яз выкачивает вот соответственно чтобы одновременно столько выкачивать она бы потребовалось пятерку скрутим мегабайта терабайт и порядок миль или миллионов даже 100 миллионов 100 миллионов до многовато но оценка есть оценка так больше найдя из этой оценки можем понять что для нас реально что нет вы
00:18:03 - 00:19:30
500 миллионов нереальны там кем бы мы не были даже вы имеете наверное столько нереально это перебор бы был его сколько сократим если возьмем 100 тысяч например так кажется все равно многовато можно 10000 оставить кажется это можно себе позволить какой-то крупный гигант но возможно и 100000 может вам сможет позволить на 10000 па карамель и уж точно я не знаю весь тут смыслу чиркать наверное учитывая что мы об этом как и будем дальнейшем сказали построен на пин и пиши просто сколько ты считаешь .
00:18:51 - 00:19:51
какая скорость но заменим петабайты на гигабайта это сколько убрал это я убрал тысячу ну вот здесь тысячи вот здесь еще два стёр получается 100 тысяч пятьдесят терабайт серьезно ну кажется я 100000 серверов до 100000 серверов и изначально было 100 миллионов я скрутил в тысячу она пересобрать далеко добрались обратно возмущена запнулся немного то есть пропускная способность совокупно у нас будет ты ты ты ты ты ты стюарт 500 до байта в секунду и вернул 500 работа в секунду а там были терабайта в чем смысл говорит
00:19:23 - 00:20:45
это звучит лучше да я следующую размерность сразу перешел бы вернулся к прежней так в 100000 серверов да я даже про 10 а ну да я стёр нолик видим потому что 10 doom я предлагаю на 10 остановиться все-таки в дела не против и получить 500 гигабайт как соответственно сколько секунд тебе за что у тебя затронет это изменение ну суммарное время выкачивания всей базы если было 10000 секунд я скользил точнее я увеличила это время в десять тысяч раз потому что скорость уменьшилась 10000 раз старая нолики видимо
00:20:07 - 00:21:25
да это получится большим 100 миллионов кажется видите 10 тысяч на три часа по часам если в сутках у нас 80 ну в среднем не всей дури чего это три часа почему 33600 на triumph tree 600 на 3 умножить на 10000 11 411 4 а ну проще такая просто когда отсюда надо исходить из мы считаем на просто цифра кажется будет не три часа порядками три с половиной минуты изначально я была цифра это что за три часа все сказать 10 секунд все скачиваешь правда а ну а я сейчас разговора начальницей в да ты уже почти
00:20:46 - 00:22:09
соответственно тебя эта цифра увеличилась 10000 раз до соответственно будет 30000 часов не просто разу исходил от будущей цепляет их часов это что у нас это 1000 суд кажется ночью 2 года мода я три года многовато ну можно вернуть здесь нолик видим 0 3 года тоже наверно год но с другой стороны мы вряд ли все-таки хотим мы быть и все прям вообще все сайты какие то мы можем вызывать он входит тогда [музыка] возможно оценка скорости не верна и тогда в какое-то количество раз можно повысить на я думаю что это и так оценка
00:21:28 - 00:22:48
сверху скорее чему снизу свернутом не а десятках наверное речь идет но учитывая тоже все страницы разные по способу ну то есть iping какой ты есть когда могут открываем страницу этом информацию появляются при среднем я думаю примерно так выйдет сколько connection of сервер можем держать ну владельцем вообще может даже десятком эфирных максиму параллельно то вообще можно забыть обо всем да тогда цинк совсем не оправдывать но кажется речь все-таки тысячах и десятках конечно попробуйте стороны зайти а ну если у нас
00:22:09 - 00:23:18
здесь . нынче на ноже мы мы же можем скачивать много страниц и параллели правда брали даже от ведь даже если мы каждую скачивая медленно но мы все делаем параллельно у нас какой то там уже можно дата-центре быть у нас подведена какая-то оптика как тоже все люди в мире использует интернет а если подумать у них большие животные как-то инфра существует на это ну да ну если мы скачиваем про лента все равно скорость это вообще не не изменится на ночь нас может указать скорость будет больше 5 мегабайт то есть озорные на домашнем
00:22:44 - 00:23:46
пока работаем этот наверное же описал 5 мегабайт и сказал что скорее всего мы не сможем вот когда ты если я не ошибаюсь возможно я не прав это сказать многое секунду мы не сможем быстрее сайт скачивать ну вот и так скалу какой-то определенной не дают нам одну ну хорошо если мы будем скачивать но до 3 сайтов со скоростью мегабайт секунды у нас общая скорость какая 5 мегабайт или 1000 ну если мы можем с вами построить архитектура так чтобы было не запостил построили connection и разные мы же можно поразить connection и пихать да но
00:23:15 - 00:24:24
мне просто скорее тут мешал наверное мой возраста что я работаю с у им пока который так не очень выстроить можем так да просто мы видим и деньги у нас есть поэтому можем фиксировать ему лап лап розовый сервер может держать много connection of parallel ну да еще может с этими капюшонами что-то делать правдой но использовать одновременно ближе можешь один сервер использовать для многих клиентов до а могу все connection и под один бак какой-то большой файл упустить наоборот мы здесь от не нужно соответственно понимаешь что можем до
00:23:49 - 00:24:50
новый connection удержать параллель с каждым из них цифры какие-то действия ну тогда видимо от мегабайтов можно перейти гигабайтом я просто честно не сами может ли не оставлять на но предполагаем предполагаем что дети 5 гигабайт в секунду мы можем построить так чтобы один сервер держал вот таком предположении но пусть мы вот гигабит я помню еще я был ребенком были уже возможности гигабит и передавать секунду 1 гигабит не гигабайт и конечно но budget бита восемь раз отображается но пусть это будет у нас 125 мегабайт в
00:24:20 - 00:25:32
секунду но да да наверное с учетом того сколько времени прошло она наверное прошло с этого времени можем рассчитывать на такую скорость окей 5 гигабайт секунду соответственно три года превращаться в день ну примерно в день там плюс минус то есть навык 10 тысяч серверов 10 литров по 5 гигабайт в секунду используя вообще все connection и которые у нас есть a scoop collection of на держателю в таком случае тысячу если наша оценка на один документ было изначально 5 мегабайт так пастбище у нас было пять мегабайт и
00:24:55 - 00:26:11
сколько документов у нас скачалось за 5 мегабайт в секунду ну мы я вообще говорю что скорость выкачки у нас 510 лошадок у меня 500 килобайт если 5-ку за секунду до 10 значит сейчас это пять из десяти седина сейчас 10 но я просто исходил из тысяч банок же на флаге ну на самом деле кажется что нет потому что ну вот скачали какой-то файл ну ну как но очень 1 канале она просто в эту секунду использовать под разные файлы выкачали один туда через него качаем другой и так далее то есть одновременно открытых кажется может быть на самом
00:25:34 - 00:26:55
деле и тысячи просто учит одессы каждый connection может за секунду выключить по 5 мегабайт то последовал платеж то есть по сути у нас скорее тысячи collection of any действие опять же в таком идеальном мире и надеюсь я все-таки оценка сверху ни снизу на 500 килобайт в это сильно сверху значит даже меньше конечно я доказал это раз в десять сверху это наши оценки мы же так вы могли посмотреть зайти в гугл и набрать средний размер и стиль стране надо хотя бы не на 1000 раз ошибся это неплохо ну да да ну соответственно
00:26:14 - 00:27:28
реальной жизни бы даже меньше потребовалось но при таких оценках получил что тысячи конечно вот эти ну то есть получается мы в принципе знаем какая мощность нам нужно мы знаем что нужно 10000 я подписал кажется 10 минут остёр 10 машин то есть ты говоришь он уже десять тысяч машин да то есть если одна машина ломается система ломается почему мы пока просто говорили о том как весь процесс устроен мы пока говорили сколько в идеальном мире нам потребуется одновременно тачек моя вина согнал битвы качество главе принят принят архитектуры
00:26:54 - 00:28:04
видимо сейчас принято принятым в этих поняли сколько нам тачек можно теперь окей ну то есть можно ли нарисовать съемку какую-то вот погнали что у нас есть нас но в любом случае из мы рисуем какое-то количество точек 10000 данном случае действие чем сотни могу ли но 4 и скажи за 2 500 отвечает вот поставим нас нету кажется явно вы клиента в данном случае ну то есть условно пользователя которые к ним обращается но при этом иметь какую-то голову которых может и синхронизировать между собой понимать что одна тачка
00:27:27 - 00:28:50
например вышло из строя и стоит продолжить возможно было бы иметь неплохо ну то есть пока что просто и и нарисуем возможно потом обойдемся без нее я не ну то есть время сна этом сложно это назвать своей маме наверное так принято в общем от какие-то точки которые как-то подчиняется может бала бала бала на баланс ну вот bouncer празднуем какой назовем это мастера остальные непонятки да вот если они выкачивают ну предположим пока что вот эта часть она работает мы не поговорили о том как у нас ну отказоустойчивость работает канал броска
00:28:10 - 00:29:29
застой чуть . грим потом пока закончил сервис у нас еще сервис не закон сервис не закончена не пока что умеет только выкачивать данные год ты сказал что есть начальный набор страниц правильно да есть начальный набор страниц которые что мы можем сделать на самом деле каждый имеет смысл ну учитывая что у нас 10 тысяч пачек возможно нам стоит взять самые популярные страницы которые наверное кто-то до нас даже уже собирала они просто известный где-то лежат для русскоязычный сегмент в язычную неважно мышц равно под какой-то
00:28:50 - 00:30:02
конкретный язык строим наверное этот краулер сейчас они под все сразу вот и возьмем самые популярные страницы например и на каждую из этих машин и выделим по одной из начально вот постараемся чтобы они были разными и каждый из этих машин может например стоп давайте запускать поиск по вы сейчас насколько это хорошо ok либо каждая машина держит себе изначально я горел с которых она ходит на другие либо например каждой машине но то есть как у нас может выглядеть систему мы можем дать машине грн который
00:29:25 - 00:30:36
надо обрабатывать она скачивает html уберет из нее все ссылки которые встречаются возвращает обратно эти ссылки в какое-то общее хранилище как определяется вообще в хранилище какую командовать ну ну это скорее ну видимо разговор а вот балансиры ну то есть как мы можем делать мы можем смотреть какие то очки у нас сейчас вообще доступны например которые могут ответить на наш запрос который мы им отправляем цель которого выяснить доступные тачкой ленин вот и если она говорит что да и она в следующем но мы их как-то
00:30:00 - 00:31:05
упорядочили оснащена если тачка доступная на следующие в очереди мы можем ей это отправлять какой минус в этом всем этим мы отправим точно на доступную тачку ну возможно она очень загружена в этот момент это было бы не очень хорошо можно ну то есть это раунд робин робин называется если она живой с такой схемы вот просто распихивать родинку он вроде последовательно идет сутки с ремонтной тоже кажется примерно в данном случае нагрузку не то не то бы не учитывал никак вот можно как-то взвешены это делать кажется условно для каждой из
00:30:33 - 00:31:51
этих ну для каждого из этих серверов так не есть минута дни у нас ссылки хранятся это м это м хорошо ну то есть они возвращают новые ссылки в d&d мы он их распределяет и так хорошо вернул ссылку что еще нам нужно ну только возвращать ссылки недостаточно нам бы хотелось и текст документа качество сохраняйте ну точнее куда-то вкладывать почему потому что просто индексировать ссылки пишется бессмысленны то есть если мы строим поисковик мы бы хотели понимать что запрос вообще релевантен там построить
00:31:12 - 00:32:12
какую-то модель и машинного обучения на этом который определял бы релевантность поэтому текста нам надо куда-то складывать пока что мы их никак не складываем мы просто сохраняем все ссылки которые уже у нас были и при этом мы никак не учитываем ситуацию когда у нас ну из разных из каких яйца трупы там с каких-то двух разных сайтах вот на этом встретилась ссылка на википедию например на этом ссылка на википедию мы два раза ее сюда тренеры нужно подумать о дедупликации да ну исполнено моет назвать по видимо эти дуб река вопрос
00:31:42 - 00:32:47
отыскал сохранять документы правильно то есть ну была такая free надо хорошо звучит разумно документ сохранять ссылки это будет как выглядит ну сохранять мне в.м. естественно штеменко нас будет какое-то хранилище учитывая о чем мы поговорили кстати мы поговорили о том что на сохранение html и к нам потребуется печь петабайт вопрос кажется это на порядок больше чем может выдержать 1 ну и squier база данных любом но мы в любом случае не кидали эти маленькие бы скорее то есть ну условно и не ну какой то
00:32:14 - 00:33:26
новый скин база должна была порядками потом от одного до десяти вроде петабайт при оба иска и д ну условно как-то ну green поможет это новостей смешиваясь букину горин по 1 1 дипломата уже распределена china но уже распределенного проверяется ожидает ты имеешь ввиду под диски реляционная база данных атенаис келли можешь но эта абстракция уже работают и запрашивает правда да ну это abstract реализованное в d3 лицо у меня понял не реляционная нам нужно бездарным сунул секунд на усекла которая хранит например там
00:32:50 - 00:34:00
колонки а не таблицы сразу что можно использовать ну в ходу кажется это запросто поместятся например которых машина нужна сколько на одной машине лежит ну все хранится на жестком диске у нас какой объем жесткого диска может быть учитывая что она ну возьмем наши компьютеры там может быть спокойно терабайт бантик учитывая что это будут не компьютера какие-то но я не знаю 10 терабайт наверное точно на одном на же не может лежать соответственно нам еще здесь понадобится кусок кажется если правильно молитесь за
00:33:24 - 00:34:35
раба это умножаем на 1000 получаем 10 петабайт правильно audi 5000 на 510 терабайт умножаем на 1000 получаем сколько 10 петабайт а у тебя 5000 петабайт а я умножил привода 10 до разгореться на порядок ошибся снова я не люблю арифметику как уже наверное стало понятным из получается чуть сот тысяч на многовато ну наверное оценка с местом все-таки не вернее но в любом случае мы храним на hd деяния новелл опросе вот мы начали про место нам а может такое быть что одна и та же ссылка это один и тот же сити молл
00:34:00 - 00:35:19
документы разные ссылки это 1234 документ но делала всякие то ну и зеркало и кажется просто условно русский язык ссылках это все подпортит из моего ну условно вставим сначала в адресную строку то тех сильно изменится но там процент podria и нас может быть больше нас уникальных страниц у нас есть еще вникали ных материалов меч может такое случиться то есть наверное подумал про количество то есть у нас пять тысяч петабайт 5000 петабайт мы делим на терабайт получаем 5105 так допустим нас есть 55 тысяч
00:34:40 - 00:35:51
петабайт для того чтобы 10 таро байт в это превратить если мы на 1000 умножаем получается 10 петабайт а еще 500 до 1 машина 1000 но если царапает 1000 машин это 10 bed or white 500 г а нам пять пять тысяч пятьсот тысяч получится мне кажется уже обманывай несколько себя здесь и рифму на года многовато но опять же если оценка здесь все таки сильно меньше то это в какое-то количество раз но в 10 условно слышу 1-цы и будет уже не 550000 так кажется в дата-центр такой может поместил нас остались еще
00:35:19 - 00:36:35
репликация будет какая но в три раза бы например стандарты обсе от тыс но до плит дубликат у нас же могут быть могут ножи если мой них н ну то есть вопрос сколько их может быть какое число от общих ссылок который мы раз парфюмах может быть кажется что все-таки там непорядок половины будет это скорее 10 части на примерно в таком то есть мы несли не сократим это место в разы я не думаю что мы сократим это место в разы но кажется за счет более точной оценки здесь мы бы сократили в разы у нее уже есть ралли закрыть или на мы уже
00:35:56 - 00:37:03
сократили скорее всего очень много будет не популярных сайтах на которых мало информации например лежит ему еще в десяток раз здесь сократились до грустью можем поставить каждую машину по рейд массивы из многих дисков сделать это 100 терабайт но же жёстким ну да жесткие диски дешевые как минимум поэтому мы можем себе это позволить учитывая что мы позволили себе уже вы здесь мы шли на ускакать меньше памяти и естественно можно стаж машин получается репликации но я думаю даже еще раз пять можно сократить за счет оценки stretch как мы
00:36:29 - 00:37:34
уже это учили нас вместо нас было запечатать его сначала 5 нас было сначала 500000 до потом мы это сократили до 50 тысяч за счет за счет того что с 50 до 50 поля а это здесь шаг проиграл день мы умножили на 3 потому что репликацию доказал 30 стал 150 тыс и уменьшили еще в 10 раз за того что не 10 to buy the 100 видимо стало то что не можем 10 жестких дисков среды ну предположим что можете свободно 15 машин ну это кажется более реально учитывая что они не будут слишком дорогим потому что это же день ее ssd
00:37:02 - 00:38:20
какой-то ну кажется такой может себе позволить ей пока дальше нам у нас бьет с этим заметить у нас здесь тысяч машин нужно было на connection ну порядок тот же расстроить прям хорошо получается она до учитывая что мы выкачиваем здесь одновременно по тысяче условно страниц на каждой машине мы можем одновременно эти страницы и сюда отправлять и нам хватит машин для их обработки но точных данных шин бы не мы просто это делаем ну да какая она скорость записи кстати на жестких дисках там кажется порядка
00:37:40 - 00:38:45
вот она не больше сотни мегабайт если не ошибаюсь ну кажется что точно не больше скорее всего даже меньше на какой-либо рядами 10-100 наверное мегабайт в секунду а мы записываем и скачиваем сколько мы написали но и скачиваем одновременно 50 гигабайт в секунду или 5 вот видишь как важно писать корректный мы же ничего не помним это правда тут четно клякс как по 5 гигабайт секунды было возможно 5 потому что мы взяли 5 мегабайт умножили на тысяч она у нас машин 10000 до был весь миллиона сначала стало 10000 mah из 5
00:38:13 - 00:39:34
мега брата до 5 давай я не плана давай возьмем оценку в 5 до работа с доской сейчас не мои сильные стороны явно очень если 5 гигабайт секунду то ну окей у нас скорой записи если возьмем 50 просто чтобы билось по числам красивы 50 мегабайт в секунду скорость записи на действовал 50 мегабайт хорошо но ну кажется сейчас больше ну ладно я честный ладно он знает о распечатывать секунду оценки сверху это лучше чем вот снизу любом случае ну то есть принцесса я стал жестких там дисков по терабайту это это выражает вижу параллель
00:38:53 - 00:40:13
но такой скорости точно хватит чтобы это про bot plus minus создать запасы и цена до а если здесь чисел на самом деле побольше то тем более хватило бы вот ну то есть мы можно считать что мы пока в каком-то виде описали как мы храним но мы описали сколько нам нужна машина что у нас степени реки по и до сервиса пока не вижу ты садись за до этого я просто к тому чтобы они чаще да ну то есть можно наверное какие то линии здесь нарисовать что вот у нас есть одна мастер наводила балансер как угодно и наверно может
00:39:34 - 00:40:41
назвать это смысл не изменится у нас здесь хранятся ссылки сейчас попробует как-то аккуратно у нас каждая машина возвращает у нее новые ссылки которые ну пока что возможно ещё какие-то блоки появится пока что это так то есть ссылки которые были эти машины возвращаются сюда снова здесь какая-то очередь у нас например хранится в которой находится в случае bfs окажется да получается очередь чтобы это был bfs сетки ну с какими-то его улучшение насти все очередь из которой достаются и ссылки отправляются сюда вот эти все
00:40:07 - 00:41:21
линии пока что ссылки вот что мы добавили сейчас мы добавили то что html файл у нас тож куда сохраняются соответственно нас есть какая-то база данных я не буду здесь рисовать много кубика все равно условно им уже прорыв из работает через мастерноду из равно бы стрелочка платно вот так поэтому у нас ешьте мальки отсюда сохраняются на нее ну в эту базу данных вот наверное но кажется пока national мы это вполне вытянем потому что у нас мы здесь можем все ссылки например сразу отправляется с помощью одного connection
00:40:44 - 00:42:04
а потому что памяти немного на это требуется и свободных хватит чтобы одновременно отправлять базу данных h темрюке а базу данных маковку как как мы и будем ждать и будем будет представлять этот одна машина много машин так мы же сказали что у нас она поехали ногу машина поверх этих же машина то просто какая-то сущность настроек ну у нас есть мастернода которые распределяют уже по вот этим вот машина такая сильная мастерноды которая точно не упадет а на случай если она упадет у нас есть ее дубликат держит 13 тысяч машин
00:41:31 - 00:42:38
вы кажется так работает ведь все же dfs нет или там порядок игровой как мощно схема есть какие-то ну допустим у каждой семьи с нами к лимитирования хорошо 15 держит а 15 миллионов держит 1 мастернод connection особенно машин 15 миллионов не удержит то есть есть какой-то предел оправданного пределов ты hadoop кластер какой был сам большой жизнь ужасна лба и сколько x5 я захожу к для знания знаю сколько ну наверное порядок и такой же нет больше меньше я просто не могу представить сколько весит все эти таблички сейчас и сколько
00:42:04 - 00:43:17
у них сдан порядок но он в петабайтах на него эксабайтах скажем так она все-таки десяток раз меньше хотя бы возможно ну скорее всего ну понятно тут одной машины бы не хватило просто вопрос как бы мы это все распределяли тогда по нескольким машинам встает то есть получается если мы хотим одновременно большее число connection выдержать чем 10 тысяч которые наверное существует машина которая позволит нам это делать что можно сделать можно сделать сразу какой-то алгоритм по которому ну условно наши запросы на сохранение
00:42:40 - 00:44:02
разделяются по у мастернодам которых несколько и которые синхронизируются между собой каким-то образом при этом что мы хотим от этой синхронизации нам в принципе важно чтобы мы не записали ну у нас есть несколько мастернод что может случиться они могут одновременно выделить одно и то же место на жестком диске под запись и тогда произойдет беда какую-то html q мы потеряемся вот и наверное учитывая что если мы вождём орды 8 можете фст учитывая размер блока там 80 мегабайт хранить html и отдельно это просто невыгодно сильно
00:43:23 - 00:44:32
поэтому в случае с берем уж dfa100 точно придется их как-то сжимать условно в одно целое и кажется это очень сильно отразится на эффективности всей нашей системы которая поверх этого будет построена поэтому базы данных наверное все таки будет между fs и где честно не могу предположить какая возможна нож dfs отвращение база данных если уж ты говорить над файловой системы ну я имел разработка gt3 он является hadoop дистрибьютор цистин я просто как-то начал это говорите только сейчас понял что говорит что ты метода служб ночь
00:43:57 - 00:44:59
имелся ввиду hb из которой там есть например вот кажется что в таком случае это будет просто невыгодно наверное ошиблись внутри себя умеет это менеджеры я предполагаю поэтому можно пока остаться на это уже вот так хорошо в общем что мы хотим этот синхронизацию между мастернодами чтобы они не выделяли одно и то же место на этих машинах чтобы не было потерь и файлов можем ли мы это добиться ну такой не очень хороший наверное случай что его вот я с ему выделили место и видим что там уже что-то записано мы возвращаемся обратно
00:44:31 - 00:45:34
говорим выделить другое место и она выделяет но кажется от может какой-то бесконечный процесс потенциально перерасти и будет тоже не очень вот если мы кажется что и синхронизировать на самом деле не так дорого между собой именно в нормальном смысле что выделили место сообщили всем другим и так это менеджер ведь кажется что на десятки машин это не слишком сложная задача все-таки нужны десятки машин ну мастер машин ну хорошо то есть на таком варианте ну какой-то более полной синхронизации между матисса
00:45:05 - 00:46:08
машинами можно остановиться пока что я еще не уверен что здесь нужно мастера машина она только здесь можно какой то боль элегантное решение найти новый словно у тебя есть ссылка правда то есть ты ссылку можешь что как-то за хэшировать и знать на какой машинки сидеть и то есть вопрос у тебя сейчас лежит в области парте церовани я сейчас постоянно были как проецировать как протиснется скорее ты пытался протестировать через мастера какой-то который будет говорить куда что кому хранить куда кому идти но просто я
00:45:36 - 00:46:29
скорее приметы информацию даже говорила файлах ну хорошо файлы . по файлам наверняка как пика хранить связано с тем какую ссылку какая машина обрабатывает но возможно они сами разберутся просто с этим да скорее есть наверное какой то но ты раньше ну у нас остается 5 минут так что я предлагаю сесть поболтать его общую посадить который возможно даже не пойдет в интервью но значит мы будем конечно разбирать те совет который деда мне понравилось понятное дело что да не сетевой инженер что здесь возникали ну и в целом
00:46:02 - 00:47:14
какая записку на общей полезно знать какая запись скорость на жесткий диск на ssd диски я смутно помню в оперативку какая скорость записи правда ведь это же на эту важные вещи это важные вещи это на нужно знать какие жесткие диски бывают нухок какая скорость connection а может и сколько можно скачивать тоже принципе универсально тоже какой бы ты сервис не делал почти все сервисы они с интернет мира взаимозачета заканчивать арифметика арифметика но сам понял мы там потеряли забыли что-то 10 тысяч сто тысяч вот это
00:46:38 - 00:47:44
это вообще можно просто зафиксировать понять что доска нужно наверное побольше ну может быть и такая доска но вот этот полезно по поводу теперь структурно нужно было продумать сначала какие-то сервисы нужно ты их не проговорила ты уже начал рисовать потому что нужен сервис который 1 деду гликация ссылок нужно ну вот искал нужно начата сервис а он наверное как то что это хэш таблица в памяти оперативный лежит смотрит было не фильтр ему какой-то применить фильтр в науке мы не проговорил что есть такая часть 2
00:47:11 - 00:48:23
сердце где дупликация html ну разные страницы могут иметь одну и ту же структуру и но нужно смотреть дальше третье хранение ссылок хранение чтим рбк осуждаем как что есть потом собственно те которые скачивают серебра шину ну вообще понятно опять же пенсионер на есть такой файл robots.txt то что что нам нужно какие то вот вещи которые мы нет не нет необходим какие-то исключения которые мы задаем какой-то фильтр может не может наша собственная короче фильтрация через robots наш собственно ну типа пиратские
00:47:46 - 00:49:04
сайты но да допустим очень запрещен к всякой для нас но она всегда здесь есть то есть его вот теперь у что то возможно еще но дальше url а нам url то нам зачем wtp www и вот это все надо меню не сильно сэкономила место кажется мы просто не подошли к хранению самих силы но это все равно это это за канал бы кучу времени кроме того я хочу сказать что я мог сказать король лир и степик роллер ftp и так далее то есть это позволяет делать модуляр ную структуру потом беря то что нужно ftp то есть ты кладешь в втб
00:48:28 - 00:49:48
хранилище , лишь тихо не жди меня зачем тебе хранить эти лишние байт этот тебя уже один петабайт на ссылках наверное хочется держать оперативки что быстро детализировать если ты это может сократить в половину и на самом деле конечно оценка 100 байт для ссылки на среднем но 100 символ это многовато вам реально порядок 10 байт среднем то особенно если ты убираешь но сильно а еще ты можешь убрать до домена что это руку мы так далее еще протестировать поэтому выше знаешь что в этой частью ну допустим это же такие то есть вот как
00:49:08 - 00:50:13
только у тебя появляется картинка сервисов с которых она стоит и начинать 6 потому что сейчас началось с этим у папы оди дубликат ада нужно дедупликации я там ли тэ ika дальше вот это мастер нотке вообще по мне нужно тебе нужен список ссылок и дальше вопрос где этот список ссылок хранить если он достаточно маленький чтобы резать на одну машинку до несколькими что на полу кладите в кафку пусть каждый дергает из нее либо в порядке живой очереди либо но дело какой-то consist in teaching то есть ты просто эти ссылки и
00:49:41 - 00:50:43
следующий сути хранишь ты же можешь гадить нюхаешь причем причем ты можешь брать с двумя частями ты можешь брать хэш например только от от основной части чтобы все под странице хранить на той же машине те в принципе ну но это было бы удобно для дальнейших отработаны в 1 товар дальше bffs какие плюсы dfs dfs плюс в том что ты идешь по той же странице потому что корейцы он они будут ссылки на нее а это быстрее и тебе не нужно делать каждый раз новый хан шейки ты тоже идешь к этой странице к нашей к это но короче ты не инженер я
00:50:11 - 00:51:26
должен тебя ты устанавливаешь connections ты уже со страниц на вилка наша задача поэта пассируем также по нему идешь но представьте обрушился на машину ты ешь папки c в папку c windows c windows systems ты уже на машинке не нужно каждый раз заново к машине подключаться какие-то говорить кто ты такой чтобы они проверяли ну словно каждый раз и все спарта создавала давайте постреляем абсолютно верно то есть но это ладно я такая мелочь то есть хорошо что искал bffs это произошло то есть нет понравилось
00:50:49 - 00:51:45
арифметика арифметика но тут просто почему она это повторить потому что такая очевидная вещь и нужно вот вот вот 5 вещей выучить запись на и создай hdd memory скорость скачивания сколько конечно держит машина это вот в любом дизайне это нужно но это не изменяется 1 месяц поэтому зарубил магазин и пять цифра засунуть то есть а потом дальше ты многое времени тратил на ненужные операции если мы уже посчитали для 10000 дальше гамета три часа четыре часа ты говоришь окей ну потому что это ближе к трем часам новый
00:51:17 - 00:52:31
год действий ставишь а мне нужно тысяч раз больше время чуть выше 3000 часов все еще начинаешь заново зачем затем все три три часа в тысячи раз больше 3000 то же самое 5 гигабайт ну вот даже на 10 миллиардов материале какое то время но возьми то пиши тысячу каждый разделить тут в 10 7 габарит килобайт или что-то решил сразу это проскочите на этом но хороший видно что готовился ну и попытался во время которой был готовился хорошо мог по какие-то вещи опять же пока ты это не поделаешь это вот одно
00:51:54 - 00:53:00
дело готовится другое дело стать у доски первыми но мой тебе совет прежде чем рисовать структуру сервиса ты должен проговорить а мы не проговорили мы не записали . какие из каких частей состоит то есть вот так мастер мастер ну нахрена деятельность ну я скорее к самому устройством по да и здесь подходил счете буду где каждая машина может принципе напролет реплицироваться но я просто не так много знаем двух устройств вязаные условно как hd is хорошо устроен знаю что есть мастернода но даже не от бориса условно
00:52:27 - 00:53:37
green pan поэтому исходя из вопрос как как делать хэш над нормальное проще но в целом нормально мы тебя разберем конечно косточки переживай так все я полагаю на этом заканчивать поселите что посему шоу смелость достойно жди твердит больше 18 ну eurosit dash указу мало и фильм у нас там есть школьника казалось нам нужно его разрешение разрешения у родителей получать чтобы он в общем здорово я считаю хорошо если ты считаешь не хорошо это не так ну иди скорее с точки зрения польза для себя это оцениваю она держится позже
00:53:01 - 00:54:18
рассказ на камеру точно ничего не может быть мира ну и плюс ну вот хорошо видно что ты понимал о чем идет речь но ты уходил опять же какие-то очень глубоки и счету пошел мутко и здесь его нет это хотят 6 минут про это говорил я всего 45 минут но вот на все про все вместе знакомствами за свиданий из них 6 минут потрачу больше десяти про сам на какую-то хрень dfs ну то есть можно было сказать что просто храним по машинам сказать что мы распределяем данным но единство как только лишь к ним по машинам если машина положились все эти
00:53:40 - 00:54:43
легли все вот эти бонусы больших данных там прилипли к ции честь не видел соответственно может быть мы хотим иметь какую-то главную машину и все это лежит там про реплицироваться xx 10-го оператив сохраняет куда-то а отправлять по консистенции шинку каком-нибудь год consisting of young ну по часовой стрелке когда машинки и удобные но быстро переносим данном случае нужно то есть здесь вопрос а если ляжет даже это ты уже ну просто опять вы знаете я расскажу сейчас у меня три машины не лягу всеми репликация 3 все я
00:54:11 - 00:55:14
считаю или а может быть даже эти три лягушки тогда делаем то есть ну какой-то план б ну понятно лишь сказать я считаю четыре машины не лягут но и так все говорят круть но это далее а если лягут у ну потом от лягут хотя если на них лежат какие-то важные ну важные файлы и хранились наверное все таки не в той системе которую я сказал того вопроса может быть какие-то мега важные сайты которые прямо часто размещают может быть их стоит репетировать x10 но я утрированно то есть а тут возникает вопрос как часто
00:54:43 - 00:55:53
это входить какие-то сайт наверно стоит обходить очки txt такое же например на 8 сайт это одно а сайт наполеоновских войн и продажу это может быть другое или какой-то мертвый форум по сути вот ты говорил про приоритеты говорил ты затронул тему и пошла от этого ведь сразу то есть может быть у нас 10 миллиардов нам один раз обойти отдай половину этого у нас мертвые сайта мы видим что там не меняется и мы постепенно их приоритет падает падает падает по ну то есть по сути это операция очень дорогая она
00:55:18 - 00:56:23
выполняется очень редко поэтому можно было бы сократить машину на самом деле машина является коридор уж тебя папа коля хранению все равно тебе нужно бы хранить но я между вот в этом ну хотя ладно не дешевле чем те мне до 15 весь машинок нормально это 4 6 машин на я думал машину сторону 10000 баксов стоит ночью сомкнут для большой компании усам через пять баксов машина стоит пусть это 15000 это 10 миллионов остается 15 150 миллионов баксов могут расходы одного facebook она этот copics на на железо 10 миллиардов баксов 15 15 тысяч
00:55:50 - 00:57:03
машин можно было на порядок больше то вообще ну хочу все я пожал ему руку лавинского спасибо почти ни одна женщина не правда был в группе
00:56:27 - 00:56:53