алиф привет авиация рад тебя видеть приятно давишь немножко напряжен с wapsi на век возможно не каждый день ты окружён людьми с камерами света в микрофонами понимаю ситуация не можете привычный быть расскажи немножко про себя чем-то занимаешься что-то делаешь да я вот имею трехлетний опыт в аналитике как работают с инцестом в яндексе толока о какой полезный сервис а что ты делаешь когда сантис тавтологии расскажи я бы опустил бы [смех] не будем это поминать ну ладно как ты как ты оказался на этом стуле я да
00:00:02 - 00:01:35
просто правил энтузиазм решил сходить будь будет ли твой начальник смотреть наверное может быть каждый начальник стать ему что я узнаю может быть слышал валлаби раков валентин бирюков да да ну вот он мой одноклассник про легко одноклассник твой начальник так сложилось в этой дебюта в высшей школы экономики пошел а кто-то на мехмат пошел ну не могу сказать что он пошел высшей школы экономики хорошо мостовые встретились на непростом собеседование должен сказать что за все время имели дизайна систем дизайна один
00:00:49 - 00:02:06
человек вопрошал и эта запись еще не вышла величайшая сидит в студии но не на камерах посмотрим получится ли это изменить но даже если не получится здесь же вы не для того чтобы пройти не пройти правда для того чтобы поучиться и посмотреть и как раз такие вещи и развивают так что можно сказать что человек который прошел ни в чем просто не развился зря потратил свое время задачка простая но не оч за дизайне instagram что такое instagram от сервис которым пользуется на пусть и миллиард с копейками людей и там есть следующая
00:01:27 - 00:02:39
функциональность эти прям даже скажу какая можно загрузить или скачать или посмотреть фотку можно поискать фотку как в инстаграме сергей можно фолловить других юзеров соответственно к тебя могут половить или фолловить понятно какой здесь ударение ставить но и четвертое что есть instagram feed то есть должны тебе показываться последние фотки тех кого ты добавил друзья те камилович окей ладно чтобы начать мы подумаем для начала какая у нас будет нагрузка на сервис ok начнем с этого мы знаем сколько у нас
00:02:04 - 00:03:37
пользователю в предлагаю тебе встать у доски так будет гораздо легче где прикинуть а сколько у нас мы знаем что нас фотки будут загружаться и скачиваться правда ведь можно начать с этого сколько мы будем загружать и скачивать фоток как долго мы будем хранить и сколько это будет занимать место и запросов в секунду значит ну давайте прикинем сколько [музыка] инстаграм и юзеров полтора миллиарда вот так вот доставят use of окей хорошо весь instagram конечно но не регулярно пользуюсь ну как ты не регулярно загружать вот конечно за
00:02:54 - 00:04:16
осмотришь конечно поэтому надо учитывать и то что скорее всего это какой нибудь такое типа будет большая нагрузка на рид составляющую чем на null out загрузку файла ok затем надо пойти на сколько людей и загружают фотографии в день ну наверное там 2 3 фотки в день каждый человек каждый но среднем ты же не загружаю но я не загружаю но мож кто-то там по 10 фоток шлет есть такие люди да все мы знаем все мы знаем их да какие две фотки две фотки в день это у нас нам нагрузка какая нужно не позже 3 миллиарда фоток на в день получает до
00:03:38 - 00:05:14
3000000 пишем 3 миллиардов у то есть это сколько в секунду входа грузится окей это удобнее писать сразу как 3 умноженное на 10 как сейчас так все так примерно 10 в девятой я правда тут с одним делала system design его обманул сказал что 10 миллиардов это 10 или он меня уже даже не помню так мы и стали все считать в 100 раз больше окей это давайте приблизительно поделим на 30 почему отрицать но 24 часа в день . сколько секунду вне но все говорят 100000 на самом деле это 86400 по моему предшественниц
00:04:26 - 00:06:06
261 864 ok вам давайте это всё да да да 100 тысяч какие 10 конечно ну окей 39 на дефить 1 4 секунду до юпс отлично это и the right it right но смотрят то чаще чем вы конечно ларри саммерс коп исход видится не знаю но лента прокручиваю достаточно глубоко окей тогда это right вот нагрузка наверно на рид это блин ну пусть тысячу раз тяжелее конечно если можно не думать зачем 1 take care of shiva мы теперь знаем сколько у нас грузиться в день фоток значит мы можем терпеть сколько нам нужно место для них в день и как мы
00:05:18 - 00:07:24
будем эта храни ok но фотка там пять мегабайт на 5 мегабайт на фото китаец телефон открываешь нам надо сразу 20 вот так можно посмотреть да ну прикончишь канал 100 мегабайт секунду отличается нет я думал под общим сейчас мы хотим не ну вот мамед под подошла мы мы вынуждены сидеть вот едет охранника не надо давать мы за день и храним 3 миллиардов атака за 10 лет у нас будет столько то фоток да смотри сколько нам нужно место по dota цифровое фото мегабайт в год или сколько но не думаю что будет ну сколько
00:06:34 - 00:07:49
нам нужно вообще на 10 ли хранилище какой нужно на 10 ли аспиратор хоккей на 5 х 5 х шар опять на 10 проще окей давай так значит на вход к 1 весит сколько на 5 мегабайт 2 ты водитель играм фотки передал когда же говорят не передавайте фотки через telegram передавать файлами потому что она сжимает окей окей 2 мегабайт наверно я не знаю сколько фото количество ну пусть 500 килобайт окей 500 килобайт это одна фотка у нас фоток в день 3 на 10 9 3 на 10 в 9 в день так это у нас если мы перейдем это в
00:07:13 - 00:08:40
какие-нибудь другие единицы сколько получается это сколько 500 мегабайт 110 6 до на 10 6 до 3 на 10 6 окей я понял сейчас мегабайт гигабайт 10 раз в 3 еще 10 в 3 это получает свой работа терабайт окей 500 гбайт еще на три вещи натрия вот получается полтора петабайт а что [музыка] вы же еще или цифр немало это задний каток день на отлично а за 10 за 10 за ну вот получается надо полтора петабайт а на 10 до 360 окей 15 на на 40 а 40 вот столько из я не ошибся это что у нас будет это черта вот мы полтора петабайт умножаем на 3600
00:08:06 - 00:10:33
правильно на 3600 если мы умножаем на 1000 туна становится полтора экзабайт он уже на 36 правильно значит полтора на 36 это четыре с половиной плюс 09 хотелось 5 4 5 4 экзабайт но это притом что мы взяли фотку за 500 килобайт на самом деле фотка может быть 200 килобайт надо смотреть как там уже мая распределение до хвоста можно и ужать так хорошо мы теперь знаем сколько она все фотки на 10 лет нужно хранить прекрасно мы знаем нагрузку на right in a ride теперь у нас какой функционал нам нужно загрузить
00:09:50 - 00:11:14
фотку посмотреть фотку да нам нужен какой-то fit и нам нужно поиск поиск в конце ставим таки попробуем сейчас нарисовать схему как это будет выглядеть на верхнюю равнину словно на одной машине таки одна машина наверное нам нужно как-нибудь типа хранилище фоточек для чего начнем вообще какой-то хранилищ такой вот значечек и наверно нам нужно оформить хранилище именно под фоточки то здесь там условно метаданных методом а тут а нам какая-нибудь там не знаю не знаю какого знака назначить и пускай будет
00:10:32 - 00:11:57
это вот фоточки туда the lake ну да вот проще пусть это будет мета а это будет иметь строить как компания значит у нас есть человечек него есть наверное да то есть скорее все это будет как-то два сервиса один норовит один на grid разделим их и возможно на то чтобы ride ну о чем идея какая в том что я листаю например не всюду ленту до конца там полтора годового скорее всего нужно только часть лента поэтому нам нужен какой-то там типа кошек которые почти уже пошел в плохие верхней уровне нарисую смотрели верхние уровни во
00:11:14 - 00:12:55
идет собственно верхнем уровне от вины по нарисовал уже сюда и сюда открепляется это понятно что и raider ли ты туда и дается дойти до да так все верхние уровни у нас есть то есть мы можем что можем загрузить мы можем прочитать и наверно там где прочитать можем и поиск когда по таким когда он вообще хорошо все таки теперь мы знаем что у нас пользователи больше одного да и у нас разный могут связи с этим штуки тем попробуем теперь нарисовать схемку уже очень более детальные подумать какие в ней должны быть момент причем ее
00:12:15 - 00:13:32
нарисуем ok в общем начнем с того что я упомянул наверное это наверное сделать эффектный вид зачем-то нужна пешек на рид чего лента на вид ленты фондах загрузки идея какая наверное чтобы разгрузить немножечко вот именно вот эту вот стрелочку так она будет меня жирненькая the cash это будет побольше стрелочка то есть мы отгружаем из сервиса какой-то кэше он считается теперь нужно подумать прежде чем считать какие-то кэш и какие у нас вообще должны быть таблички окей и прозрачность ok но нам нужна
00:13:00 - 00:14:28
сотри верхняя но уже загар 5 внизу просто 54 экзабайт запомнили и запросы выведи куда ты-то что думаешь начинали заново [музыка] значит нам нужно какие-то сущности сущности наверное это будет какой-нибудь юзер юзер так хорошо но для него то наверно комментам информация то его ключ что еще нам нужно локейшн пока подумай какие на вообще вверх уровне могли вьюер покидающего шанс use наверное лента но потом они лето милена карно это делается это комбинация список фоточек ну ты же кого-то фолловишь а то
00:13:47 - 00:15:16
есть нужно понимать кого-то файле и чтобы строить ленс ограждена точно ноги это типа отношения user user [музыка] то есть типа признак так так сказать fauzer полу туда useful параличу и дира узнаешь колода начал давать правда ведь и что то еще или хватит еще фоточки фоточки то есть какую фоточку какой юзер загрузил города получается да отлично теперь нам нужно наверное какие то там атрибуты верно нужно прикинуть чё там будет этих таблицах сколько вы вместо они займут да окей юзер ключ его наверное еще какие-нибудь данные типа
00:14:41 - 00:16:17
его месторасположения тебя не знаю что нибудь еще там на сколько нам это нужно но если мы планируем масштабироваться наверное мы можем разгружать сервер но сервис на разную географию и а как он этот логично определяется записывать каждый раз tiger опять а печник они каждый раз перезаписывают моему нет маму один раз записываемого пищи мощными буллинга ладно согласен тогда ошибочка то есть зачем это в таблице записывать и за это на входе определять окей через через что какой-нибудь там online streaming and
00:15:39 - 00:16:53
look better make it an orgy что еще одна фотка это ключ и юзера мы еще сама фото pov ну айдишник да в общем то скорее всего просто фото паса и все лишнее ключ чтобы считать его с и матче тораджа окей теперь юзер юзер как-то можно похоронить а что нам нужно вам хранить но там нам нужно просто блин ну то есть нам нужно там хранить либо два ключа каждый как-то тяжеловато magic оторвал вот представьте на питоне пишешь для вазов вот тебе нужно вытащить для одного юзера всех кого он провода все и понятно
00:16:16 - 00:18:08
тогда лучше организовать и тогда aктepы юзера его список фолловеров понятно юзер и там это тебе сразу помогает ответить на то какую базу данных те нужно использовать память и реляционные базы данных здесь ну потому что китай что меняя их первым киви или то есть а для фотки какая база данных нужно нужно реляционной ну ладно окей да себя какое отношение тоже киви он у меня здесь да ну то есть хорошо тут тут так же вы возможно и не стрельцы он на и отношению те есть это юзер ну и дальше вопрос насколько тебе важно
00:17:15 - 00:18:35
насколько важно в как часто будем к ней запрашивать враги и зла димона сейчас подумаю так но теперь подумаем другое лучших сколько нас каждый зритель bass пусть место занимать хорошо надо плюс-минус оценить сколько весит там каждая каждый ключа кей ключ юзера можете какая-то мета это оставляя на ну хорошо нажмем на 4 начнем на фильм начнем user user что там у нас как мы юзеры хранить юзер маханием какой нибудь типа там не знаю а славно шишек да пусть будет интер считаем вот и тех кого он фолловит мы храним тоже как
00:18:02 - 00:19:29
списком правда да но сколько в среднем будет у человека у кого он положит но 34 нет нет больше читая это но пусть в 34 ok мне оказалось после той 4000 34 сколько ты фолловишь у меня немножко насколько на стоны ноту меня тоже ведется только а у кого-то 0 потому что у кого-то вообще не окей 100 and часа 4 кей фоточка она с юзерам определить м-64 на а фоточка это должна сначала посчитать сколько на базу и там окей сколько на базу у нас полтора 1000 полтора миллиарда блин полтора миллиарда до 5 10 и 9 10 и 9 на что на сколько байт
00:18:57 - 00:20:34
на 88 на нашел но и . ким получается 12 на 10-12 часа почему умножаем на 100 юношеству пользователю каждого да если на них тоже нужно тут все так да я просто думал таки хорошо по 2 на 8 это но это 12 запишем это как 12 и десяточку вынесен на 10 10 10 12 это байт теперь тройка убираем это что становится килобайт она окей я помутило мега вещь giga giga terra r12 терабайт очень это вот follow . под фотки мы уже плюс-минус потянули на самом деле уже во сколько нам охраняющему но этот дурак записали с учетом того что
00:19:58 - 00:22:05
нас новых пользователь не будет появляться да да да сможем добавить еще какой-то с учетом что какие-то новые будут появляться надо новый поток никакие да это понятно может быть это будет и завышена кнопка нет нас вы словно заниженный оценка получилось для этой штуки окей так теперь что-то еще так теперь фотки фотки фотки мы хранилище посчитали нам нужно только получается все равно что то какая то инфа да только не очень-то комета информацию это условно юзер который я запустил 64 и еще тоже какой-то там и печник фотки нам
00:21:23 - 00:22:44
тоже не чудище наверно когда запустим уж к этим последней фотке фиде выдавать прожив точно какие-то там дата фото все 4.4 того 3 на 10 64 10 смотри тут есть одна одна проблема если найдем в келью у нас ключом будет являться что фото или юзер я понял наверное так и так надо да это тоже про нее ну мы можем объединить очень задачами может разуметь две таблицы 1 1 user ключи его фотки то есть так окей я понял я просто думал что можно сделать что-то типа объединить ключи это будет ключ пор упругой и
00:22:06 - 00:23:51
большой палец был я тоже поэтому я думал что типа окей мы объединяем фото паз и юзер и прописываем они просто я так понимаю основной основная суть и вылью хранили что ты по ключу к чему-то дохода конечно это можно как-то перья наверное используют такие ключи ниш не храня доб что-то сделаем 2 так надежно очень получается x2 а 10 что все 4 10 на 8 на 10 по точно действует не на 10 лет кладно еще на 10 10 господин себя четыре что 4 до 8 бар до сколько 84 там где-то потеряли вот это мы сейчас про фотки говорим да да да вот так мы
00:23:10 - 00:24:51
грузим сколько мы писали 3 на 10 в 9 до 30 это секунду те три миллиарда вспомнить до 3 на 10 это в секунду в секунду дарят и в этот день мы ну нам же нужно на 10 лет посуда да еще на то есть 3 на 10 в 9 на минут это все еще в 9 на 1005 к чему ты 624 тыс от 5 и надеюсь еще ok поехали 11 12 730 4 ки mt5 вот ты часть key 150 на 10 короче сделаем это группа максимально грубо 10 в 13 вот на арифметики то все его лица проще капец сказал кей 10 попробуем еще раз на завод к носок от мы мы грузим 3 на 10 9 правда фотки мы еще
00:24:35 - 00:27:09
что идем мы даем когда она соуса создана то есть пишем 3 на 10 9 надень на 3 на 3 на 10 9 на 10 на 306 5 3 на 10 будут окей с нуля давай 3 на 10 9 т.е. на 10 с 9 на 10 на 10 на 365 тыс теперь это все умножается еще на что-то в скобочках в скобочках у нас пусть будет фото айди пусть будет фото иди которые мы просто отойди пусть у нас будет 8 байт юзера и digo sim white и дата восемь байт из фруктов восемь байт то есть двадцать четыре байт окей 24 правим на 8 на 3 умножить на 8 над на 1 или на 24
00:27:17 - 00:28:55
8 на 3 на так дальше [музыка] значит 10 в 10 здесь умножить на 3 и 6 умножить на 10 во 2 умножить на 3 умножить на 2 . 4 умножить на 10 то есть это 10 в 13 умножить на 7 и 2 умножить на 36 правильно то внутри 6 7 и 2 на 3 это 21 6 правильно 26 + по пусть пусть от этого будет 4 то есть ну пусть будет 26 26 умножить на 10 13 это 2 и 6 можно 10 в 14 но 2 6 тысячи четырнадцатый байт мы погнали ok снова мега-мега начал кило яблоки в его 11 мега-мега 9 8 гигов 5 5 терьера 2222 исключается 260 терабайт
00:28:08 - 00:30:47
total но терпимо окей мы посчитали того под хранилище фоток под юзера с фулловым так ну забыть видео vip вы где то выхожу это на чем это вот то стоит и что мы ещё один два терабайта followers of weeks 1 2 3 так ну и хорошо но и по юзерам у нас тоже какая-то табличка будет но она тоже будет такая типа порядков а lovers да ну как не боль не больше . дашина даже скорее всего меньше потому что у нас по fall over 100 полей как users за оттуда нас этих полей пусть будет 10 она будет находиться 20 гигов а то еще меньше ну пусть 122 все
00:29:41 - 00:31:26
остальное стирай так мы с тобой система уже на одной машине нарисовали правда теперь нам нужно подумать как нам вести надежность и передан денси макей значит ладно но это же думаю серетид да да это я буду сейчас все переделать в общем и донбассе на первое мы можем сделать для надежности это мастер своих типа условная это хорошо как мы сначала смычок понимаешь нас тут будет определенная система учит мечтам и данные будем как-то сортировать партиции ровать надо ты же в яндексе работаешь на и налить
00:31:09 - 00:32:42
регулярно ходит верни гости какой-то пользователь девятого уровня нет игроков наверное таком 5 ну как к наверное сколько яндексе работаешь меньше года но чуть меньше q но пляж нарекания чительно мастер выйти и пользователей киев ты что своей чести не знаешь ты не хочешь над доставка ходишь хожу конечно регулярно на свой других слов глен скорее всего 5 важного портирование ты знаешь соответственно подумал как мы можем здесь profits и ровать полый почему то есть у нас будет много серверов правильно да нагрузка между
00:32:01 - 00:33:22
ними мы хотим чтобы было распределено при смене да даже мы можем сделать окей первая по гиа на верном пути позор так по гиа вот такая мысль типа вот юзер здесь делает запрос ok давайте его в инстаграме кого из известных людей фолловишь ну окей например американских людей у кого-то фолловишь instagrammers ты стесняешься сказать хоть я скажу к выехал я же не помню нижней вполне на звезды не зафолловят ладно друзей друзей такие друзья не интересно представь фолловят сколько в максимуму самых популярных чуваков инстаграме
00:32:46 - 00:34:16
последователи ok но 2 миллиона где то есть супер твист python не самый популярный они эти великие 200 миллионов без ты предлагаешь по географии и держать то есть вот я пользователь я зашел на какой сервак мне нужно достичь посмотреть загрузить фотку правильно я понял make как мы будем от гарнировать партиции ровать если сам скала сном популярные американцы то да тогда будет все ломается нет я просто думаю что например еще собирался партиции ровать момента да это просто очень много дан потребуется
00:33:33 - 00:34:57
типа место в уже понял что многомерности оттуда эти 4 заповедь если окей так хочу когда же 5 4 экзабайт африке скупки машин нужно на но сколько прикинем сколько машина может хранить несколько терабайтов 10 точно может помочь ли что может фатально дарий стоек кучу хорошо то есть 100 терабайт может машинах радиальный сколько машин нужно под супер обед 5 миллионов что до неба бог с тобой петард и пастора боится значит тысячи машин это 100 петабайт правильно да значит 10 тысяч подожди я спешила репликация
00:34:19 - 00:35:49
нам нужна какая конечно ну да еще типа то есть еще до это кажется h150 то есть машина у нас нормально в принципе нам же банально хранить где-то это нужно это да а чтобы такое хранить по-моему там же есть какая связь между количеством ядерным процессором эту тем сколько у тебя может быть что оперативки что жесткого диска или я ошибаюсь ну ладно я тоже ну с оперативкой точно и взаимосвязь да хорошо хорошо как же мы шарди рование будет ванна вариантов не много на самом деле то есть первое это либо
00:35:06 - 00:36:25
мы разбиваем по локации запроса получается только подумаем у нас мы доступ к чему и делаем мы делаем таблицы users мы когда отправлен запрос на сервер серы в итоге что нам будет скачивать картин картиночку да как дальше у нас мы знаем бывают очень популярны и пользователя до которые могут иметь 200 миллионов последовательно теперь представь что мы стиви у этого пользователя кладем на один сервер он падает до нем поместиться на будет тяжело вообще вообще на самом деле я бы сделал здесь двойной уровень шапки даже не
00:35:50 - 00:37:20
шарнирами то есть я бы скажем так раскидывал по почему ключа по юзер кей нью-йорке то что у нас арсенале нет я я имел ввиду как можно уменьшить нагрузку на еще уменьшить пользователь картинка то есть по картинке то есть если я захожу на условного пользователя половлю которую 200-ми на пользователей я скачиваю картинки на озере раз разных да а если еще дальше подумать то я же могу вот дальше то есть я захожу меня перекидывает на какой-то условный сервак который дальше меня еще внутри себя балансит на другие серваке
00:36:43 - 00:38:00
правда ты словно говоря у меня эта картинка находится на каких-то 5 серваках и между этими н серваках и между этим сервака меня перекидывает зависит от того какая там нагрузка но изначально меня кидает по картинке у нас смогли единица нагрузки картинка оттенка которые я уже дальше могу реплицировать на 3 сервера то есть как минимум если мы про репликацию подарили x3 а дальше можем же водить если картинками популярное скачивается больше роста мы и в принципе можем за хэши как ok правда да да ok это пока
00:37:21 - 00:38:38
пока так ну теперь вот у нас значит что подумают мы моем у нас такие как как я псих как как кошелек номер в плане как какие в хэш-функции можно применить как от некоторые хэшировать для проецирования dapper тестирование procon стон fishing consist in gas vacancies я тоже мне сделать короче ладно то я попробую нарисовать он осталось немного времени нарисуем систему уже с учетом редант ниц и что у нас есть хоккей у нас есть хранилища и не начни с пользователем окей давай оттуда пришел пользователь
00:38:03 - 00:39:22
пришел юзер него есть мак мобилочка так дальше а запрос отсылается запрос приходит куда до запрос отсылается куда-то куда он приходит в [музыка] вот балансе блуд делать который говорит такие лет либо вид запрос либо райт запрос допустимо to ride запрос на ok если это и запрос то тогда что нам нужно он учится в базу данных followers ну точнее скажем так мы допустим ленту хотим посмотреть города значит лента может быть уже при компьютер быть правда да все так то есть он бьется какой-то cash cash окей
00:38:52 - 00:40:20
так конеч нас понятно откуда считывается а еще какая же у нас считывает что он читает у нас табличку но дед на какой-то сервис который читает табличку followers да берет из нее users из этого users он берет картинки берет top н последний когда и отсюда идет стучится в торгую хранилище получается картинок и выгружает но мы можем типа как обсудили тут немножечко так сказать чтобы погружалась но это вот нам уже у нас уже не будет времени сейчас учесть да короче здесь можно по словам расправились загрузку
00:39:47 - 00:41:16
картинки и ну вы не параллели за счет того что у нас в принципе все будет раскидано по разным точкам правда ведь природа окей пост на самом деле мы же можем разные вещи делать картинках загрузку картинок им одним образом партиции ruim потом дальше мы протестируем загрузку ленты другим образом ok никто что не мешает и не брал не сразу в плане доступности до можно так сделать ты мне сначала ну так я зашел юзер юзера определили хэш по хорошо понятно на каком ти ракетка хранится его кэш дальше я стучусь если кэш есть все
00:40:35 - 00:42:03
выдаем этот кэш и если его нет или он обновляется он дальше то делает этот сервак стучится по ключу юзера уже известно потому что он всегда стучится он же ему известно носитель он стучится берет фолловеров все так от фолловеров он стучится а в картинке отваров он стучится в yuserg yuserg yuserg фото а фото дальше известно хранится на каких тачках да потому что тоже хранится через consist in hearing у него есть внутри адрес на книгу каждый сервис на кастинг 1 будет почитать что такое у него есть внутри адресная книга
00:41:18 - 00:42:41
которая говорит какой диапазон ну ответь отвечает какая машина да окей таким образом мы распределили загрузку картиночки ну тут можно все это короче mute это считывание картиночки дамы расстроили теперь про про запись картин , девочки тоже самое только там никакого конечно быть не должно ну да то есть мы просто сразу мощи наверное да мы можем сразу напрямую как-то запись ядер записывает картинку то есть у него что уже есть у него есть айдишник этого юзеров мы его записываем в юзер фото а фото мы берем хаяши кидаем
00:41:59 - 00:43:27
на какую-то тачку не нужна ли нам промежуток между молитесь и вот здесь я думал она нужна мне кажется она стремится и закончу поэтому разберем какие принципе я думаю что часть мы уже разобрали то есть из моих советов ты вначале не знал что делать ты и вот просто стула shows for поэтому я тебе помогал первое что ты делаешь всегда это ты социально требования были даны ты начинаешь списывать нагрузку коко запросов в секунду сколько мне нужно хранилища какие у меня связи с функциями требуемыми отношения сколько
00:42:45 - 00:43:58
хранилище нужно для них отсюда ты понимаешь как те машин нужно дальше ты рисуешь общую схему для работы на одной машине да и в принципе написал потом мы начинаем думать а как же нам улучшить и даже не улучшить обеспечить доступность намного major'а ну и и тут возник самый важный вопрос это как партиции ровать в принципе понятно как проецировать по юзеру даст условно говоря подгружать для юзера ленту где ее подгружена хранить но здесь просто по юзеру но как уже эту ленту генерировать где для нее
00:43:23 - 00:44:28
фотки откуда выгружать то есть ну понятно что если к одной фотки начинают стучаться 200 миллионов потому что условный скала отдавал фоточку со своей дочкой и просто все побежали снова сервер или скачивать от сервер ляжет скорее всего точнее даже то даже так скажем таскала добавил какой-то решеточки все начали эти фоточки цекало искать другой вопрос как еще это эта проблема решить может быть нам обновлять лента дочь популярно польза не у всех сразу вас какой-то вещью либо нам как то значит это популярный пользователей и
00:43:55 - 00:45:02
кидать на лад балансер от них запроса и уже этот вот балансер там допустим для них фактор ли прикреплю кации делать не 31 а 10 или 20 вот эти моменты то есть вот на этом моменте у нас был ступор а как нам проецировать по юзеру ляжет сразу им если вы хранили и хранение фоток проецировать по юзеру все у нас будет где очень густо где очень пуст поэтому будем раскидывать фотки и здесь у нас по повышена наверное даже не ляжет от одной фотки вот но если 10 фоток начнут загружать только примешь нагрузка 10 раз они же еще любят
00:44:28 - 00:45:55
выкладывать сразу по 10 на 1 3 4 видео какой то может понятно что это все можно попробовать как-то за кашель вытащить из кэша использует какие-то поэтому of present кулисе dnn но сидел и седина но это во первых нужно знать ну и дальше тут на самом деле можно еще к чему у тебя какая скорость скачивания нужно а какая скорость очень и может отдельной машинах какая скорость записи водку допустим вот мы поговорили сколько нам нужно место и сколько нам нужно от этого машин а может быть мы не успеваем с таким количеством
00:45:10 - 00:46:27
машин записывать эту насколько в секунду записывается 100 мегабайт в секунду вот на тоже надо это вот дальше другие вопросы можно задавать допустим вот сколько можно записывать на их где диск в секунду на рейд массив вопросик вопрос да какая скорость и дальше какая скорость скачивания и сколько сколько сервак один может держать сколько connection of можно держать его как эти connection а делать что там какой фланг пол не long пол как обновлять ленту ну вот и ему всему нужно взять меня но в целом смотри как только
00:45:52 - 00:47:09
ты вышел из табора пошло плюс-минус нормально то есть ты не понимала что делать начали да а но теперь ты знаешь что вначале ты расписываешь за роста сколько места мне нужен как тебе опыт был прикольно ну приходить следующий раз спасибо был рад пообщаться я пожар и получай десят уровень мастерства новой киеве стали будет сделан
алиф привет авиация рад тебя видеть приятно давишь немножко напряжен с wapsi на век возможно не каждый день ты окружён людьми с камерами света в микрофонами понимаю ситуация не можете привычный быть расскажи немножко про себя чем-то занимаешься что-то делаешь да я вот имею трехлетний опыт в аналитике как работают с инцестом в яндексе толока о какой полезный сервис а что ты делаешь когда сантис тавтологии расскажи я бы опустил бы [смех] не будем это поминать ну ладно как ты как ты оказался на этом стуле я да
00:00:02 - 00:01:35
просто правил энтузиазм решил сходить будь будет ли твой начальник смотреть наверное может быть каждый начальник стать ему что я узнаю может быть слышал валлаби раков валентин бирюков да да ну вот он мой одноклассник про легко одноклассник твой начальник так сложилось в этой дебюта в высшей школы экономики пошел а кто-то на мехмат пошел ну не могу сказать что он пошел высшей школы экономики хорошо мостовые встретились на непростом собеседование должен сказать что за все время имели дизайна систем дизайна один
00:00:49 - 00:02:06
человек вопрошал и эта запись еще не вышла величайшая сидит в студии но не на камерах посмотрим получится ли это изменить но даже если не получится здесь же вы не для того чтобы пройти не пройти правда для того чтобы поучиться и посмотреть и как раз такие вещи и развивают так что можно сказать что человек который прошел ни в чем просто не развился зря потратил свое время задачка простая но не оч за дизайне instagram что такое instagram от сервис которым пользуется на пусть и миллиард с копейками людей и там есть следующая
00:01:27 - 00:02:39
функциональность эти прям даже скажу какая можно загрузить или скачать или посмотреть фотку можно поискать фотку как в инстаграме сергей можно фолловить других юзеров соответственно к тебя могут половить или фолловить понятно какой здесь ударение ставить но и четвертое что есть instagram feed то есть должны тебе показываться последние фотки тех кого ты добавил друзья те камилович окей ладно чтобы начать мы подумаем для начала какая у нас будет нагрузка на сервис ok начнем с этого мы знаем сколько у нас
00:02:04 - 00:03:37
пользователю в предлагаю тебе встать у доски так будет гораздо легче где прикинуть а сколько у нас мы знаем что нас фотки будут загружаться и скачиваться правда ведь можно начать с этого сколько мы будем загружать и скачивать фоток как долго мы будем хранить и сколько это будет занимать место и запросов в секунду значит ну давайте прикинем сколько [музыка] инстаграм и юзеров полтора миллиарда вот так вот доставят use of окей хорошо весь instagram конечно но не регулярно пользуюсь ну как ты не регулярно загружать вот конечно за
00:02:54 - 00:04:16
осмотришь конечно поэтому надо учитывать и то что скорее всего это какой нибудь такое типа будет большая нагрузка на рид составляющую чем на null out загрузку файла ok затем надо пойти на сколько людей и загружают фотографии в день ну наверное там 2 3 фотки в день каждый человек каждый но среднем ты же не загружаю но я не загружаю но мож кто-то там по 10 фоток шлет есть такие люди да все мы знаем все мы знаем их да какие две фотки две фотки в день это у нас нам нагрузка какая нужно не позже 3 миллиарда фоток на в день получает до
00:03:38 - 00:05:14
3000000 пишем 3 миллиардов у то есть это сколько в секунду входа грузится окей это удобнее писать сразу как 3 умноженное на 10 как сейчас так все так примерно 10 в девятой я правда тут с одним делала system design его обманул сказал что 10 миллиардов это 10 или он меня уже даже не помню так мы и стали все считать в 100 раз больше окей это давайте приблизительно поделим на 30 почему отрицать но 24 часа в день . сколько секунду вне но все говорят 100000 на самом деле это 86400 по моему предшественниц
00:04:26 - 00:06:06
261 864 ok вам давайте это всё да да да 100 тысяч какие 10 конечно ну окей 39 на дефить 1 4 секунду до юпс отлично это и the right it right но смотрят то чаще чем вы конечно ларри саммерс коп исход видится не знаю но лента прокручиваю достаточно глубоко окей тогда это right вот нагрузка наверно на рид это блин ну пусть тысячу раз тяжелее конечно если можно не думать зачем 1 take care of shiva мы теперь знаем сколько у нас грузиться в день фоток значит мы можем терпеть сколько нам нужно место для них в день и как мы
00:05:18 - 00:07:24
будем эта храни ok но фотка там пять мегабайт на 5 мегабайт на фото китаец телефон открываешь нам надо сразу 20 вот так можно посмотреть да ну прикончишь канал 100 мегабайт секунду отличается нет я думал под общим сейчас мы хотим не ну вот мамед под подошла мы мы вынуждены сидеть вот едет охранника не надо давать мы за день и храним 3 миллиардов атака за 10 лет у нас будет столько то фоток да смотри сколько нам нужно место по dota цифровое фото мегабайт в год или сколько но не думаю что будет ну сколько
00:06:34 - 00:07:49
нам нужно вообще на 10 ли хранилище какой нужно на 10 ли аспиратор хоккей на 5 х 5 х шар опять на 10 проще окей давай так значит на вход к 1 весит сколько на 5 мегабайт 2 ты водитель играм фотки передал когда же говорят не передавайте фотки через telegram передавать файлами потому что она сжимает окей окей 2 мегабайт наверно я не знаю сколько фото количество ну пусть 500 килобайт окей 500 килобайт это одна фотка у нас фоток в день 3 на 10 9 3 на 10 в 9 в день так это у нас если мы перейдем это в
00:07:13 - 00:08:40
какие-нибудь другие единицы сколько получается это сколько 500 мегабайт 110 6 до на 10 6 до 3 на 10 6 окей я понял сейчас мегабайт гигабайт 10 раз в 3 еще 10 в 3 это получает свой работа терабайт окей 500 гбайт еще на три вещи натрия вот получается полтора петабайт а что [музыка] вы же еще или цифр немало это задний каток день на отлично а за 10 за 10 за ну вот получается надо полтора петабайт а на 10 до 360 окей 15 на на 40 а 40 вот столько из я не ошибся это что у нас будет это черта вот мы полтора петабайт умножаем на 3600
00:08:06 - 00:10:33
правильно на 3600 если мы умножаем на 1000 туна становится полтора экзабайт он уже на 36 правильно значит полтора на 36 это четыре с половиной плюс 09 хотелось 5 4 5 4 экзабайт но это притом что мы взяли фотку за 500 килобайт на самом деле фотка может быть 200 килобайт надо смотреть как там уже мая распределение до хвоста можно и ужать так хорошо мы теперь знаем сколько она все фотки на 10 лет нужно хранить прекрасно мы знаем нагрузку на right in a ride теперь у нас какой функционал нам нужно загрузить
00:09:50 - 00:11:14
фотку посмотреть фотку да нам нужен какой-то fit и нам нужно поиск поиск в конце ставим таки попробуем сейчас нарисовать схему как это будет выглядеть на верхнюю равнину словно на одной машине таки одна машина наверное нам нужно как-нибудь типа хранилище фоточек для чего начнем вообще какой-то хранилищ такой вот значечек и наверно нам нужно оформить хранилище именно под фоточки то здесь там условно метаданных методом а тут а нам какая-нибудь там не знаю не знаю какого знака назначить и пускай будет
00:10:32 - 00:11:57
это вот фоточки туда the lake ну да вот проще пусть это будет мета а это будет иметь строить как компания значит у нас есть человечек него есть наверное да то есть скорее все это будет как-то два сервиса один норовит один на grid разделим их и возможно на то чтобы ride ну о чем идея какая в том что я листаю например не всюду ленту до конца там полтора годового скорее всего нужно только часть лента поэтому нам нужен какой-то там типа кошек которые почти уже пошел в плохие верхней уровне нарисую смотрели верхние уровни во
00:11:14 - 00:12:55
идет собственно верхнем уровне от вины по нарисовал уже сюда и сюда открепляется это понятно что и raider ли ты туда и дается дойти до да так все верхние уровни у нас есть то есть мы можем что можем загрузить мы можем прочитать и наверно там где прочитать можем и поиск когда по таким когда он вообще хорошо все таки теперь мы знаем что у нас пользователи больше одного да и у нас разный могут связи с этим штуки тем попробуем теперь нарисовать схемку уже очень более детальные подумать какие в ней должны быть момент причем ее
00:12:15 - 00:13:32
нарисуем ok в общем начнем с того что я упомянул наверное это наверное сделать эффектный вид зачем-то нужна пешек на рид чего лента на вид ленты фондах загрузки идея какая наверное чтобы разгрузить немножечко вот именно вот эту вот стрелочку так она будет меня жирненькая the cash это будет побольше стрелочка то есть мы отгружаем из сервиса какой-то кэше он считается теперь нужно подумать прежде чем считать какие-то кэш и какие у нас вообще должны быть таблички окей и прозрачность ok но нам нужна
00:13:00 - 00:14:28
сотри верхняя но уже загар 5 внизу просто 54 экзабайт запомнили и запросы выведи куда ты-то что думаешь начинали заново [музыка] значит нам нужно какие-то сущности сущности наверное это будет какой-нибудь юзер юзер так хорошо но для него то наверно комментам информация то его ключ что еще нам нужно локейшн пока подумай какие на вообще вверх уровне могли вьюер покидающего шанс use наверное лента но потом они лето милена карно это делается это комбинация список фоточек ну ты же кого-то фолловишь а то
00:13:47 - 00:15:16
есть нужно понимать кого-то файле и чтобы строить ленс ограждена точно ноги это типа отношения user user [музыка] то есть типа признак так так сказать fauzer полу туда useful параличу и дира узнаешь колода начал давать правда ведь и что то еще или хватит еще фоточки фоточки то есть какую фоточку какой юзер загрузил города получается да отлично теперь нам нужно наверное какие то там атрибуты верно нужно прикинуть чё там будет этих таблицах сколько вы вместо они займут да окей юзер ключ его наверное еще какие-нибудь данные типа
00:14:41 - 00:16:17
его месторасположения тебя не знаю что нибудь еще там на сколько нам это нужно но если мы планируем масштабироваться наверное мы можем разгружать сервер но сервис на разную географию и а как он этот логично определяется записывать каждый раз tiger опять а печник они каждый раз перезаписывают моему нет маму один раз записываемого пищи мощными буллинга ладно согласен тогда ошибочка то есть зачем это в таблице записывать и за это на входе определять окей через через что какой-нибудь там online streaming and
00:15:39 - 00:16:53
look better make it an orgy что еще одна фотка это ключ и юзера мы еще сама фото pov ну айдишник да в общем то скорее всего просто фото паса и все лишнее ключ чтобы считать его с и матче тораджа окей теперь юзер юзер как-то можно похоронить а что нам нужно вам хранить но там нам нужно просто блин ну то есть нам нужно там хранить либо два ключа каждый как-то тяжеловато magic оторвал вот представьте на питоне пишешь для вазов вот тебе нужно вытащить для одного юзера всех кого он провода все и понятно
00:16:16 - 00:18:08
тогда лучше организовать и тогда aктepы юзера его список фолловеров понятно юзер и там это тебе сразу помогает ответить на то какую базу данных те нужно использовать память и реляционные базы данных здесь ну потому что китай что меняя их первым киви или то есть а для фотки какая база данных нужно нужно реляционной ну ладно окей да себя какое отношение тоже киви он у меня здесь да ну то есть хорошо тут тут так же вы возможно и не стрельцы он на и отношению те есть это юзер ну и дальше вопрос насколько тебе важно
00:17:15 - 00:18:35
насколько важно в как часто будем к ней запрашивать враги и зла димона сейчас подумаю так но теперь подумаем другое лучших сколько нас каждый зритель bass пусть место занимать хорошо надо плюс-минус оценить сколько весит там каждая каждый ключа кей ключ юзера можете какая-то мета это оставляя на ну хорошо нажмем на 4 начнем на фильм начнем user user что там у нас как мы юзеры хранить юзер маханием какой нибудь типа там не знаю а славно шишек да пусть будет интер считаем вот и тех кого он фолловит мы храним тоже как
00:18:02 - 00:19:29
списком правда да но сколько в среднем будет у человека у кого он положит но 34 нет нет больше читая это но пусть в 34 ok мне оказалось после той 4000 34 сколько ты фолловишь у меня немножко насколько на стоны ноту меня тоже ведется только а у кого-то 0 потому что у кого-то вообще не окей 100 and часа 4 кей фоточка она с юзерам определить м-64 на а фоточка это должна сначала посчитать сколько на базу и там окей сколько на базу у нас полтора 1000 полтора миллиарда блин полтора миллиарда до 5 10 и 9 10 и 9 на что на сколько байт
00:18:57 - 00:20:34
на 88 на нашел но и . ким получается 12 на 10-12 часа почему умножаем на 100 юношеству пользователю каждого да если на них тоже нужно тут все так да я просто думал таки хорошо по 2 на 8 это но это 12 запишем это как 12 и десяточку вынесен на 10 10 10 12 это байт теперь тройка убираем это что становится килобайт она окей я помутило мега вещь giga giga terra r12 терабайт очень это вот follow . под фотки мы уже плюс-минус потянули на самом деле уже во сколько нам охраняющему но этот дурак записали с учетом того что
00:19:58 - 00:22:05
нас новых пользователь не будет появляться да да да сможем добавить еще какой-то с учетом что какие-то новые будут появляться надо новый поток никакие да это понятно может быть это будет и завышена кнопка нет нас вы словно заниженный оценка получилось для этой штуки окей так теперь что-то еще так теперь фотки фотки фотки мы хранилище посчитали нам нужно только получается все равно что то какая то инфа да только не очень-то комета информацию это условно юзер который я запустил 64 и еще тоже какой-то там и печник фотки нам
00:21:23 - 00:22:44
тоже не чудище наверно когда запустим уж к этим последней фотке фиде выдавать прожив точно какие-то там дата фото все 4.4 того 3 на 10 64 10 смотри тут есть одна одна проблема если найдем в келью у нас ключом будет являться что фото или юзер я понял наверное так и так надо да это тоже про нее ну мы можем объединить очень задачами может разуметь две таблицы 1 1 user ключи его фотки то есть так окей я понял я просто думал что можно сделать что-то типа объединить ключи это будет ключ пор упругой и
00:22:06 - 00:23:51
большой палец был я тоже поэтому я думал что типа окей мы объединяем фото паз и юзер и прописываем они просто я так понимаю основной основная суть и вылью хранили что ты по ключу к чему-то дохода конечно это можно как-то перья наверное используют такие ключи ниш не храня доб что-то сделаем 2 так надежно очень получается x2 а 10 что все 4 10 на 8 на 10 по точно действует не на 10 лет кладно еще на 10 10 господин себя четыре что 4 до 8 бар до сколько 84 там где-то потеряли вот это мы сейчас про фотки говорим да да да вот так мы
00:23:10 - 00:24:51
грузим сколько мы писали 3 на 10 в 9 до 30 это секунду те три миллиарда вспомнить до 3 на 10 это в секунду в секунду дарят и в этот день мы ну нам же нужно на 10 лет посуда да еще на то есть 3 на 10 в 9 на минут это все еще в 9 на 1005 к чему ты 624 тыс от 5 и надеюсь еще ok поехали 11 12 730 4 ки mt5 вот ты часть key 150 на 10 короче сделаем это группа максимально грубо 10 в 13 вот на арифметики то все его лица проще капец сказал кей 10 попробуем еще раз на завод к носок от мы мы грузим 3 на 10 9 правда фотки мы еще
00:24:35 - 00:27:09
что идем мы даем когда она соуса создана то есть пишем 3 на 10 9 надень на 3 на 3 на 10 9 на 10 на 306 5 3 на 10 будут окей с нуля давай 3 на 10 9 т.е. на 10 с 9 на 10 на 10 на 365 тыс теперь это все умножается еще на что-то в скобочках в скобочках у нас пусть будет фото айди пусть будет фото иди которые мы просто отойди пусть у нас будет 8 байт юзера и digo sim white и дата восемь байт из фруктов восемь байт то есть двадцать четыре байт окей 24 правим на 8 на 3 умножить на 8 над на 1 или на 24
00:27:17 - 00:28:55
8 на 3 на так дальше [музыка] значит 10 в 10 здесь умножить на 3 и 6 умножить на 10 во 2 умножить на 3 умножить на 2 . 4 умножить на 10 то есть это 10 в 13 умножить на 7 и 2 умножить на 36 правильно то внутри 6 7 и 2 на 3 это 21 6 правильно 26 + по пусть пусть от этого будет 4 то есть ну пусть будет 26 26 умножить на 10 13 это 2 и 6 можно 10 в 14 но 2 6 тысячи четырнадцатый байт мы погнали ok снова мега-мега начал кило яблоки в его 11 мега-мега 9 8 гигов 5 5 терьера 2222 исключается 260 терабайт
00:28:08 - 00:30:47
total но терпимо окей мы посчитали того под хранилище фоток под юзера с фулловым так ну забыть видео vip вы где то выхожу это на чем это вот то стоит и что мы ещё один два терабайта followers of weeks 1 2 3 так ну и хорошо но и по юзерам у нас тоже какая-то табличка будет но она тоже будет такая типа порядков а lovers да ну как не боль не больше . дашина даже скорее всего меньше потому что у нас по fall over 100 полей как users за оттуда нас этих полей пусть будет 10 она будет находиться 20 гигов а то еще меньше ну пусть 122 все
00:29:41 - 00:31:26
остальное стирай так мы с тобой система уже на одной машине нарисовали правда теперь нам нужно подумать как нам вести надежность и передан денси макей значит ладно но это же думаю серетид да да это я буду сейчас все переделать в общем и донбассе на первое мы можем сделать для надежности это мастер своих типа условная это хорошо как мы сначала смычок понимаешь нас тут будет определенная система учит мечтам и данные будем как-то сортировать партиции ровать надо ты же в яндексе работаешь на и налить
00:31:09 - 00:32:42
регулярно ходит верни гости какой-то пользователь девятого уровня нет игроков наверное таком 5 ну как к наверное сколько яндексе работаешь меньше года но чуть меньше q но пляж нарекания чительно мастер выйти и пользователей киев ты что своей чести не знаешь ты не хочешь над доставка ходишь хожу конечно регулярно на свой других слов глен скорее всего 5 важного портирование ты знаешь соответственно подумал как мы можем здесь profits и ровать полый почему то есть у нас будет много серверов правильно да нагрузка между
00:32:01 - 00:33:22
ними мы хотим чтобы было распределено при смене да даже мы можем сделать окей первая по гиа на верном пути позор так по гиа вот такая мысль типа вот юзер здесь делает запрос ok давайте его в инстаграме кого из известных людей фолловишь ну окей например американских людей у кого-то фолловишь instagrammers ты стесняешься сказать хоть я скажу к выехал я же не помню нижней вполне на звезды не зафолловят ладно друзей друзей такие друзья не интересно представь фолловят сколько в максимуму самых популярных чуваков инстаграме
00:32:46 - 00:34:16
последователи ok но 2 миллиона где то есть супер твист python не самый популярный они эти великие 200 миллионов без ты предлагаешь по географии и держать то есть вот я пользователь я зашел на какой сервак мне нужно достичь посмотреть загрузить фотку правильно я понял make как мы будем от гарнировать партиции ровать если сам скала сном популярные американцы то да тогда будет все ломается нет я просто думаю что например еще собирался партиции ровать момента да это просто очень много дан потребуется
00:33:33 - 00:34:57
типа место в уже понял что многомерности оттуда эти 4 заповедь если окей так хочу когда же 5 4 экзабайт африке скупки машин нужно на но сколько прикинем сколько машина может хранить несколько терабайтов 10 точно может помочь ли что может фатально дарий стоек кучу хорошо то есть 100 терабайт может машинах радиальный сколько машин нужно под супер обед 5 миллионов что до неба бог с тобой петард и пастора боится значит тысячи машин это 100 петабайт правильно да значит 10 тысяч подожди я спешила репликация
00:34:19 - 00:35:49
нам нужна какая конечно ну да еще типа то есть еще до это кажется h150 то есть машина у нас нормально в принципе нам же банально хранить где-то это нужно это да а чтобы такое хранить по-моему там же есть какая связь между количеством ядерным процессором эту тем сколько у тебя может быть что оперативки что жесткого диска или я ошибаюсь ну ладно я тоже ну с оперативкой точно и взаимосвязь да хорошо хорошо как же мы шарди рование будет ванна вариантов не много на самом деле то есть первое это либо
00:35:06 - 00:36:25
мы разбиваем по локации запроса получается только подумаем у нас мы доступ к чему и делаем мы делаем таблицы users мы когда отправлен запрос на сервер серы в итоге что нам будет скачивать картин картиночку да как дальше у нас мы знаем бывают очень популярны и пользователя до которые могут иметь 200 миллионов последовательно теперь представь что мы стиви у этого пользователя кладем на один сервер он падает до нем поместиться на будет тяжело вообще вообще на самом деле я бы сделал здесь двойной уровень шапки даже не
00:35:50 - 00:37:20
шарнирами то есть я бы скажем так раскидывал по почему ключа по юзер кей нью-йорке то что у нас арсенале нет я я имел ввиду как можно уменьшить нагрузку на еще уменьшить пользователь картинка то есть по картинке то есть если я захожу на условного пользователя половлю которую 200-ми на пользователей я скачиваю картинки на озере раз разных да а если еще дальше подумать то я же могу вот дальше то есть я захожу меня перекидывает на какой-то условный сервак который дальше меня еще внутри себя балансит на другие серваке
00:36:43 - 00:38:00
правда ты словно говоря у меня эта картинка находится на каких-то 5 серваках и между этими н серваках и между этим сервака меня перекидывает зависит от того какая там нагрузка но изначально меня кидает по картинке у нас смогли единица нагрузки картинка оттенка которые я уже дальше могу реплицировать на 3 сервера то есть как минимум если мы про репликацию подарили x3 а дальше можем же водить если картинками популярное скачивается больше роста мы и в принципе можем за хэши как ok правда да да ok это пока
00:37:21 - 00:38:38
пока так ну теперь вот у нас значит что подумают мы моем у нас такие как как я псих как как кошелек номер в плане как какие в хэш-функции можно применить как от некоторые хэшировать для проецирования dapper тестирование procon стон fishing consist in gas vacancies я тоже мне сделать короче ладно то я попробую нарисовать он осталось немного времени нарисуем систему уже с учетом редант ниц и что у нас есть хоккей у нас есть хранилища и не начни с пользователем окей давай оттуда пришел пользователь
00:38:03 - 00:39:22
пришел юзер него есть мак мобилочка так дальше а запрос отсылается запрос приходит куда до запрос отсылается куда-то куда он приходит в [музыка] вот балансе блуд делать который говорит такие лет либо вид запрос либо райт запрос допустимо to ride запрос на ok если это и запрос то тогда что нам нужно он учится в базу данных followers ну точнее скажем так мы допустим ленту хотим посмотреть города значит лента может быть уже при компьютер быть правда да все так то есть он бьется какой-то cash cash окей
00:38:52 - 00:40:20
так конеч нас понятно откуда считывается а еще какая же у нас считывает что он читает у нас табличку но дед на какой-то сервис который читает табличку followers да берет из нее users из этого users он берет картинки берет top н последний когда и отсюда идет стучится в торгую хранилище получается картинок и выгружает но мы можем типа как обсудили тут немножечко так сказать чтобы погружалась но это вот нам уже у нас уже не будет времени сейчас учесть да короче здесь можно по словам расправились загрузку
00:39:47 - 00:41:16
картинки и ну вы не параллели за счет того что у нас в принципе все будет раскидано по разным точкам правда ведь природа окей пост на самом деле мы же можем разные вещи делать картинках загрузку картинок им одним образом партиции ruim потом дальше мы протестируем загрузку ленты другим образом ok никто что не мешает и не брал не сразу в плане доступности до можно так сделать ты мне сначала ну так я зашел юзер юзера определили хэш по хорошо понятно на каком ти ракетка хранится его кэш дальше я стучусь если кэш есть все
00:40:35 - 00:42:03
выдаем этот кэш и если его нет или он обновляется он дальше то делает этот сервак стучится по ключу юзера уже известно потому что он всегда стучится он же ему известно носитель он стучится берет фолловеров все так от фолловеров он стучится а в картинке отваров он стучится в yuserg yuserg yuserg фото а фото дальше известно хранится на каких тачках да потому что тоже хранится через consist in hearing у него есть внутри адрес на книгу каждый сервис на кастинг 1 будет почитать что такое у него есть внутри адресная книга
00:41:18 - 00:42:41
которая говорит какой диапазон ну ответь отвечает какая машина да окей таким образом мы распределили загрузку картиночки ну тут можно все это короче mute это считывание картиночки дамы расстроили теперь про про запись картин , девочки тоже самое только там никакого конечно быть не должно ну да то есть мы просто сразу мощи наверное да мы можем сразу напрямую как-то запись ядер записывает картинку то есть у него что уже есть у него есть айдишник этого юзеров мы его записываем в юзер фото а фото мы берем хаяши кидаем
00:41:59 - 00:43:27
на какую-то тачку не нужна ли нам промежуток между молитесь и вот здесь я думал она нужна мне кажется она стремится и закончу поэтому разберем какие принципе я думаю что часть мы уже разобрали то есть из моих советов ты вначале не знал что делать ты и вот просто стула shows for поэтому я тебе помогал первое что ты делаешь всегда это ты социально требования были даны ты начинаешь списывать нагрузку коко запросов в секунду сколько мне нужно хранилища какие у меня связи с функциями требуемыми отношения сколько
00:42:45 - 00:43:58
хранилище нужно для них отсюда ты понимаешь как те машин нужно дальше ты рисуешь общую схему для работы на одной машине да и в принципе написал потом мы начинаем думать а как же нам улучшить и даже не улучшить обеспечить доступность намного major'а ну и и тут возник самый важный вопрос это как партиции ровать в принципе понятно как проецировать по юзеру даст условно говоря подгружать для юзера ленту где ее подгружена хранить но здесь просто по юзеру но как уже эту ленту генерировать где для нее
00:43:23 - 00:44:28
фотки откуда выгружать то есть ну понятно что если к одной фотки начинают стучаться 200 миллионов потому что условный скала отдавал фоточку со своей дочкой и просто все побежали снова сервер или скачивать от сервер ляжет скорее всего точнее даже то даже так скажем таскала добавил какой-то решеточки все начали эти фоточки цекало искать другой вопрос как еще это эта проблема решить может быть нам обновлять лента дочь популярно польза не у всех сразу вас какой-то вещью либо нам как то значит это популярный пользователей и
00:43:55 - 00:45:02
кидать на лад балансер от них запроса и уже этот вот балансер там допустим для них фактор ли прикреплю кации делать не 31 а 10 или 20 вот эти моменты то есть вот на этом моменте у нас был ступор а как нам проецировать по юзеру ляжет сразу им если вы хранили и хранение фоток проецировать по юзеру все у нас будет где очень густо где очень пуст поэтому будем раскидывать фотки и здесь у нас по повышена наверное даже не ляжет от одной фотки вот но если 10 фоток начнут загружать только примешь нагрузка 10 раз они же еще любят
00:44:28 - 00:45:55
выкладывать сразу по 10 на 1 3 4 видео какой то может понятно что это все можно попробовать как-то за кашель вытащить из кэша использует какие-то поэтому of present кулисе dnn но сидел и седина но это во первых нужно знать ну и дальше тут на самом деле можно еще к чему у тебя какая скорость скачивания нужно а какая скорость очень и может отдельной машинах какая скорость записи водку допустим вот мы поговорили сколько нам нужно место и сколько нам нужно от этого машин а может быть мы не успеваем с таким количеством
00:45:10 - 00:46:27
машин записывать эту насколько в секунду записывается 100 мегабайт в секунду вот на тоже надо это вот дальше другие вопросы можно задавать допустим вот сколько можно записывать на их где диск в секунду на рейд массив вопросик вопрос да какая скорость и дальше какая скорость скачивания и сколько сколько сервак один может держать сколько connection of можно держать его как эти connection а делать что там какой фланг пол не long пол как обновлять ленту ну вот и ему всему нужно взять меня но в целом смотри как только
00:45:52 - 00:47:09
ты вышел из табора пошло плюс-минус нормально то есть ты не понимала что делать начали да а но теперь ты знаешь что вначале ты расписываешь за роста сколько места мне нужен как тебе опыт был прикольно ну приходить следующий раз спасибо был рад пообщаться я пожар и получай десят уровень мастерства новой киеве стали будет сделан
00:46:35 - 00:47:30