Марија, Влатко, Филип и Александар се студенти од нашата Академија за Data Science, а воедно и едни од најдобрите студенти кои покажаа голема амбиција и интерес кон „играње“ со податоците и изработија успешни проекти. Како еден од реалните проекти на кој тие работеа е проектот за реалниот клиент – Jägermeister.

Овој пат, тие имаа задача да изградат модел што ќе препознава фискални сметки или фактури од слика, како и вадење на текстот од таа слика. Мотивот на проектот е да се додели награда на најверните потрошувачи на Jägermeister.

Со целосна автоматизација на моделот што го изградија тие, им заштедија многу време на вработените во компанијата, во однос на мануелно проверување на илјадници слики на ден за да видат: прво, дали воопшто сликата што е пратена содржи фискална сметка или фактура, и второ, дали фискалната сметка или фактура содржи производ на Jägermeister.

Си поразговаравме со Марија, Влатко, Филип и Александар за нивното искуство на Академијата и работата на овој реален проект

Здраво колеги, пред сѐ честитки и огромно браво за вашата истрајност и совладување на една од најинтензивните и „најтешките“ Академии. Како се чувствувате сега со новите стекнати вештини и успешното совладување на овој реален проект?

Дури ни е чудно како за една година ги стекнавме овие вештини и успеваме да работиме на вакви проекти. Нормално, убаво е чувството по изработување на ваков проект и негово имплементирање. На почетокот, ни беше предизвикувачки, но, секогаш првиот чекор е најтежок. Успеавме добро да се искоординираме и успешно да го завршиме проектот во рок од 3-4 недели.

Александар и Филип имавме шанса да ги запознаеме преку изработката на нивните проекти за „Најдобриот кошаркар на сите времиња“ и „PowerBI визуелизацијата за Netflix“. Сега е редот да ни се претстават Марија и Влатко. Што вие би ни споделиле за вас?

Влатко:  Хај! 🙂  Многу ми е мило пред сѐ што ја имав оваа можност дадена од Brainster, да работам на проект за клиент и да добијам нови искуства, знаења и фидбек. Мојот ентузијазам за оваа област се јави пред една и пол година кога по случајност наидов на едно видео каде што се запознав со областа на машинското учење. По неколку завршени онлајн курсеви за Data Science, видов дека сѐ уште не се снаоѓам и дека немам насока. Со амбиција за повеќе, барав едукација и ја најдов најдобрата, Академијата за Data Science во Brainster. Brainster ми пружи прилика да добијам насока, знаење, работа на реални проекти и тим. Тимот на инструктори и student success ми беа најголема инспирација за јас да ја завршам оваа интензивна програма со многу добри резултати и да бидам спремен за натамошните предизвици што ме очекуваат.

Марија: Здраво, задоволството и можностите се безбројни кога станува збор за соработката со Brainster. Мотивацијата којашто ја добивме, а и сѐ уште ја добиваме од самите инструктори, координатори и целата организација на Brainster e огромна. Јас како дипломиран компјутерски инженер, се одлучив на чекор кон усовршување и насочување кон Data светот. Најдобрата опција, секако беше Академијата за Data Science на Brainster. Изработката на самите проекти ги покажуваат резултатите на успех! И секако, секоја препорака за Академијата на Brainster, за тие што се ентузијасти и секогаш спремни за нови предизвици како мене!

Зошто се одлучивте баш за кариера во областа на Data Science?

Флексибилноста што ја нуди оваа област е беспрекорна. Денес е од многу голема предност да ја имаш моќта за оптимизација, автоматизација и подобрувања, сето тоа базирано на податоци. Data Science покрај тоа што претставува една од најбрзорастечките професии денес, пред сѐ, поради фактот дека обработува проблематики  од најразлични сфери, а исто така е и една од најкомплексните. Самиот куриозитет што го поседуваме, надополнет со наклонетоста кон програмирањето, беа веројатно причините зошто се насочивме кон Data Science, а со тоа да направиме и кариерна промена.

Раскажете ни повеќе за реалниот проект на којшто работевте пред скоро време? На што точно се однесуваше проектот?

Историјата на Jägermeister започнува во 1934 г. со една инспиративна идеја за производство на пијалок од страна на Curt Mast во Германија, Wolfenbüttel. Како веќе широко распространета фирма, интернационално позната во многу земји, мотивацијата за овој проект доаѓа од една агенција од Бугарија – The Locals, која директно работи за Jägermeister. Поради грижата за своите купувачи и посветување внимание, оваа фирма одлучи да ги награди своите потрошувачи со споделување на поклони во вид на наградна игра.

За реалниот проект, требаше да се изготви модел за дефинирање на награди за лица кои купиле продукт од Jägermeister, учествувајќи преку апликација на која испраќаат слика од сметката која го содржи продуктот. Наша задача беше да го автоматизираме делот на класификација и верификација на испратените слики, активност која дотогаш одземала многу време со оглед на тоа дека претставувала мануелна работа.

Во кои фази се одвиваше вашиот проект? Раскажете ни за секоја посебно.

Проектот се одвиваше во неколку фази.  Прво, требаше да се оствари комуникација со клиентот со цел полесно разбирање на неговите потреби и желби, а потоа и дефинирање на сите податоци кои би биле потребни за имплементација на ваков проект. Потоа, се дефинираше тимот кој ќе работи на проектот и беа распределени насоките по кои ќе се движиме, кои материјали ќе ги разгледуваме, како и поединечните обврски околу проектот. Следуваше делот кој одзема најголем дел од времето, а тоа беше истражувањето. Во оваа фаза ги разгледувавме материјалите кои ги поминавме на Академијата, во модулот за Machine Learning, а кои би ги искористиле за овој проект, но, исто така направивме и online research, особено за делот на OCR.

Следно беше дефинирање на податоците кои ќе бидат искористени за тренирање на моделот. Клиентот ни достави податоци од нивната база, но тие не беа доволни за да се добие модел со висока точност, па ние ги дополнивме со уште неколку илјади слики кои го овозможија тоа. На крај, беше програмерскиот дел, каде беше изработена архитектурата на моделот, кој беше потоа имплементиран во апликацијата изработена од студентите од Академијата за Full-Stack програмирање.

Со кои техники и алатки се служевте за да стигнете до финалното решение? Кои беа предизвиците и како успеавте да ги надминете додека работевте?

Со оглед на тоа дека требаше да изработиме модел за класификација на слики, нашето решение се користеше   со техниките на Computer Vision. Истото го проширивме со елементите на OCR, кој се користи за препознавање на текст од слика, а во нашиот случај беше употребен за испишување на текстот од сметката и нивно зачувување во посебна променлива, со цел за полесна понатамошна контрола.

Главниот предизвик со кој се соочивме при работа на овој проект беше правилната класификација на сликите, со оглед на тоа што требаше да се разликуваат сметките/фактурите кои ги задоволуваат барањата за добивање на награда од преостанатите слики. Овој предизвик го надминавме со поделба на три можни исходи (сметка, фактура, останато), кои понатаму беа филтрирани со помош на OCR врз база на текстот кој го содржеа самите сметки/фактури. Исто така, како клучен фактор за зголемување на точноста на моделот се покажа дополнувањето податоци со неколку илјади слики, што резултира со финална точност од над 98%.

Што сѐ е потребно за да се сработи успешно еден реален проект и да се дојде до финално решение кои ги содржи сите функционалности и барања на клиентот?

За успешна изработка на еден проект потребно е за почеток да се разберат барањата на клиентот, како и самите податоци. Податоците претставуваат клучен фактор кој ќе го дефинира решението, па затоа есенцијално е истите да бидат валидни и во соодветен формат, потребен за нивна преработка во некоја ML архитектура. Исто така, неопходно е да има добра внатрешна соработка тимот кој работи на еден проект, како и точно дефинирани обврски и правила по кои ќе функционира самиот тим.

Кои се најдобри практики во областа на Data Science?

Data Sciencе сферата е толку брзорастечка и комплексна што е тешко да се дефинираат најдобри практики за успех во истата. Најверојатно, најголема улога игра подготвеноста на поединецот да учи цело време и да се надградува, работејќи на проекти. Тука, се подразбира дека се потребни претходни знаења од различни сфери, пред сѐ: статистика и програмирање, а често и  бизнис познавања.  Исто така, за успешна кариера во оваа сфера придонесуваат и одличните комуникациски вештини.

И за крај, најважната лекција што ја научивте од оваа соработка?

Од оваа соработка, како најголема лекција која би ја издвоиле би била таа дека: кога се работи во тим кој функционира на иста бранова должина, во поглед на разбирање, ентузијазам и желба за работа, успехот на еден проект е загарантиран.