Algebra liniowa, statystyka i analiza matematyczna. Na dobry początek w machine learning

Algebra liniowa, statystyka i analiza matematyczna. Na dobry początek w machine learning

– Proces zniechęcania kobiet do nauk ścisłych zaczyna się jeszcze w szkole podstawowej, kiedy wmawia się dziewczynom, że tylko z powodu swojej płci nie mogą być dobre z matematyki. Kiedyś w gimnazjum usłyszałam, że „na mat-fizie to są same babochłopy”. Dlatego od podstawówki trzeba zadbać, aby dziewczęta nie wstydziły się, że lubią matematykę – zauważa Karolina Drabent, członkini i była prezeska stowarzyszenia ML in PL.

Karolina Drabent była prezeską, a obecnie jest członkinią stowarzyszenia ML in PL – organizacji skupiającej pasjonatów uczenia maszynowego na polskich uczelniach, którzy promują i rozwijają machine learning w Polsce. ML in PL to też organizator jedynej w Polsce i największej w regionie Europy Środkowo-Wschodniej konferencji poświęconej kwestiom machine learning na styku nauki i biznesu. Karolina jest w trakcie uzyskania tytułu magistra na Uniwersytecie w Amsterdamie, gdzie zgłębia tajniki świata sztucznej inteligencji.

Jaki był najciekawszy projekt, w którym brałaś udział?

Temat, który nie został ukończony przez pandemię, a który bardzo mi się podobał, to klasyfikacja szkiców. Wizja komputerowa wydaje mi się obecnie mniej interesująca, ale akurat rysunki są bardzo ciekawe, ponieważ każdy w inny sposób oddaje esencję tego, co widzi. Z kolei kiedy byłam na stażu w Samsungu, zainteresowałam się tematyką humoru i próbami zrozumienia go przez algorytmy. To jeden z aspektów, które odróżniają człowieka od sztucznej inteligencji. Jeśli dojdziemy do etapu, kiedy AI zrozumie, czym jest humor, będziemy mogli lepiej porozumiewać się z tą technologią. W przyszłości chciałabym się zająć algorytmami przetwarzania języka naturalnego i algorytmami grafowymi, a także wykorzystaniem machine learning do planowania przestrzeni miejskiej.

Czyli twoja kariera będzie związana z machine learning. Planujesz coś konkretnego?

Mam oczywiście jakiś plan, choć nie oznacza to, że będę się go kurczowo trzymała. Chciałabym zacząć studia doktoranckie, ale po wysłuchaniu różnych opowieści myślę, że nie będę robiła tego w Polsce. Kiedy rzucałam studia magisterskie w Polsce, wszyscy mi to odradzali, bo twierdzili, że nie będzie mi się chciało wracać. To dość częste podejście w naszym kraju, bo ludzie uważają, że trzeba zrobić wszystko naraz, co moim zdaniem nie jest najlepszym rozwiązaniem.

Kiedy zaczęłam studia w Holandii i mi się spodobały, pomyślałam, że spróbuję kontynuować karierę naukową. Lubię też uczyć, więc jeśli mogłabym kiedyś wykładać, byłoby to świetnym rozwiązaniem. Wiadomo, że w sektorze prywatnym zarabia się więcej, zatem nie wiem, czy w pewnym momencie ten argument nie przekona mnie do zmiany zdania. Zresztą zawsze można próbować łączyć obie aktywności. Chciałabym też kiedyś spróbować swoich sił na stanowisku zarządzającym ze względu na moje doświadczenie w ML in PL i satysfakcję z organizowania różnych przedsięwzięć, a także robienia czegoś dla innych ludzi.

Masz jakiś pomysł na zainteresowanie nowych osób światem machine learning?

Mam nadzieję, że stowarzyszenie ML in PL, którego jestem członkinią, a przez pewien czas byłam też prezeską, ciągle będzie się rozwijać. Dużą moc mają różnego rodzaju meetupy, spotkania, gdzie buduje się społeczność, a także prowokuje ludzi do myślenia i rozmawiania na temat machine learning. Konferencje są również świetne, ale ich wadą jest to, że odbywają się raz na rok, a warto się spotykać częściej. Innym pomysłem, już realizowanym, są letnie szkoły. Niedługo też pojawi się nowa inicjatywa ML in PL, o której jeszcze na pewno usłyszymy.

W rozwój i promowanie ML w Polsce powinny się włączyć również uczelnie, np. poprzez różnego rodzaju konkursy, ale przede wszystkim przez organizację dobrze prowadzonych przedmiotów związanych z uczeniem maszynowym. Słyszałam, że ostatnio Uniwersytet Warszawski uruchomił ciekawe studia magisterskie z praktycznymi przedmiotami dotyczącymi uczenia maszynowego. Jednak na efekty musimy poczekać, aż pierwsi studenci skończą ten kierunek i będą mogli powiedzieć więcej na ten temat.

Czy według ciebie jest jakiś konkretny sposób, który pomoże przyciągnąć więcej kobiet do nauk ścisłych?

Dobrym przykładem są inicjatywy fundacji Perspektywy, która m.in. organizuje konferencję Women in Tech Summit, aby zmienić wizerunek politechnik i nauk ścisłych jako przeznaczonych tylko dla mężczyzn. Brałam również udział w inicjatywie tej fundacji, ucząc dzieci programowania, co było bardzo ciekawym przeżyciem.

Warto jednak pamiętać, że proces zniechęcania kobiet do nauk ścisłych zaczyna się dużo wcześniej, np. w szkole podstawowej, kiedy wmawia się dziewczynom, że tylko z powodu swojej płci nie mogą być dobre z matematyki. Albo że chłopcom lepiej poszło na teście, bo są chłopcami. Kiedyś, jeszcze w gimnazjum, sama usłyszałam, że „na mat-fizie to są same babochłopy”. Dlatego aby odwrócić ten proces, trzeba zacząć już w podstawówce, aby dziewczęta nie wstydziły się, że lubią matematykę.

Na informatyce na moim roku było może z 10 proc. dziewczyn, przez co sama miałam "syndrom oszusta", czyli czułam, że niekoniecznie powinnam tam być. Przez chwilę, kiedy studiowałam na Uniwersytecie Warszawskim, zauważyłam, że uczelnia zaczęła stosować feminatywy np. w korespondencji mailowej, co w moim odczuciu jest świetną decyzją.

Na szczęście nie miałam zbyt wielu seksistowskich przeżyć. Jednak te, które mnie spotkały, na pewno nie sprawiły, że czułam się tam przyjemniej. Dlatego lepiej by było, gdyby więcej prowadzących było bardziej świadomych tego, co mówią, i jaki to ma wpływ na młodych ludzi. Natomiast z opowieści znajomych, które studiują na innych uczelniach i kierunkach ścisłych, słyszałam, że bywa z tym znacznie gorzej.

Twoja praca dyplomowa dotyczyła generowania zapisu nutowego na podstawie nagrań rąk pianistów. Czy jeszcze nad tym pracujesz?

Nie. Mieliśmy na to za mało czasu – praca inżynierska to jedynie ostatnie pół roku z trzech i pół roku studiów. Poza tym nie miała ona charakteru badawczego, ponieważ zbyt dużą część pracy musieliśmy poświęcić na prezentację wyników i budowanie wielu funkcjonalności, a nie na opracowanie samego algorytmu.

Czy uważasz, że ktoś, kto nie ukończył studiów kierunkowych, może sobie poradzić w świecie machine learning?

Na pewno tak, ale będzie to ją lub jego kosztowało sporo czasu. Głównym wyzwaniem jest zrozumienie podstaw matematycznych, ale jeśli ktoś chce, to po prostu musi nauczyć się paru rzeczy, takich jak algebra liniowa, statystyka czy analiza matematyczna, szczególnie pochodne. Z tego powodu osoby, które skończyły studia matematyczne, nie powinny mieć problemu z ML. Z drugiej strony jest część związana z programowaniem, którą trzeba w pewien sposób przyswoić, ale też niekoniecznie na jakimś bardzo wysokim poziomie. W praktyce używa się głównie Pythona z odpowiednimi bibliotekami programistycznymi.

Co byś powiedziała komuś, kto chciałby się zająć machine learning?

Dużo zależy od tego, co taka osoba lubi robić. Czy widzi siebie jako inżyniera, który będzie stosował różne rozwiązania, czy jako kogoś, kto chce robić research. W tym drugim wypadku warto rozważyć wyjazd za granicę, ponieważ tam podejście do researchu jest znacząco inne. Niestety na niekorzyść polskich uczelni, choć mam nadzieję, że z czasem będzie się to zmieniać. Można też zrobić tak jak ja i w Polsce zrobić inżynierkę, a dopiero potem wyjechać.

Myślę, że mimo wszystko sporo się nauczyłam. Dobre podstawy pod AI i ML, tak jak wspomniałam, dadzą również studia matematyczne. Polecam poznać podstawy programowania, które z pewnością się przydadzą. Warto czytać różne opracowania naukowe, a także pamiętać, że ML można zastosować w wielu dziedzinach i przydatna może się okazać wiedza z takich obszarów jak chemia, medycyna, a nawet literatura.

Czy są rozwiązania w środowisku machine learning, które dziś są szczególnie popularne?

Obecnie dużo osób zajmuje się sieciami grafowymi, ponieważ wiele zbiorów danych to grafy. Natomiast jakiś czas temu powstała sieć Transformers, która poruszyła osoby zajmujące się przetwarzaniem tekstu (ang. natural language processing, NLP) ze względu na dużo lepsze wyniki.

Jakie widzisz wyzwania dla obszaru machine learning?

Do głównych na pewno należą etyczność algorytmów, wytłumaczalność i kwestie klimatyczne. Algorytmy są takie, jakie są nasze dane, dlatego jeśli znajdzie się w nich np. dużo przekleństw albo pojawią się rasistowskie sformułowania, to algorytm też będzie taki. Tzw. bias można zaobserwować nawet w tłumaczu Google, który zdanie "I cooked the dinner" tłumaczy czasami jako "ugotowałam obiad", ale już "I worked as a programmer" jako "pracowałem jako programista". Innym wyzwaniem jest duży koszt obliczeniowy uczenia maszynowego, związany z dużym zapotrzebowaniem na energię i wydzielaniem ciepła, co ma z kolei wpływ na środowisko.

Obecnie studiujesz w Amsterdamie. Czy widzisz jakieś różnice w porównaniu ze studiami w Warszawie?

W Holandii jestem dopiero piąty miesiąc na studiach magisterskich. Czuję się tu dobrze, choć oczywiście jest inaczej, ale mi to nie przeszkadza, bo bardzo lubię zmiany. Wcześniej studiowałam na dwóch polskich uczelniach, gdzie miałam poczucie, że wydział niespecjalnie przejmuje się studentami. Niby są przeprowadzane różnego rodzaju ankiety na temat kursów i prowadzących, ale wątpię, że ma to realny wpływ na rzeczywistość.

W Amsterdamie jest inaczej: na mojej uczelni każdy semestr jest podzielony na trzy bloki, podczas których zalicza się część przedmiotów. W momencie kiedy studenci zgłaszają uwagi, że są zbyt obciążeni materiałem, prowadzący reagują na taki feedback i np. skracają zadania lub projekty albo biorą pod uwagę tylko część projektów, które zostały najlepiej zaliczone. Dlatego mam poczucie, że w Holandii uczelnie bardziej przejmują się zdaniem studentów.

Innym pozytywnym wrażeniem jest to, że kurs, w którym uczestniczę, jest na naprawdę wysokim poziomie. Nie jestem tym bardzo zaskoczona, ale cieszę się, że zajmuję się rzeczami, o których chciałam się uczyć, m.in. sieciami neuronowymi, ich różnymi architekturami i nowymi modelami, czyli najciekawszymi rzeczami, które się teraz pojawiają. Już w pierwszych miesiącach studiowania mieliśmy styczność z zagadnieniami sieci rekurencyjnych, grafowych czy konwolucyjnych. Robimy dokładnie to, co nam się przyda w przyszłości.

Dla porównania, na moim poprzednim wydziale w Polsce sieci neuronowe pojawiają się dopiero pod koniec studiów. Tam po trzech miesiącach nie miałam w ogóle styczności z sieciami neuronowymi, ponieważ zajmowaliśmy się rzeczami sprzed 20 czy 30 lat, takimi jak np. algorytmy rojowe, mrówkowe etc. Oczywiście to są również ciekawe tematy i wspaniale mieć świadomość, że coś takiego istnieje, ale obecnie nie powinno to być centrum programu nauczania.

Jak wyglądają studia z machine learning, na których obecnie jesteś?

Trwają dwa lata. Wykłady, stacjonarne lub zdalne, prowadzone są przez Zoom. Są też nieobowiązkowe odpowiedniki znanych z polskiego systemu ćwiczeń i laboratoriów. Poza tym mamy projekty czy też zadania, które trzeba zrobić. W zasadzie nie spotkałam się z kimś, kto by powiedział, że na tych studiach jest za mało do robienia, ponieważ jest naprawdę wiele projektów.

Zadania można podzielić na bardziej teoretyczne i praktyczne, czyli związane np. z programowaniem. Jest bardzo dużo matematyki, co jest dość wymagające i wyczerpujące, ale z drugiej strony potrzebne, bo mamy dużo większą świadomość tego, co robimy. Projekty możemy też podzielić na grupowe i samodzielne. Podczas ćwiczeń i laboratoriów możemy zadawać pytania dotyczące m.in. kwestii związanych z projektami, więc mamy wsparcie prowadzących. Czasem też prowadzą oni tutoriale z wprowadzeniem w temat lub pokazują, jak rozwiązywać bardzo podobne zadania, abyśmy mieli odpowiednie odniesienie.

Wcześniej, kiedy studiowałam informatykę na Politechnice Warszawskiej, na początku była głównie matematyka, potem mieliśmy coraz więcej projektów, które mam wrażenie, że były dużo luźniej zdefiniowane, np. mieliśmy „zakodzić” algorytm i opakować go w interfejs graficzny (GUI), ale bardzo rzadko w wymaganiach podawano dużo więcej. Na obecnych studiach dostaję gotowy opis tego, co mamy zrobić, w którym miejscu. Z jednej strony to jest przyjemne, ponieważ uczę się konkretnych architektur, a celem jest zrozumienie, jak one działają. Przykładem jest LSTM i kodowanie bez korzystania z zaawansowanych struktur biblioteki PyTorch, dzięki czemu można się więcej dowiedzieć, ale mam nadzieję, że w pewnym momencie będziemy mieli większą dowolność w wyborze projektów.

A jak porównasz kontakt z innymi studentami? Masz odczucie, że jest inaczej?

Tak, są pewne różnice. Zarówno w Polsce, jak i w Holandii, obecnie trwa kolejna fala pandemii, jednak tu mimo wszystko możemy przyjść do kampusu i uczestniczyć w większości wykładów. W Holandii mamy teraz częściowy lockdown, tzn. puby zamykają się o 17, a sklepy o 20, jednak uniwersytet jest normalnie otwarty. Dzięki temu, że ja i pewnie wiele innych osób czujemy się dużo lepiej, bo jednak wspólna praca, kiedy siedzimy przy jednym stole, jest bardziej udana. Poza tym jest to też ważną częścią życia studenckiego.

Poza pandemią pewną różnicą jest też to, że w Polsce, jeśli ktoś poszedł na informatykę, to kontynuuje zazwyczaj naukę aż do magisterki. Tu jednak widzę sporo osób, które wcześniej robiły wiele innych rzeczy – na przykład zajmowały się lotnictwem czy komunikacją. Sporo z nich jest też po licencjacie z AI. Mówię to po to, aby podkreślić, że ludzie są bardziej zróżnicowani i jest większy wybór kierunków, które można studiować. Nie chciałabym, aby to zabrzmiało źle, ale mam wrażenie, że na informatyce w Polsce jest dużo ludzi, którzy są zamknięci w sobie, tu z kolei są bardziej otwarci i społeczni.

Czy w takim razie widzisz różnicę pomiędzy pracą zespołową na studiach w Polsce i w Holandii?

Kiedy studiowałam w Polsce, miałam grupę znajomych, z którymi robiliśmy projekty. Kiedy jednak zdarzyło się, że pracowałam z kimś innym, to trudniej mi było nawiązać kontakt. Jako ekstrawertyczka czuję, że na studiach w Holandii, pomimo że miałam mniej projektów grupowych, mam z kim porozmawiać.

Czy masz jakieś doświadczenie związane z machine learning na polskich uczelniach, które najbardziej zapadło ci w pamięć?

Moja przygoda z ML zaczęła się na drugim roku studiów, kiedy kolega mi powiedział, że istnieje coś takiego, co mnie zainteresowało, i sama zaczęłam się tego uczyć – wówczas nie miałam możliwości, aby cokolwiek wybierać na studiach. Byłam też w kole naukowym i był to rok, w którym poszłam na pierwszą konferencję ML in PL. Uważam to za bardzo dobrą decyzję, bo co prawda można uczyć się samemu, ale warto być w miejscu, gdzie są ludzie, którzy interesują się tym samym. To ma szczególne znaczenie, jeśli chcesz zgłębić temat, o którym nie wiesz zbyt wiele. Przyjemnie jest posłuchać, jakie są możliwości.

Potem wybrałam dwa przedmioty związane z uczeniem maszynowym – jeden z przetwarzaniem tekstu, a drugi to po prostu “uczenie maszynowe”, oba prowadzone przez moją promotorkę. Mogłam na nich zrobić projekty, które pomogły mi wdrożyć się w temat. Czuję niedosyt przez to, że nie było więcej przedmiotów związanych z uczeniem maszynowym, które mogłam wybrać. Później wybrałam jeszcze zajęcia o przetwarzaniu obrazu, ale tam właściwie nie było nic związanego z uczeniem maszynowym, co trochę zaskakuje, jeśli wziąć pod uwagę, jakie znaczenie ma ML w tym obszarze. Na ostatnim semestrze miałam jeszcze jeden przedmiot na temat AI, ale w ogóle nie było na nim zagadnień z zakresu machine learning, tylko stare metody.

Mówisz dość krytycznie o machine learning na studiach w Polsce, a mimo to coś cię przekonało do tego, aby pójść w tym kierunku.

Sam temat wydaje mi się ciekawy i chciałam się dowiedzieć czegoś więcej. A to, że nie był on zbyt dobrze prowadzony na mojej uczelni, nie znaczy, że gdzie indziej jest podobnie. Po prostu byłam zdeterminowana i się nie poddawałam.

Udostępnij link

https://www.datasciencerobie.pl/algebra-statystyka-analiza-matematyczna-w-machine-learning-i-data-science/