Jak AI widzi obraz? Wszystko jest liczbą

Jak komputer, który nigdy w życiu nie widział kota, uczy się go rozpoznawać? Jak maszyna bez oczu w ogóle cokolwiek „widzi”?

Kilka tygodni temu dotarła do mnie odpowiedź od zupełnie innej strony. Zdałem sobie sprawę, że muzykę da się zapisać jako ciąg liczb. Nagranie cyfrowe to w gruncie rzeczy próbki dźwięku zamienione na liczby, plik MP3 dokłada do tego jeszcze kompresję, ale fundament jest ten sam. Nikt się dziś nad tym nie zastanawia, bo to oczywiste.

Tylko że jeśli muzyka to liczby, to dlaczego obraz miałby być inny? Zdjęcie, skan faktury, klatka wideo, to wszystko ta sama sztuczka, tylko podana w innej formie.

I to jest dokładnie mechanizm, który stoi za tym, jak AI „widzi”. Żadnej magii, tylko liczby i kilka kroków, które za chwilę rozłożę na czynniki pierwsze.

Obraz to tabela liczb

Zdjęcie w komputerze to siatka maleńkich kwadracików, czyli pikseli. Dla nas piksel to kolor. Dla komputera to zestaw liczb.

Piksel w standardowym obrazie ma trzy liczby: ile czerwieni, ile zieleni, ile błękitu. Każda od 0 do 255.
Biały piksel to (255, 255, 255). Czarny to (0, 0, 0). Czysta czerwień to (255, 0, 0).
Zwykłe zdjęcie z telefonu ma ponad dwa miliony pikseli. Pomnóż to przez trzy liczby na piksel i wychodzi nam kilka milionów liczb w jednym pliku.

Komputer nigdy nie otwiera tego zdjęcia i nie myśli „kot”. Dostaje tabelę kilku milionów liczb i musi z niej coś wyciągnąć.

Sito, które wyłuskuje sens

Ta tabela liczb sama w sobie nic nie znaczy. Więc sieć neuronowa przepuszcza ją przez serię warstw, jak przez zestaw sit o coraz drobniejszych oczkach.

Pierwsze sito łapie tylko najprostsze rzeczy: miejsca, gdzie jasny piksel sąsiaduje z ciemnym. To wystarczy, żeby wyłowić krawędzie, linie, kontury. Sieć na tym etapie nie wie jeszcze, czy patrzy na kota, fakturę czy śrubę na taśmie produkcyjnej. Widzi tylko, gdzie w tabeli liczb coś się zmienia.

Drugie sito bierze te krawędzie i składa je w prostsze kształty, łuki, kąty, powtarzające się wzory. Trzecie łączy kształty w większe struktury, na przykład coś, co przypomina ucho, oko, róg dokumentu albo rysę na powierzchni. Im głębsza warstwa, tym bardziej abstrakcyjne staje się to, co sieć wykrywa. Ostatnie sito nie patrzy już na piksele, tylko na kombinacje kombinacji.

To jest opis klasycznego mechanizmu, sieci konwolucyjnych, na których przez lata uczyło się rozpoznawania obrazów najwięcej systemów w codziennym użyciu. Nowsze modele, w tym te stojące za dzisiejszymi asystentami AI, dochodzą do podobnego efektu inną drogą, ale wciąż zaczynają od tabeli liczb i kończą na wzorcu, który da się rozpoznać.

To jest cały trik. Żadne pojedyncze sito nie „rozumie” obrazu i sieć jako całość też niczego nie rozumie w ludzkim sensie. Ale zdolność rozróżniania wzorów wyłania się z tego, że wynik jednego sita staje się materiałem wejściowym dla następnego.

Odcisk palca

Po serii sit zostaje coś bardzo konkretnego, czyli charakterystyczny wzór liczb, trochę jak linie papilarne, które pozwalają rozpoznać osobę, nawet jeśli formalnie nie są matematycznie niepowtarzalne. Sieć nie ma jednak w pamięci milionów zdjęć, które mogłaby przeszukiwać przy każdej decyzji. To, czego się nauczyła, jest zakodowane w wagach, czyli w samych ustawieniach sit wypracowanych podczas treningu.

Nowy wzór trafia po prostu po jednej albo po drugiej stronie granicy, którą te ustawienia wyznaczają. Sieć nie „wie”, że to kot. Wie tylko, że ten wzór wylądował po tej stronie granicy, którą podczas treningu skojarzono z etykietą „kot”. Cała reszta, decyzja, klasyfikacja, etykieta, to nazwa nadana temu, po której stronie granicy wylądował wzór.

Warto o tym pamiętać, bo skoro dokument czy zdjęcie zostawia w systemie taki wzór, to pytanie, gdzie on trafia i kto ma do niego dostęp, robi się tematem na RODO i AI Act, nie tylko ciekawostką techniczną.

Skąd sieć wie, co jest kotem

Skąd w ogóle biorą się te wzory skojarzone z etykietą „kot”? W najprostszym i najczęstszym przypadku ktoś je wcześniej oznaczył ręcznie, choć bywa też, że system uczy się bez jawnych etykiet, wyłuskując prawidłowości samodzielnie z dużej ilości danych. Trzymajmy się tego prostszego scenariusza: pokazujesz sieci tysiące zdjęć z podpisem „kot” i tysiące bez tego podpisu. Na początku sieć zgaduje losowo i myli się prawie zawsze.

Po każdej pomyłce sieć odrobinę koryguje ustawienia swoich sit, czyli to, na jakie krawędzie, kształty i wzory zwraca uwagę. Nie robi tego świadomie. To czysta matematyka: sprawdź błąd, przesuń ustawienia w stronę, która ten błąd zmniejsza, powtórz. Miliony razy.

Po wystarczającej liczbie powtórzeń sita same „nauczą się” wyłuskiwać dokładnie te cechy, które odróżniają koty od reszty świata, wąsy, kształt uszu, proporcje pyszczka. Nikt tego nie zaprogramował z góry. To wyłoniło się z samych danych i poprawek.

To też tłumaczy, dlaczego sieć czasem myli się w sposób, który człowiekowi wydaje się absurdalny, na przykład bierze muffinkę za chihuahuę. Sieć nie zna pojęcia „pies” ani „ciastko”. Zna tylko wzory liczb, które statystycznie pasowały do etykiety w danych treningowych. Jeśli dane były zbyt wąskie albo krzywe, wzór, którego się nauczyła, zadziała tylko do pierwszego przypadku, który do niego nie pasuje.

Ta sama sztuczka wszędzie

Dokładnie ten sam proces dzieje się, kiedy system czyta skan faktury albo szuka rysy na elemencie zjeżdżającym z taśmy produkcyjnej. Skan faktury to też tabela liczb, pierwsze sito łapie krawędzie liter i linii tabeli, kolejne składa je w kształty cyfr i słów, a ostatnie rozpoznaje wzór skojarzony z etykietą „numer faktury” albo „kwota do zapłaty”. W uproszczeniu, bo w praktyce to zwykle kilka osobnych kroków: odczytanie tekstu, rozpoznanie układu strony i dopiero potem przypisanie wartości do właściwych pól, ale każdy z nich działa na tej samej zasadzie.

Kontrola jakości na produkcji działa podobnie, tylko że sieć uczy się wzoru odpowiadającego rysie, wgnieceniu czy brakującej śrubce, zamiast litery czy kota. Zmienia się dane wejściowe i to, czego sieć szuka. Mechanizm zostaje ten sam.

Nawet wideo nie jest tu wyjątkiem, tylko dokłada jeden wymiar. Klatka wideo to dokładnie taka sama tabela liczb jak zdjęcie, tylko że takich tabel jest kilkadziesiąt na sekundę, ustawionych jedna po drugiej. Sieć dostaje więc nie jeden zestaw liczb, tylko cały ciąg, i dodatkowo może zauważyć, jak wzór zmienia się w czasie, na przykład że coś się porusza albo znika z kadru.

Co to oznacza w praktyce

Ten mechanizm ma konsekwencje, jeśli oceniasz albo wdrażasz taki system, nie tylko czytasz o nim z ciekawości.

Jakość danych treningowych to jakość wyniku. Sieć nie uczy się pojęć, uczy się wzorów obecnych w przykładach, które jej pokazano. Wąski albo stronniczy zbiór danych daje wąski albo stronniczy model.
Model dopasowuje wzorce, nie rozumie treści. Dlatego zawsze znajdzie się przypadek brzegowy, muffinka, która wygląda jak pies, faktura w nietypowym formacie, defekt, którego nikt wcześniej nie oznaczył. Warto z góry założyć, że takie przypadki się pojawią.
Wynik to ocena pewności, nie gwarancja. Systemy zwracają liczbę mówiącą, jak bardzo „pewny” jest model swojej odpowiedzi, a ta pewność bywa myląca, model potrafi być bardzo przekonany o błędnej odpowiedzi. Tam, gdzie błąd dużo kosztuje, ktoś ostatecznie musi mieć możliwość zakwestionowania decyzji maszyny.
Rzadko trenuje się sieć od zera. W praktyce częściej bierze się gotowy model, który już nauczył się rozpoznawać ogólne kształty i wzory, i dotrenowuje go na własnych, znacznie mniejszych danych. Zwykle wychodzi taniej i szybciej, a wynik bywa równie dobry.

Podsumowanie

Wracam do punktu wyjścia. Muzyka to liczby, obraz to liczby, dokument to liczby. Kiedy raz to zobaczysz, trudno wrócić do myślenia o AI jak o czymś, co „patrzy” albo „rozumie” w ludzkim sensie. To bardzo dobrze wytrenowany sposób na przesiewanie liczb, aż zostanie z nich wzór, który da się z czymś dopasować.

Nie robi to z AI niczego mniej użytecznego. Robi z niej coś, co da się zrozumieć. A to, co da się zrozumieć, przestaje straszyć.