Cyfrowe fotocuda

Dodawanie modelkom pieprzyków lub wydłużanie ich nóg czy też wymazywanie śmietników na folderach z wakacyjną ofertą to już norma. Właściwie wiele komercyjnych zdjęć trudno dzisiaj uznać za reprezentację rzeczywistości. Mimo to przedstawiciel firmy Adobe Brian Price w czasie prezentacji nowej technologii o nazwie Scene Stitch dzięki kilku kliknięciom myszki wywołał okrzyki zdziwienia widowni i głośne brawa. Co takiego zrobił? Gdy prostym ruchem zaznaczył, który fragment zdjęcia chciałby zmienić, program przedstawił mu serię propozycji w to miejsce. Zamiast drogi na tle krajobrazu mógł wkomponować krzewy, spory głaz czy fragment piaszczystego wzgórza. Żaden z tych elementów nie został jednak wzięty z oryginalnego zdjęcia. Dotychczas istniejące narzędzia do usuwania niechcianych obiektów wykorzystywały fragmenty edytowanej fotografii. I jeśli robiło się to mało profesjonalnie, wprawne oko natychmiast wychwytywało np. ten sam wzór źdźbeł trawy w kilku obszarach zdjęcia. Scene Stitch działa zupełnie inaczej. Podłączona do systemu sztuczna inteligencja przeszukuje miliony plików w potężnej bazie danych i z niej pobiera elementy mogące pasować do danego zdjęcia. Modyfikacje mogą być kosmetyczne, jak usunięcie niechcianego kamienia, albo całkowicie zmieniać zawartość obrazu. Na jednym z przykładów Price zaznaczył myszką dolną połowę zdjęcia i od razu mógł wstawić w to miejsce zamiast oczka wodnego rzekę z plażą czy choćby korty tenisowe.

Karmienie inteligencji

Innym świetnym przykładem na to, jak algorytmy mogą wykorzystać masową analizę zdjęć, jest software naukowców z Purdue University, który uczy się tworzyć (czyli jakby wyobrażać sobie) trójwymiarowe modele różnorodnych obiektów na podstawie ich zwykłych fotografii. „Po prostu pokazujemy programowi mnóstwo różnych kształtów, na których podstawie uczy się on wzorów takich jak drzwi, koła czy klamki. Jeśli pokażemy mu np. potem jakiś samochód, może zbudować jego trójwymiarowy model, nawet jeśli wcześniej go nie widział” – wyjaśnia twórca systemu prof. Karthik Ramani. Co więcej, w procesie nazywanym przez badaczy halucynacją system tworzy na podstawie zgromadzonej wiedzy zupełnie nowe obiekty. W tej chwili w programie powstają tylko ogólne, pozbawione szczegółów kształty, ale zdaniem prof. Ramaniego z czasem możliwe stanie się tak dokładne odwzorowanie „realiów”, że zwykłe zdjęcia będą mogły służyć do generowania obiektów nieodróżnialnych od prawdziwych, np. na potrzeby wirtualnej rzeczywistości. Można też wyobrazić sobie inne zastosowania – jeśli komuś nie spodoba się ustawienie na fotografii samochodu, krzesła czy stołu, program nie powinien mieć problemów z dowolnym ich przemieszczeniem czy obróceniem.

Programy uczące się dzięki analizie zdjęć mają z czego korzystać. Według portalu Statista.com za sprawą cyfrowej rewolucji na całym świecie ludzie robią już bowiem ponad bilion fotografii rocznie. Kolosalną rolę odgrywają tutaj smartfony. Ale drugim kluczowym elementem gwałtownego wzrostu możliwości tego typu technologii jest rozwój samej sztucznej inteligencji. W ub.r. Google pokazało eksperyment dobrze ilustrujący, co obecnie potrafią uczące się programy. W publikacji „Pixel Recursive Super Resolution” naukowcy koncernu zaprezentowali system, który rekonstruował twarze z obrazków zawierających zaledwie 64 piksele (8×8). Na obrazach stworzonych przez sztuczną inteligencję, choć nadal miały one niewielką liczbę pikseli (32×32), często ukazywały się twarze o wyraźnym podobieństwie do naturalnych. Podobnie działo się w przypadku fotografii wnętrz.

Subtelna siła

Programy do edycji zdjęć zaczynają radzić sobie także z niuansami, które człowiek postrzega naturalnie, często nawet nieświadomie, np. kiedy przygląda się ludzkim twarzom. Zespół z Princeton University opracował system (niestety na razie tylko jako projekt naukowy), który modyfikuje wygląd twarzy uwiecznionych na selfie. Jedni lubują się w tego rodzaju efektach, innych one drażnią, ale nie można odmówić im popularności. Charakterystyczne dla tego typu zdjęć jest jednak m.in. to, że wyglądają mało naturalnie – nos jest zbyt duży, uszy za małe, czoło zbyt pochyłe. „Podczas gdy dzisiaj można edytować tak wiele aspektów fotografii już z poziomu samego telefonu, my chcieliśmy stworzyć prostą metodę edycji, która zwiększy realizm wyglądu twarzy” – mówi twórca systemu Ohad Fried. W efekcie odbiorca ma wrażenie, że dana osoba była fotografowana z większej odległości oraz z wyższego lub niższego punktu i pod korzystniejszym kątem. Dzięki tym zabiegom efekt końcowy przypomina zdjęcie zrobione przez bardziej doświadczonego fotografa. Naukowcom pozostały jednak jeszcze przynajmniej dwa ważne problemy do rozwiązania – trudność sprawiają modyfikacja wyglądu włosów, a także odtworzenie obszarów twarzy niewidocznych na pierwotnej fotografii, które powinny pojawić się po edycji.

Skutki takich delikatnych zmian mogą mieć kolosalne znaczenie. Otóż zespół z Computer Science and Artificial Intelligence Laboratory w MIT stworzył program, który dzięki analizie ocenianych przez ochotników fotografii nauczył się tak modyfikować zdjęcia twarzy, aby bez zmian podstawowych cech czy atrakcyjności danej osoby zwiększać lub zmniejszać szanse na zapamiętanie danego obrazu. Jeśli kiedyś system ten trafi do komercyjnej aplikacji, z pewnością zainteresuje osoby przygotowujące swoje CV i celebrytów.

Innym okiem

Możliwości dzisiejszych aparatów cyfrowych można również wykorzystać do spojrzenia na świat z zupełnie nowej perspektywy. Pokazali to naukowcy z University of Exeter. Stworzony przez nich i udostępniany już program MicaToolbox pokazuje użytkownikowi utrwalony obraz w taki sposób, jakby widziały go różne zwierzęta. Ludzie i część naczelnych mają w oczach receptory odbierające trzy barwy podstawowe – niebieską, żółtą i czerwoną – tworzące całą paletę widzialnych później dla nich kolorów. Natura jednak wykazuje się w tym zakresie dużą pomysłowością. Niektóre zwierzęta widzą przecież nawet ultrafiolet i podczerwień. Tymczasem nie każdy wie, że stosowane powszechnie matryce nie tylko precyzyjnie rejestrują różne barwy, ale i oprócz światła widzialnego reagują także na podczerwień i promienie UV. W aparatach stosowane są specjalne filtry odcinające ten zakres, aby nie powodował zakłóceń. Można je jednak usunąć – w internecie są dostępne odpowiednie instrukcje – a nawet skorzystać w tym względzie z pomocy wyspecjalizowanych firm. „Cyfrowe aparaty to potężne narzędzia mogące rejestrować obecne w naturze barwy i wzory, ale do tej pory było niezwykle trudno wykorzystać zdjęcia do dokładnych analiz barw. Nasze oprogramowanie pozwala na taką obróbkę fotografii, by przedstawiały świat widziany przez zwierzęta. Możemy więc przekonać się, co w danej scenie zwracałoby ich uwagę” – mówi dr Jolyon Troscianko z University of Exeter.

Program nie tylko może zaspokoić ciekawość miłośników przyrody, ale też – jak chwalą się jego autorzy – korzystają już z niego naukowcy, choćby do badania zmian kolorów krabów, kamuflażu ptasich jaj, a nawet związanych z cyklami owulacyjnymi zmian barwy twarzy kobiet (wywołanych działaniem hormonów subtelnych różnic w zabarwieniu twarzy nie wykryłoby ludzkie oko czy tradycyjna kamera).

Fotonauczyciel

Wyposażone w coraz wydajniejsze procesory cyfrowe aparaty mogą odgrywać też coraz większą rolę w samym wykonywaniu zdjęć nie tylko poprzez dobór przysłony czy czasu otwarcia migawki, ale też dzięki wsparciu fotografa w wymagającej doświadczenia sztuce kompozycji. Tak działa aplikacja stworzona i testowana na University of Waterloo. Program ma poprowadzić fotografa tak, by zdecydował się na jak najkorzystniejsze ustawienie aparatu przy robieniu selfie. „W przeciwieństwie do aplikacji, które poprawiają zdjęcia po ich wykonaniu, ten system prowadzi użytkownika w odpowiednim kierunku, dzięki czemu uczy się on, dlaczego zdjęcie będzie lepsze” – opowiada twórca programu prof. Daniel Vogel. Badacz widzi świetlaną przyszłość dla takich programów: „To dopiero początek tego, co jest wykonalne. Możemy rozszerzyć zakres uwzględnianych elementów np. o fryzurę, rodzaj uśmiechu czy ubiór. Jeśli chodzi o pokazanie ludziom, jak zrobić lepsze selfie, możliwości są nieograniczone”. Można się domyślać, że podobne aplikacje z czasem poradzą sobie także z innymi rodzajami zdjęć.

Cyfrowy jasnowidz

Jeśli komputery tak dobrze „rozumieją” już zawartość zdjęć, być może udałoby się dodać do fotografii trzeci wymiar? Nie chodzi jednak wcale o głębię, lecz o czas, a dokładniej: o zamianę statycznych obrazów w filmy. Taki system stworzyli już badacze z Uniwersytetu Telawiwskiego we współpracy ze specjalistami z Facebooka. Pozwala on dodać ruch do zdjęć ludzi. Model może np. zacząć oddychać, marszczyć brwi czy się uśmiechać. Jeśli program trafi do użytku, pozwoli np. na to, aby po naciśnięciu umieszczonej pod zdjęciem facebookowej łapki z kciukiem w górę widoczna na nim osoba zaczęła się cieszyć. „Wyraz ludzkiej twarzy przekazuje nie tylko główne emocje, ale poprzez delikatne zmiany pozwala na wgląd w subtelny emocjonalny stan człowieka. Tę umiejętność wyrazu chcemy odtworzyć w naszych animacjach” – mówi dr Hadar Averbuch-Elor.

Jeszcze ambitniejsze plany mają naukowcy z MIT, którzy pracują nad programem przewidującym najbliższą sekwencję zdarzeń w scenie utrwalonej na zdjęciu. System tworzy na tej podstawie odpowiedni jedno-, dwusekundowy film, a nauczył się tego dzięki analizie trwających łącznie dwa lata nagrań wideo. Na razie radzi sobie różnie. Z ludzką sylwetką czy twarzą dziecka miał duże problemy, ale na małych obrazkach można dostrzec np. jadący pociąg, unoszącego się na wodzie ptaka czy morskie fale.

Inny świat

Wielu fotografów nadal ceni sobie tradycyjne papierowe odbitki. Ale okazuje się, że tutaj cyfrowa technika także zaczyna mieć coś do powiedzenia. Przykład to Lifeprint – miniaturowa drukarka do zdjęć, która potrafi drukować filmy. To stwierdzenie jest oczywiście nieco na wyrost, ale efekt jest podobny. Wydrukowanym zdjęciom da się bowiem przypisywać dziesięciosekundowe nagrania wideo, które będą widoczne dzięki specjalnej apce na ekranie smartfona po tym, jak skierujemy na odbitkę kamerę naszego telefonu. Na oglądanym nieuzbrojonym okiem wydruku jest widoczne tylko zdjęcie, a za pomocą aplikacji można zobaczyć całą scenkę. Oto kolejna odsłona coraz popularniejszej rzeczywistości rozszerzonej.

Powoli zdjęcia przestają więc oddawać prawdziwy świat i zaczynają kreować nowy. Gdzie właściwie będzie kres tej cyfrowej rewolucji?

Marek Matacz
niezależny dziennikarz popularnonaukowy, z wykształcenia biotechnolog