Rekenen aan realistischer beeld

Je kent het vast wel: een foto die wazig is omdat je telefoon uit focus is, of omdat je te ver inzoomt. Wetenschappers lopen tegen een vergelijkbaar probleem aan. Als ze met een microscoop inzoomen op hele kleine dingen en een foto maken, is het beeld altijd wazig. Zelfs met de beste microscoop is er niks aan te doen: de foto is vervormd en onnauwkeurig. Natuurkundige Kevin Namink werkt samen met zijn collega’s bij SVI (Scientific Volumetric Imaging) aan oplossingen voor dit soort problemen. Hij vertelt waar dit soort vervormingen vandaan komen en hoe computers helpen een realistischer beeld te krijgen van de microscopische wereld. Natuurkunde, informatica en wiskunde komen alledrie samen wanneer we een kijkje nemen achter de schermen van microbiologische beelden.

Figuur 1: Foto van mitose. Gemaakt door dr. Alexia Ferrand, Imaging Core Facility, BioZentrum, University of Basel.

In figuur 1 zie je een voorbeeld van een microscopiebeeld. Een microbioloog herkent hier celdeling in, maar de details zijn wazig. Juist de details in zo’n beeld zijn voor wetenschappers interessant. Kevin Namink heeft tijdens zijn studie natuurkunde veel onderzoek gedaan naar microscopen en herkent het verschijnsel van wazige beelden. Hij legt uit: “Een lichtstraal is niet een lijn, maar heeft een breedte. Omdat je met een microscoop het beeld uitvergroot, gaat deze breedte een rol spelen. Het kleinste lichtpuntje verspreidt zich over meerdere pixels.” Om elke pixel ontstaat dus een soort ‘pixelwolk’ door licht dat niet alleen op de pixel terecht komt, maar ook op de buren. Als we een foto maken van een zwarte punt, zorgt dit effect ervoor dat er een wazig grijs gebied in het beeld ontstaat (zie figuur 2). Niet alleen geeft dit een vertekend beeld van hoe het er eigenlijk uitziet, maar de waas vervaagt ook sommige details.

Figuur 2: zwarte stip

Een realistisch plaatje

Natuurkundigen zijn erg goed in het beschrijven van deze pixelwolk. Kevin: “We weten dat de buren (pixels) informatie hebben over elkaar. Op die manier weten we meer dan er in eerste instantie op de foto te zien is.” Die kennis gebruiken natuurkundigen als Kevin om terug te rekenen hoe het oorspronkelijke plaatje eruit ziet. Dit proces heet deconvolutie. Je kan je voorstellen dat dit een hoop rekenwerk is: voor alle duizenden pixels bereken je de invloed van de buren. Daarom maakt SVI software die je computer dit rekenwerk laat doen. Het resultaat zie je in figuur 3. Naast deconvolutie, heeft deze software ook andere functies zoals het inkleuren van de verschillende onderdelen van een beeld om ze van elkaar te kunnen onderscheiden.

Figuur 3: door Huygens software bewerkte versie van figuur 1.

Het is voor dit soort beeldverwerking van belang dat het uiteindelijke beeld zo realistisch mogelijk is. De software van SVI wordt gebruikt door microbiologen die bijvoorbeeld onderzoek doen naar verschillende eigenschappen van een cel. Dan wil je niet dat er tijdens de beeldverwerking extra details bij worden verzonnen, zoals je met een snapchatfilter bijvoorbeeld een paar extra rimpels aan een selfie toe kunt voegen. Om te voorkomen dat dit gebeurt, onderbouwen ze elk algoritme dat wordt gebruikt met wetenschappelijke argumenten.

Ook andere factoren, zoals de kleur licht en de gebruikte microscoop, worden meegenomen in de berekening. Een andere golflengte van het licht en een andere fotohoek hebben namelijk beide effect op de vorm van de pixelwolk. Tegenwoordig worden er veel nieuwe microscopietechnieken ontwikkeld. “Beelden die met deze technieken zijn gemaakt, vereisen andere verwerkingsmethoden,” benadrukt Kevin. De natuurkundige uitdaging is nu dan ook om de veranderende technieken ook te ondersteunen met software.

Snellere beeldverwerking

Een andere uitdaging van dit moment is meer wiskundig van aard. De bestanden waar microbiologen mee werken, worden steeds groter. Eén microscopiefoto kan evenveel ruimte innemen als 10.000 selfies. Soms kost het dan ook een hele nacht om een foto te verwerken. Dit is een probleem als je onder tijdsdruk werkt of als je meerdere foto’s hebt om te verwerken. In het verleden kon dit worden opgelost door een snellere computer te bouwen. “Maar tegenwoordig kost een twee keer zo snelle computer ook twee keer zoveel geld,” merkt Kevin op. Daarom wordt er nu vooral gewerkt aan het parallelliseren van algoritmes. “Parallelle processen op zoveel mogelijk plekken toepassen is nu de beste manier om snelheid in het rekenen te verkrijgen.”

Zelf heb ik tijdens mijn studie wiskunde meegewerkt aan het parallelliseren van een algoritme. Het idee is dat je de computer niet stap-voor-stap laat rekenen, maar verschillende onderdelen van de computer tegelijk laat werken. Sommige computers hebben bijvoorbeeld vier processorkernen, een soort rekenmachines. Als je een foto opdeelt in vier stukken en deze verdeelt over de vier kernen, is het algoritme vier keer zo snel klaar. Tegenwoordig worden ook videokaarten hiervoor gebruikt omdat deze bestaan uit duizenden kleinere rekenmachines. Dit zou een algoritme dus veel sneller kunnen maken.

Er zijn ook nadelen aan het gebruik van videokaarten. Zo kan elk van deze kleine rekenmachines minder dan een processorkern. Voor mijn project bij SVI betekende dat dat er een ander, simpeler algoritme moest worden gebruikt om de videokaart eraan te laten rekenen. Er moeten dus veel aanpassingen worden gedaan aan bestaande algoritmes om ze bruikbaar te maken voor snelle parallelle processen.

Bovendien is het niet altijd makkelijk om van de duizenden verwerkte stukjes weer een geheel te maken. Hoe weet de computer bijvoorbeeld dat het groene en het paarse stuk in onderstaand plaatje samen een bol vormen en dus één kleur moet krijgen? Voor sommige algoritmes en foto’s heb je zelfs informatie van het hele plaatje nodig voor de beeldverwerking van een klein gedeelte. We weten niet of het altijd mogelijk is om beelden op deze manier op te delen en daarna weer samen te voegen.

Figuur 4: parallel algoritme om stippen verschillend te kleuren.

Zo zie je dat achter elk microscopiebeeld veel meer kennis schuilgaat dan alleen biologie. In elke stap komt een ander vakgebied om de hoek kijken. Natuurkundekennis komt van pas bij het fotograferen en zorgt dat we een realistisch beeld zien. Daarnaast gebruiken we wiskundige inzichten om de efficiëntie op te voeren. Dit soort technische opleidingen zijn gewild in vrijwel elke sector en welke richting je kiest hangt geheel af van je eigen interesses.

Bronnen:

SVI

NVIDIA: het verschil tussen kernen van processoren en videokaarten

David Rotman: minder snelle toename in rekenkracht