Wat moeten we leren van de kortstondige carrière van Data Scientists?
Data Scientists zullen samensmelten met de Software Engineer rol, vergelijkbaar met hoe Front-end en Back-end specialisaties bestaan. Voordat deze convergentie plaatsvindt, is het belangrijk om de verschillende geschiedenissen, praktijken en culturen te onderzoeken die deze beroepen hebben ontwikkeld.
Een Padafhankelijk Proces
Het concept van "padafhankelijkheid" uit economische geschiedenis legt uit hoe twee groepen die verschillende historische trajecten volgen, uiteenlopende resultaten ontwikkelen. Software engineers en machine learning engineers ervoeren op vergelijkbare wijze een padafhankelijke ontwikkeling, waarbij ze verschillende professionele culturen creëerden.
Tegen het einde van de 20e eeuw was de software-industrie volwassen geworden en creëerde de rol van productmanager. Productmanagers overbruggen zakelijke behoeften en ontwikkelingsteams door middel van gebruikersverhalen, wat softwareengineers in staat stelde zich puur te concentreren op engineering excellence. Deze specialisatie produceerde meesterschap in code reviews, unit testing en DevOps-praktijken.
Machine learning engineers volgden een ander traject, voortkomend uit data-analyseachtergronden. Deze beoefenaars gaven prioriteit aan zakelijke resultaten boven codekwaliteit en schaalbaarheid. Ze omarmden MVP's en experimentatie—eigenschappen die hun oorspronkelijke aanduiding "data scientist" weerspiegelden in plaats van "engineer."
De twee culturen verschillen fundamenteel in hun benaderingen:
- Gegevensverzameling: Software engineers slaan alleen onmiddellijk noodzakelijke gegevens op, terwijl machine learning-beoefenaars gegevens verzamelen die ze mogelijk in toekomstige projecten nodig hebben
- Testfilosofie: Software engineers valideren code tegen specificaties, terwijl machine learning engineers algoritmische impact op gebruikers meten en itereren op basis van feedback
- Risicotolerantie: Sommige machine learning-beoefenaars accepteren het implementeren van onvolmaakte code als het de gewenste zakelijke resultaten bereikt
De Samensmelting Vooruit
Noel Kippers' metafoor over machine learning-professionals die "volwassen broeken aantrekken" weerspiegelt de verwachting dat data scientists strengere engineering-standaarden overnemen. Binnen vijf jaar zal het onderscheid tussen machine learning engineers en software engineers waarschijnlijk verdwijnen, waarbij de eersten de laatsten worden die gespecialiseerde bibliotheken zoals TensorFlow, HuggingFace en Scikit-Learn gebruiken.
Er ontstaat echter een zorg over wat de bredere software engineering-gemeenschap zal leren van deze samensmelting. De meeste bedrijven geven prioriteit aan outputvolume boven uitkomstkwaliteit. Software engineers nemen zelden deel aan productontdekking, ondanks dat ze worden gepositioneerd als "typisch de beste enkele bron van innovatie."
"Het kleine geheim in product is dat engineers typisch de beste enkele bron van innovatie zijn; toch worden ze niet eens uitgenodigd voor het feest" — Marty Cagan
Het gevaar ligt erin dat bedrijven terugkeren naar watervalprocesprocessen verpakt in agile taal in plaats van de build-measure-learn methodologie over te nemen die data science-praktijk kenmerkte.
Tarek Amr, 12 februari 2021