De 150 stappen vooruit van Microsoft Fabric in 2024

Het jaar 2024 loopt stilaan weer op zijn einde en dus een mooi moment om terug te kijken op het jaar. Wat stond er in de kranten van dit jaar, maar nog belangrijker wat was het belangrijkste nieuws voor jou? Een mooie vakantie in het buitenland, de komst van een nieuw gezinslid (kind of huisdier) of toch die auto waar je vroeger al boven je bed een poster van had hangen?

Wij van OneDNA hebben onder andere samen met klanten de juiste stappen in de juiste richting gemaakt, nieuwe collega’s mogen verwelkomen en daardoor het kantoor mogen uitbreiden. Maar daarnaast zien wij ook fantastische ontwikkelingen bij bijvoorbeeld Databricks en Microsoft Fabric.

Sinds de algemene beschikbaarheid in november 2023, heeft Microsoft Fabric grote stappen gezet. Zo zijn Power BI-capaciteiten vervangen door Fabric-capaciteiten, en zijn er meer dan 150 nieuwe features gelanceerd. Te veel om allemaal te behandelen, maar we lichten graag de belangrijkste ontwikkelingen uit.

Copilot en AI

AI was hét buzzword van 2024. Van reclames tot bedrijfsstrategieën – overal speelde AI een rol. Ook in Microsoft Fabric zagen we baanbrekende toepassingen, zoals Copilot, dat nu beschikbaar is in de Power BI mobiele app en verder geïntegreerd is in de client tools zoals Microsoft Fabric Studio en de preview versie van SQL Server Management Studio (SSMS) versie 21.

Copilot in de PowerBI mobiele app

Dit jaar werd er dan ook daadwerkelijke AI geïntroduceerd in Microsoft Fabric. Het is dus niet alleen een belofte dat het je gaat helpen bij je werk, maar is ook daadwerkelijk al overal toepasbaar. Het is namelijk niet alleen binnen de PowerBI omgeving beschikbaar, maar nu ook binnen PowerBI mobiele apps is het mogelijk geworden om de hulp van AI in te schakelen voor bijvoorbeeld:

• Automatische rapportsuggesties
• Rapporten met één klik
• Samenvattingen van data
• DAX-Query’s schrijven en uitleg
• Q&A

Voordat je deze functies kan gebruiken zijn er nog wel een aantal voorwaarden aan voldoen moet worden;

• De administrator moet Copilot inschakelen in Microsoft Fabric
• De capacity van minimaal F64 of P1
• De capacity moet zich in één van de regio’s bevinden die Copilot ondersteund

Er zijn capacity varianten van F2 tot F2048 en die zijn gekoppeld aan het aantal CU die je tot beschikking hebt. Een Power BI pro of Power BI Premium per User is niet voldoende om gebruik te maken van deze functionaliteiten. Alle informatie rondom Copilot in Power BI Mobile apps is in de Microsoft Learn omgeving.

Copilot integratie in zowel SQL Server Management Studio (SSMS) als Fabric Studio fungeert als een persoonlijke assistent en is er om ontwikkelaars een handje te helpen met slimme suggesties voor hun code, snel fouten op te lossen en complexe SQL-query’s te begrijpen. Hierdoor wordt het schrijven van code een stuk makkelijker en efficiënter. Het is als het ware een eerste vraagbaak een virtuele collega die jou een handje kan helpen.

Copilot Summaries

Zit jij regelmatig te wachten op die analist die een maandelijkse analyse van de verkoopdata zou opleveren? Voortaan zal Copilot dit voor jou uit handen kunnen nemen met Summaries. Summaries maakt het mogelijk om een samenvatting te krijgen van jouw rapportage op gezette tijden en/of dagen. Ga je de samenvatting gebruiken in een PowerPoint? Geen probleem, dan wordt het alvast in een PowerPoint naar jou gestuurd. Toch liever een PDF? Ook dat is geen probleem om die gewoon via de mail te ontvangen.

Lees meer over deze functie in de Microsoft Learn omgeving.

Copilot in Data Factory

Om onder andere de productiviteit te verhogen is Copilot nu ook beschikbaar gesteld binnen Data Factory. Nog niet alles is uit de preview fase, maar het laat wel de mogelijkheden zien.

Eén van de nieuwe mogelijkheden is om een data pipeline te ontwerpen met behulp van Copilot. Door in natuurlijke taal het te formulieren zal Copilot op basis van de vereisten hier een data pipeline voor ontwerpen. Hierbij zal hij gebruikmaken van het automatisch genereren van Mashup Code voor het opzetten van bron- en doellinks en eventuele transformaties.

Naast het dat het mogelijk is om een pipeline te ontwerpen, kan er ook hulp worden ingeschakeld van Copilot bij de troubleshooting. De foutmelding wordt nog niet opgelost, maar het geeft een samenvatting en eventuele opties om de foutmelding op te lossen.

Door Copilot wordt het gebruik van data pipelines een stuk toegankelijker voor een veel breder publiek. Je hoeft geen data engineer te zijn voor het volledige ontwerp, bouw en beheer van de data pipeline.

Benieuwd hoe dit werkt in Data Factory? Bekijk dan de uitleg van Microsoft Learn.

Nieuwe Certificeringen

Met AI als hulpmiddel blijft de menselijke factor essentieel. Om het maximale uit Microsoft Fabric te halen, heeft Microsoft twee nieuwe certificeringen gelanceerd: Eerder dit jaar heeft Microsoft “Microsoft Certified: Fabric Analytics Engineer Associate” en “Microsoft Certified: Fabric Data Engineer Associate” certificeringen gelanceerd.

Microsoft Certified: Fabric Analytics Engineer Associate

De DP-600 is ontwikkeld voor de data-analisten en data-engineers die zich bezighouden met beheren van semantische modellen, datawarehouses en lakehouses. Binnen de DP-600 leer je het onderhouden van een data-analyse oplossing, voorbereiden van data en het implementeren van semantische modellen. Hierbij wordt ook uitgebreid stilgestaan bij Fabric specifieke onderdelen zoals de dataflows, pipelines en notebooks om uiteindelijk het beheer van de drie eerdergenoemde onderdelen perfect uit te kunnen (blijven) voeren.

Zoals bij bijna elke Microsoft certificering is onder andere een cursus beschikbaar gesteld via Microsoft Learn. In ongeveer 4 dagen word je door alle benodigde informatie en oefensessies heen geloodst zodat jij perfect bent voorbereid voor het examen.

Microsoft Certified: Fabric Data Engineer Associate

Waar de DP-600 zich richt op het ontwerpen, creëren en beheren, richt de DP-700 zich op de technische kant van de data-ontsluiting, transformaties, beveiliging en optimalisatie van data-oplossingen. Het is dan ook niet voor niets dat deze certificering ontwikkeld is met de data-engineer in het achterhoofd.

Voor de DP-700 zijn op het moment van schrijven nog geen officiële leermodules vrijgegeven, maar er is al wel een voorbereiding op het examen samengesteld. Neem op een kijkje op de DP-700 pagina en bereid je alvast voor  

Bij OneDNA vinden wij het opleiden van onze collega’s niet alleen belangrijk voor onze klant, maar vooral voor onze collega’s zelf. Wist je dat wij meer dan 50 Microsoft certificeringen hebben behaald in 11 verschillende certificaten? Naast Microsoft certificaten hebben wij ook diverse certificaten behaald voor Databricks en Professional Scrum Master.

Mirroring en shortcuts

Op 24 november 2024 werd Open Mirroring als preview aangekondigd tijdens Microsoft Ignite, maar daarvoor kwamen deze onderwerpen al veelvuldig voorbij in de Fabric Community en blogs. Deze nieuwe functionaliteit gaat gebruikers in staat stellen om data te mirroren in Microsoft Fabric. Hiermee lijken Shortcuts en Mirroring erg op elkaar maar toch zijn er grote verschillen tussen de twee oplossingen.

Shortcuts zijn verwijzingen naar andere opslagplaatsen zonder dat je de data fysiek kopieert naar bijvoorbeeld Onelake. Hierdoor ontstaat er een live verbinding met je andere opslagplaatsen. Door die liveverbinding blijft het opslagvolume beperkt en heb je directe toegang tot de data in de oorspronkelijke bron.

Shortcuts kunnen gebruikt worden als er data opgeslagen is in verschillende cloudomgevingen. Wanneer je dit wilt samenbrengen in één omgeving, dan voorkom je duplicatie van de data en dus opslag.  Daarnaast wordt er bespaard op het verplaatsen van data, blijft het beheer en het onderhoud ook bij de bron en kan de focus gelegd worden op de transformatie en laden van de data.

Mirroring maakt een exacte kopie van de bronnen binnen OneLake, die continu bijgewerkt wordt. Hierdoor wordt het mogelijk om data-integratie te vereenvoudigen en real-time data-updates te ondersteunen. Indien het gebeurt dat er uitval is aan de kant van de externe bron, dan blijft jouw data altijd bereikbaar via de lokale kopie. Op dit moment wordt de Azure SQL DB ondersteund en staat ditzelfde gepland in het eerste kwartaal van 2025 voor CosmosDB.

Mirroring kan gebruikt worden wanneer je real-time inzichten moet hebben van transactieverkeer. De data is hiermee altijd up-to-date en te gebruiken voor analyse en rapportages. In tegenstelling tot Shortcuts wordt de data wel degelijk gerepliceerd binnen OneLake. Daardoor wordt het mogelijk om de data te integreren met de al bestaande data. Aangezien het nog in preview is, moet nog het nog verder ontwikkeld worden en moet het duidelijk worden wat het effect op de kosten is. Op dit moment moet er betaald worden voor de data die opgeslagen is binnen OneLake. Indien je Fabric capaciteit hebt, dan zal het aantal CU’s bepalen hoeveel terabyte opslag je ‘gratis’ ontvangt. Bijvoorbeeld bij een F2 capaciteit zit 2 terabyte aan opslag, bij F64 is dit 64 terabyte.

Ook over mirroring is meer te vinden in de Learn omgeving van Microsoft. Meer informatie over shortcuts vind je hier.

Fabric Databases

Volgens Microsoft maakt de SQL-database in Fabric het mogelijk om transactionele en analytical workloads samen te brengen. Klinkt fantastisch maar wat houdt het nou precies in?

Als we de vergelijking maken met traditionele databases dan hebben de traditionele databases verschillende gescheiden systemen voor transactionele (OLTP) en analytische (OLAP) workloads wat uiteindelijk leidt tot meer beheer en integratie van gegevens. Binnen deze nieuwe Fabric SQL database is mogelijk om beide type workloads te ondersteunen, waardoor er maar één platform gebruikt hoeft te worden.

Waar Azure SQL Database een PaaS oplossing is en een platform biedt voor het ontwikkelen en beheren van een of meerdere databases, biedt Fabric SQL databases een kant-en-klare oplossing die gemakkelijk integreert met andere Microsoft diensten. In principe zouden hiermee de zorgen rondom infrastructuur en platformbeheer moeten verdwijnen, aangezien Fabric dit stukje uit handen neemt en dus in feite een Saas-oplossing is.

Hottopic is veiligheid, dus ook hier is aan gedacht. Net als met alle Microsoft-oplossing tegenwoordig integreert de SQL-database volledig met Microsoft Entra (voorheen Azure AD). Hierdoor blijft gecompliceerde configuratie achterwege zoals wel het geval kan zijn bij alternatieve databaseleveranciers.

De ‘million dollar question’ blijft toch; “Wat moet het kosten?”. De SQL-database maakt gebruikt van de cloudinfrastructuur van Microsoft, wat uiteindelijk zou moeten tot lagere kosten ten opzichte van traditionele databases. Dit omdat het ontworpen is met ingebouwde schaalbaarheid en efficiëntie in het achterhoofd. Het maakt gebruikt van pay-as-you-go prijsmodellen wat de vrijheid geeft op het gebeid van kostenbeheer.

Naast de kosten voor het gebruik van de SQL-database zal er ook winst te behalen zijn rondom de kosten voor het beheer en automatisering. De database is zo ingericht om beheertaken en prestatieoptimalisatie automatisch af te handelen, wat bij traditionele databases vaak niet het geval is.

Ben je benieuwd naar hoe dit nou in zijn werk gaat? Microsoft heeft een Learn Together serie gelanceerd waar er in zes afleveringen alle facetten van de Fabric SQL database belicht worden door experts van binnen en buiten Microsoft. Voor deze series klik hier, wil je de normale Learn Omgeving raadplagen dan kan je hier terecht.

Fabric API

In 2024 heeft Microsoft grote verbeteringen aangebracht aan Fabric API. Waar er voorgaand er kritiek was op de werking op de Continuous Integration en Continuous Deployment (CI/CD), is dit grondig aangepakt en verbeterd. Hierdoor moet het mogelijk maken om efficiënter te integreren, testen en de implementeren.

Eén van de verbeteringen is de mogelijkheid om Fabric Data Factory pipelines te verbinden met GitHub of Azure DevOps om codewijzigingen bij te houden en automatische tests en builds uit te voeren bij elk commit. Een andere verbetering is het toepassen van selectieve updates. Waar eerst alle pipelines bijgewerkt moesten worden, kunnen nu selectief updates worden bijgewerkt.

Daarnaast zijn er ook nieuwe deployment pipelines geïntroduceerd om de implementatie van codewijzigingen naar productieomgevingen te begeleiden. Door de gestructureerde implementatiestappen kunnen ontwikkelaars gecontroleerde en geautomatiseerde implementaties uitvoeren.

De vierde grote wijzigingen is de integratie van Automated Machine Learning (AutoML) binnen Fabric Data Science. Dit zou de tijdrovende en complexe taken van het ontwikkelen van machine learning-modellen moeten automatiseren.

De laatste grote wijziging zijn de nieuwe capaciteitspools. Hiermee kunnen beheerders aangepaste pools creëren op basis van hun werklastvereisten. Dit zorgt voor controle over de compute resources, waardoor het mogelijk is om verschillende pools te gebruiken voor data-engineering en voor datascience.

Mocht je op zoek zijn naar meer informatie over de CI/CD pipelines, AutoML of het configureren van capaciteitspools, klik op de betreffende link om meer de lezen op de Microsoft Learn omgeving of neem contact op met OneDNA.

Heb je de gehele blog uitgelezen en ben je ook benieuwd naar de ontwikkelingen rondom Databricks. Dat komt goed uit want ook de ontwikkelingen rondom Databricks zullen we in een aparte blog binnenkort belichten. Mocht je aan de hand van deze blog vragen hebben over de besproken ontwikkelingen of juist naar de ontwikkelingen die we niet hebben besproken, neem dan contact met ons op.

Los daarvan hopen we dat je net zo hebt genoten van het jaar 2024 en wij kijken met smart uit naar 2025 met alle mooie ontwikkelingen rondom Data & Analytics