Sous Databricks, notebooks et industrialisation se sont enfin réconciliés

Combien de data engineers ont pesté contre les notebooks des data scientists ? La liste des griefs est longue… mais obsolète quand on manipule les notebooks sous Databricks ! Au cours de cette session, nous verrons comment l’industrialisation du code peut être réalisée grâce à Azure DevOps et sa partie « Feed » qui permet d’héberger des packages wheel, visibles depuis les clusters Databricks. En travaillant depuis un IDE comme Visual Studio Code, assisté par le module databricks-connect, nous revenons dans des standards de développement qui pourront ensuite bénéficier du versionning Git vers Azure Repo ainsi que de pipelines de build, intégrant des tests, et pipelines de release vers d’autres environnement. En mettant en pratique cette approche, nous garantissons une qualité de livrables qui rassurera bien des product owners !