Il mio profiler di dati darà allo stesso file, mai toccato, un punteggio più basso a Capodanno. L’ho scoperto usandolo per la prima volta come dipendenza. Sul codice di raccordo che serve a una pipeline vera, e sul confine tra cosa deve fare una libreria e cosa deve lasciare a chi la usa.
Il mio verificatore di backup ha passato 24 controlli su 24 mentre il job di backup era in failed. Non è l’unica cosa verde che ho costruito a rispondere a una domanda più stretta di quella che stavo facendo. Su cosa dimostra davvero una luce verde, e sui controlli che se la guadagnano.
Un esperimento di falsificazione con una kill list scritta prima e un risultato negativo. Delta ha un commit idempotente fatto apposta; iceberg-rust ribasa la transazione su una base che il chiamante non ha mai controllato, quindi uno scrittore esterno non può rendere condizionale un commit. Il test di concorrenza verde era un falso positivo — 0 round su 40 hanno davvero gareggiato — e solo un failpoint ha fatto uscire il duplicato.
La maggior parte dei fallimenti nelle pipeline ML non nasce da bug esotici del modello, ma da problemi di dati mai codificati come controlli. In questo articolo vediamo come costruire guardrail con pandas, Apache DataFusion, contratti dati e Arrow C Data Interface.