Перейти до вмісту

MLflow

Матеріал з K2 ERP Wiki
 

Tracking потрібен для того, щоб не губити інформацію про експерименти й мати змогу порівнювати моделі не по пам’яті, а за збереженими даними.; # Зберігати model signature.; * learning_rate;
* batch_size;
* max_depth;
* n_estimators;
* optimizer;
* model_name;
* embedding_model;
* chunk_size;
* prompt_template;
* temperature.; як ілюстрація:

== Python Function flavor ==

'''Artifacts''' — це файли, які зберігаються разом із run.; MLflow Tracing документація згадує human feedback як один зі сценаріїв роботи з LLM і agent traces.; * централізованого доступу до моделей;
* контролю витрат;
* routing між providers;
* access control;
* guardrails;
* logging;
* policy enforcement;
* audit.; * churn_prediction;
* demand_forecasting;
* product_classification;
* invoice_ocr;
* support_ticket_routing;
* llm_rag_experiment;
* fraud_detection.; Класична evaluation-система MLflow використовує <code>mlflow.models.evaluate()</code>, EvaluationMetric і custom metrics.;

MLflow Tracing заявлено як fully OpenTelemetry-compatible і сумісне з GenAI Semantic Conventions.;== MLflow і Keras / TensorFlow ==

  1. підготувати інформаційні дані;
  2. навчити модель;
  3. залогувати run;
  4. оцінити модель;
  5. порівняти з baseline;
  6. зареєструвати model version;
  7. запустити tests;
  8. перевести модель у candidate;
  9. розгорнути staging;
  10. виконати validation;
  11. розгорнути production;
  12. monitor.; Проєкт має змогу містити:
  • chunk_size = 500;
  • chunk_size = 1000;
  • chunk_size = 1500;

Це надає можливість запускати експеримент однаково на різних машинах або в різних середовищах.; Він сприяє керувати життєвим циклом моделі:

Типові помилки при використанні MLflow

як ілюстрація:

  • tabular ML;
  • scoring models;
  • demand forecasting;
  • fraud detection;
  • churn prediction;
  • ranking;
  • classification.;[1]

AI-агенти складніші за простий chatbot.; * AI Gateway — шар керування доступом до AI-моделей і policies.; mlflow models serve -m runs:/.../model

Класичні компоненти MLflow:

Коли MLflow особливо корисний

  • MLflow Tracking — відстеження експериментів;
  • MLflow Models — стандартний формат упаковки моделей;
  • MLflow Model Registry — реєстр моделей і версій;
  • MLflow Projects — упаковка коду для відтворюваних запусків;
  • MLflow Deployments — робота з deployment targets;
  • MLflow Evaluation — оцінювання моделей;
  • MLflow Tracing — tracing для LLM і agent застосунків;
  • MLflow GenAI — інструменти для prompts, evaluation, tracing і monitoring generative AI.; MLflow найкраще використовувати як центральний журнал і контрольну систему для AI-розробки: він не створює якість автономно, але сприяє команді бачити, порівнювати, відтворювати, оцінювати й розгортати моделі відповідально.; У контексті ERP MLflow має змогу бути інструментом для супроводу AI- і ML-компонентів поруч із ERP.; MLflow починався як інструмент для традиційного machine learning lifecycle, але в MLflow 3 отримав значний фокус на generative AI, LLM-застосунках і AI-агентах.; Головна ідея MLflow — навести порядок у ML- і AI-розробці.; * prompt versions;
  • trace review;
  • safety checks;
  • human feedback;
  • guardrails;
  • model provider policy;
  • cost monitoring.; Tracing корисний, коли AI-застосунок складається з кількох етапів:
  • потребує правильної інфраструктури;
  • security треба налаштовувати;
  • dataset versioning потрібно вирішувати окремо;
  • production monitoring потребує архітектури;
  • GenAI evaluation не скасовує human review;
  • MLflow не замінює MLOps-культуру.; * паролі;
  • API-ключі;
  • приватні токени;
  • credentials;
  • персональні інформаційні дані;
  • медичну інформацію;
  • фінансові інформаційні дані;
  • raw customer data;
  • confidential documents;
  • production secrets;
  • приватний код без доступів;
  • повні prompts із sensitive data;
  • traces із персональними даними без обробки.;== Experiment ==

{{SEO


Metrics можуть логуватися один раз або багато разів протягом training.; Model Signature описує вхідні й вихідні інформаційні дані моделі.;

MLflow не завжди замінює orchestrator.;[2]

MLflow і LangChain

  • переглядати runs;
  • порівнювати метрики;
  • дивитися parameters;
  • відкривати artifacts;
  • бачити моделі;
  • фільтрувати experiments;
  • аналізувати training;
  • переглядати traces для LLM-застосунків.; MLflow UI — вебінтерфейс для перегляду експериментів.;== MLflow Deployments ==

Обмеження MLflow

MLflow і XGBoost / LightGBM

як ілюстрація, loss має змогу логуватися на кожній epoch.; * Backend Store — сховище metadata MLflow.;

Без tracing агент схожий на чорну скриньку: він щось зробив, але незрозуміло, чому саме.; MLflow має змогу логувати sklearn-моделі й зберігати їх у форматі MLflow Model.; MLflow має змогу бути зайвим, якщо:

Artifacts допомагають зберегти не тільки числа, а й супровідні матеріали експерименту.; Після цього результати можна переглянути в MLflow UI.; * є собою один маленький експеримент;

  • модель не йде в production;
  • немає команди;
  • немає потреби в registry;
  • немає deployment;
  • достатньо простого notebook;
  • немає повторних запусків;
  • задача вирішується SQL або правилом;
  • немає ML lifecycle.; Reproducibility — здатність відтворити результат.; * метрики в Excel;
  • параметри в блокнотах;
  • моделі в різних папках;
  • графіки в окремих файлах;
  • датасети без версій;
  • код без зв’язку з моделлю;
  • production-модель невідомого походження;
  • LLM-prompts без історії;
  • agent traces без observability.;

Офіційна документація описує MLflow Tracing як OpenTelemetry-compatible LLM observability solution, яка capture inputs, outputs, latency, costs і metadata для проміжних кроків запиту.; * Run — один запуск експерименту або коду.;== MLflow і Ollama ==

Input example особливо корисний для команд, де модель використовують не ті самі люди, які її тренували.;

Для локальних тестів можна використовувати файлове сховище.; Release notes описують MLflow 3.12.0 як реліз, focused on improving LLM observability workflows, зокрема multimodal tracing, tracing support для Codex, Gemini і Qwen coding agents, gateway guardrails і pagination для trace table.;== MLflow і PyTorch ==

  1. навчити PyTorch-модель;
  2. залогувати parameters і metrics;
  3. зберегти модель у MLflow;
  4. зареєструвати її в Model Registry;
  5. розгорнути inference endpoint.; користувач системи або експерт має змогу оцінювати:
  • experiments;
  • runs;
  • parameters;
  • metrics;
  • tags;
  • model registry metadata.; * Tracing — запис кроків виконання LLM або agent workflow.; Registered Model має змогу мати багато versions.; У локальному режимі MLflow часто не має enterprise security.;== Run ==

Типова схема:

MLflow має змогу зберігати модель, а Docker — середовище для її запуску.; mlflow.log_metric("accuracy", 0.92)

MLflow Tracking — це платформа для запису й перегляду експериментів.; Docker часто використовують разом із MLflow.;== GenAI Evaluation ==

  • хто має змогу бачити experiments;
  • хто має змогу видаляти runs;
  • хто має змогу реєструвати model versions;
  • хто має змогу переводити модель у production;
  • хто має змогу бачити artifacts;
  • хто має змогу бачити LLM traces;
  • хто має змогу бачити prompts;
  • хто має змогу налаштовувати gateway endpoints.; MLflow сприяє зберігати частину цієї інформації, але не вирішує все автономно.;== Registered Model ==
  • tracing;
  • evaluation;
  • prompt tracking;
  • observability;
  • production monitoring;
  • artifacts;
  • datasets;
  • cost and latency analysis.;[3]

Run має змогу містити:

як ілюстрація:

Model Signature

Input Example

MLflow і ERP-системи

Безпека MLflow

Це істотно для deployment і reproducibility.; MLflow має інструменти для оцінювання моделей.;== MLflow для звітності ==

Databricks надає managed MLflow із додатковими enterprise-можливостями.; як ілюстрація, можна порівняти:

  • experiment tracking;
  • model registry;
  • model packaging;
  • model deployment;
  • model evaluation;
  • GenAI evaluation;
  • LLM tracing;
  • prompt management;
  • AI observability;
  • agent monitoring;
  • artifact management;
  • reproducibility;
  • production ML;
  • CI/CD для моделей;
  • інтеграції з ML-фреймворками;
  • командної роботи над ML-проєктами.;== LLM Observability ==

MLflow і Databricks

  • python_function;
  • sklearn;
  • pytorch;
  • keras;
  • tensorflow;
  • xgboost;
  • lightgbm;
  • spark;
  • transformers.;== Практичний висновок ==
  • зафіксувати environment;
  • запускати tracking server;
  • створити inference image;
  • розгорнути model server;
  • запускати training jobs;
  • уникати “works on my machine”.; Це показує, що MLflow уже не лише класичний MLOps-інструмент, а й платформа для AI agents, LLM tracing і GenAI observability.; LangChain відповідає за orchestration LLM-застосунків:

predictions = model.predict(data)

Він не веде обліковий облік, не проводить документи, не керує складом і не рахує фінансовий блок.; Його обмеження:

MLflow має обмеження.; MLflow Tracing сприяє бачити кожен крок agent workflow.; Artifacts можуть бути великими, з цієї причини їх краще не змішувати з metadata database.;[4]

як ілюстрація:

  • model.pkl;
  • model.keras;
  • model.pt;
  • графіки;
  • reports;
  • datasets samples;
  • embeddings;
  • evaluation files.; Якщо в них потрапили секрети, це стає security incident.;[5]

Він має змогу логувати:

* tracking експериментів прогнозування попиту;
* реєстру моделей класифікації документів;
* evaluation OCR або text classification;
* versioning ML-моделей;
* monitoring AI-помічника;
* tracing RAG по документації;
* порівняння моделей для аналітики.; '''Backend Store''' зберігає metadata MLflow.; MLflow GenAI documentation описує платформу як all-in-one platform для track prompts, evaluate quality, deploy AI agents і monitor performance.;<ref>https://mlflow.org/docs/latest/genai/tracing/</ref>

MLflow має змогу допомагати зі звітністю по ML-проєктах.;== Governance ==

'''Input example''' — приклад вхідних даних для моделі.; MLflow має змогу використовуватися поруч із [[LangChain]].; Це один із найпростіших сценаріїв для старту з MLflow.; -P learning_rate=0.001

Human feedback можна використовувати для:

як ілюстрація:

 mlflow.log_artifact("confusion_matrix.png")

* backend store — база даних для metadata;
* artifact store — S3, Azure Blob, GCS, local storage або інше сховище;
* MLflow UI — інтерфейс для команди;
* training jobs — логують runs у tracking server.; # Не логувати secrets і sensitive data.; У GenAI-проєктах prompt є собою частиною продукту.; як ілюстрація, команда має змогу порівняти Mistral, Llama і Qwen через Ollama, а результати evaluation зберегти в MLflow.;== Коли MLflow має змогу бути зайвим ==

== Хороші практики ==

Але якщо експерименти повторюються, моделей багато або є собою production — MLflow оперативно стає корисним.; * '''Registered Model''' — іменована модель у registry.; '''AI Gateway''' — шар, який сприяє керувати доступом до AI-моделей, costs, routing і policies.; '''Parameters''' — це вхідні конфігурація експерименту.; Зазвичай UI запускається командою:

Вона надає можливість логувати:

Офіційна MLflow Tracing документація зазначає інтеграції з LLM providers і agent frameworks, включно з LangChain, LlamaIndex, DSPy і Pydantic AI.;== MLflow і CI/CD ==

MLflow Projects корисні для reproducibility, але на практиці багато команд додатково використовують Docker, Poetry, Conda, CI/CD і workflow orchestrators.; * '''Artifact Store''' — сховище файлів і моделей.; MLflow не замінює PyTorch.; OpenTelemetry корисний для команд, які вже мають monitoring, tracing і logging у production.; У сучасних registry-підходах дедалі частіше використовуються aliases і більш гнучкі lifecycle patterns.; # Перевіряти drift після deployment.; Signature корисний для:

[[Категорія:MLflow]]

У MLflow release notes 3.12.0 згадуються Gateway guardrails, які дозволяють встановлювати guardrails на gateway endpoints для запобігання unsafe або non-compliant inputs and outputs.; як ілюстрація:

import mlflow

MLflow — це платформа для керування lifecycle, а не магічна кнопка “зробити AI правильно”.;[[Категорія:RAG]]

Поширені помилки:

MLflow Tracing надає можливість аналізувати такі інформаційні дані й знаходити bottlenecks, hallucinations, неправильні tools або слабкий retrieval.; офіційно затверджений реліз MLflow 3 у червні 2025 року описував його як версію з production-ready generative AI capabilities.; як ілюстрація:

Без MLflow команда часто зберігає результати експериментів хаотично:

Docker сприяє:

MLflow дає єдину систему, де можна бачити:

* churn_classifier v1;
* churn_classifier v2;
* churn_classifier v3.; # Вимірювати latency, cost і quality.; Dataset має змогу містити:

MLflow Tracing documentation описує production monitoring як один зі сценаріїв LLM і agent tracing, включно з latency, token usage і quality metrics.; * '''MLflow Models''' — формат упаковки моделей.; Це корисно для:

У GenAI governance додатково охоплює:

* schema input;
* schema output;
* column names;
* data types;
* tensor shapes.; * '''Challenger model''' — нова модель-кандидат для порівняння.;<ref>https://mlflow.org/docs/latest/genai/</ref>

== Tracking Server ==

MLflow добре інтегрується з [[PyTorch]].; У production потрібно додати authentication, monitoring, scaling, rollback, logging і security.;== Джерела ==

Потрібно відстежувати:

'''Registered Model''' — це іменована модель у реєстрі.; або через tracking server.; MLflow має змогу бути частиною цього процесу:

== MLflow Model Registry ==

* authentication;
* authorization;
* network isolation;
* TLS;
* reverse proxy;
* database credentials;
* object storage permissions;
* secrets management;
* audit logs;
* backups;
* access control;
* retention;
* artifact scanning.; * '''Flavor''' — спосіб опису моделі для конкретного фреймворку.; * input question;
* expected answer;
* reference documents;
* ground truth label;
* expected tool call;
* metadata;
* user segment;
* language;
* difficulty.; Pyfunc зручний, бо приховує конкретний фреймворк моделі.; '''Artifact Store''' зберігає файли.; MLflow сприяє командам відстежувати експерименти, зберігати параметри й метрики, керувати артефактами, реєструвати моделі, розгортати їх, оцінювати якість, трасувати LLM-запити, аналізувати AI-агентів і будувати відтворюваний MLOps-процес.;== MLflow і scikit-learn ==

* code version;
* dataset version;
* random seed;
* library versions;
* hardware;
* preprocessing;
* model parameters;
* training environment;
* prompt version;
* LLM provider version;
* temperature;
* retrieved context.; * '''Evaluation''' — оцінювання якості моделі або AI-застосунку.; Для scikit-learn MLflow дуже зручний.; Офіційна документація окремо зазначає, що для GenAI/LLM evaluation варто використовувати <code>mlflow.genai.evaluate()</code> і Scorer objects.; * відповідь правильна чи ні;
* корисність;
* tone;
* completeness;
* groundedness;
* safety;
* citation quality;
* next action.; * ML-команд;
* data science teams;
* MLOps;
* model registry;
* experiment tracking;
* production ML;
* GenAI evaluation;
* LLM tracing;
* AI agents;
* RAG;
* prompt management;
* model comparison;
* reproducibility;
* enterprise AI;
* CI/CD для моделей;
* командної роботи над AI.; * parameters;
* metrics;
* artifacts;
* models;
* tags;
* source code;
* run metadata.; * логувати experiments;
* трасувати retrieval;
* оцінювати відповіді;
* зберігати datasets;
* порівнювати retrievers;
* оцінювати latency і cost;
* збирати feedback;
* monitor production RAG.; Gateway корисний для:

# створити prompt;
# запустити evaluation dataset;
# зібрати traces;
# оцінити відповіді;
# порівняти model providers;
# зібрати human feedback;
# оновити prompt;
# задеплоїти;
# monitor production traces.; DVC часто використовують для versioning datasets і pipelines.; Experiment сприяє організувати роботу так, щоб не змішувати різні задачі в одному списку.; Він є собою платформою для керування, оцінювання й спостереження за AI-застосунками.; Це має змогу включати:

Його сильні сторони:

MLflow має змогу зберігати artifacts і traces довго.; # Мати approval process для production models.; * '''Model Version''' — конкретна реліз registered model.; як ілюстрація:

* [[PyTorch]]
* [[Keras]]
* [[LangChain]]
* [[Ollama]]
* [[Mistral AI]]
* [[Llama]]
* [[Google Gemini]]
* [[NotebookLM]]
* [[GitHub Copilot]]
* [[Cursor]]
* [[Tabnine]]
* [[Штучний інтелект]]
* [[Генеративний AI]]
* [[Python]]
* [[API K2 ERP]]
* [[Інтеграції K2 ERP]]
* [[Розробка в K2 ERP]]
* [[Тестування коду]]
* [[Звітність K2 ERP]]

Evaluation потрібна для:

* [https://mlflow.org/ MLflow — офіційна сторінка]
* [https://github.com/mlflow/mlflow MLflow GitHub Repository]
* [https://mlflow.org/releases/ MLflow Releases]
* [https://mlflow.org/releases/3/ MLflow 3 Release]
* [https://mlflow.org/docs/latest/ MLflow Documentation]
* [https://mlflow.org/docs/latest/genai/ MLflow — GenAI Documentation]
* [https://mlflow.org/docs/latest/genai/tracing/ MLflow — LLM Tracing and Agent Observability]
* [https://mlflow.org/docs/latest/ml/evaluation/ MLflow — Model Evaluation]
* [https://mlflow.org/blog/structured-ai-eval/ MLflow Blog — Structuring AI Evaluation and Observability]
* [https://docs.databricks.com/aws/en/mlflow/ Databricks — MLflow on Databricks]
* [https://learn.microsoft.com/ru-ru/azure/databricks/mlflow/ Azure Databricks — MLflow]
* [https://www.mediawiki.org/wiki/Help:Formatting MediaWiki — Help:Formatting]
* [https://www.mediawiki.org/wiki/Help:Links MediaWiki — Help:Links]

MLflow — одна з найважливіших open-source платформ для MLOps і AI engineering.; * code;
* environment;
* entry points;
* parameters;
* MLproject file.; # Для GenAI використовувати tracing і evaluation.;[[Категорія:Тестування]]

* які експерименти запускалися;
* які метрики були досягнуті;
* яка модель стала champion;
* які параметри працювали краще;
* які версії моделей у production;
* яка latency;
* які costs;
* які GenAI traces мають проблеми;
* які prompts покращили quality.; Через UI можна:

== Дивіться додатково ==

== Типовий MLflow workflow ==

* relevance;
* faithfulness;
* groundedness;
* toxicity;
* hallucinations;
* retrieval quality;
* answer correctness;
* tool correctness;
* format correctness;
* latency;
* cost;
* user feedback.; Можна показувати:

Runs дозволяють порівнювати підходи.; * demand_forecasting_model;
* churn_classifier;
* invoice_ocr_model;
* ticket_priority_model;
* rag_answer_evaluator.; і подивитися, як змінюється relevance, faithfulness, latency і cost.; * '''Champion model''' — поточна найкраща або production-модель.; '''MLflow Deployments''' — інструменти для розгортання моделей або роботи з deployment targets.; Не варто без політики логувати:

Для evaluation потрібні datasets.; '''OpenTelemetry''' — відкритий стандарт для observability.;== Model Version ==

Для GenAI-систем важливий human feedback.; Flavor надає можливість MLflow розуміти, як завантажити й використати модель.; # Налаштовувати access control.;== MLflow Tracking ==

CI/CD для ML складніший, ніж для звичайного коду, бо потрібно контролювати не тільки код, а й інформаційні дані, метрики, модель і drift.; * '''Parameter''' — вхідне конфігурація експерименту.; # Логувати parameters, metrics і artifacts системно.; * логувати тільки accuracy і не логувати parameters;
* не зберігати dataset version;
* не зберігати preprocessing code;
* не використовувати model signature;
* не налаштувати artifact store;
* запускати tracking server без security;
* логувати secrets;
* не використовувати model registry;
* не мати approval process;
* плутати experiment tracking і production monitoring;
* не перевіряти drift;
* не оцінювати LLM-застосунки на dataset;
* не трасувати agent tools;
* не контролювати cost і latency.;== Reproducibility ==

== Що не варто логувати в MLflow ==

[[Категорія:Розробка]]

== MLflow і Kubernetes ==

Artifact store має змогу бути:

* parameters;
* metrics;
* artifacts;
* model file;
* dataset information;
* tags;
* logs;
* code version;
* start time;
* end time.; Parameters зазвичай не змінюються під час одного run.; як ілюстрація, модель має змогу бути sklearn, XGBoost або custom Python model, але виклик виглядає однаково.;<pre>

# користувач системи ставить питання;
# платформа виконує retrieval;
# агент викликає tool;
# LLM формує відповідь;
# платформа перевіряє output;
# відповідь повертається користувачу.; '''MLflow Tracking Server''' — сервер, який приймає й зберігає experiment data.; У командному MLflow потрібно контролювати доступ.; Для GenAI workflow:

Типовий сценарій:

* Staging;
* Production;
* Archived.; # Використовувати artifact store для великих файлів.;== MLflow 3.12.0 ==

* планувати;
* викликати tools;
* робити кілька LLM calls;
* використовувати memory;
* читати документи;
* звертатися до API;
* виконувати actions.; * Airflow запускає training;
* training логить run у MLflow;
* evaluation записує metrics;
* registry оновлює model version;
* deployment job розгортає модель.; # Версіонувати dataset окремо.;== MLflow і Mistral AI / OpenAI / Gemini ==

Ідея однакова: команда має явно знати, яка реліз моделі зараз застосовується для конкретного середовища або ролі.; У сучасному MLflow істотно розглядати не тільки класичні ML-моделі, а й AI-застосунки, які складаються з prompts, retrievers, tools, LLM calls і agent logic.; У production потрібно налаштувати:

'''MLflow''' — це платформа для AI engineering і MLOps.;[[Категорія:LLM]]

Він сприяє:

'''python_function''' або '''pyfunc''' — універсальний flavor MLflow.; * '''Pyfunc''' — універсальний Python Function flavor MLflow.; mlflow.log_param("learning_rate", 0.001)
== MLflow у бізнесі ==

'''Run''' — це один запуск коду або експерименту.; Governance охоплює:

MLflow не робить модель автономно якісною.; Production monitoring потрібен після deployment.;[[Категорія:AI]]

Він надає можливість завантажувати модель через єдиний інтерфейс:

Databricks documentation окремо зазначає, що в open-source MLflow користувач системи має самостійно забезпечувати security layer, тоді як managed MLflow у Databricks має enterprise security.; Для повної reproducibility потрібні додатково Git, dataset versioning, dependency management і containerization.;== MLflow Tracing ==

MLflow має змогу бути корисним для:

MLflow корисний для порівняння різних training runs, де змінюються layers, optimizer, learning rate, batch size або preprocessing.; У 2026 році MLflow активно розвиває GenAI-напрям навколо tracing, evaluation, human feedback, prompt versioning і AI governance.; У серйозному ML-проєкті потрібно версіонувати не лише модель, а й dataset, preprocessing і training code.; MLflow історично тісно пов’язаний із Databricks, але MLflow є собою open-source проєктом.; * local filesystem;
* S3;
* Azure Blob Storage;
* Google Cloud Storage;
* DBFS у Databricks;
* інше object storage.; У командному або production-сценарії краще використовувати tracking server із backend store і artifact store.; Він частіше доповнює orchestration, зберігаючи metadata, metrics і models.; # Регулярно очищати застарілі artifacts і runs за політикою retention.; # Документувати champion/challenger models.; with mlflow.start_run():

[[Категорія:Python]]

В одному experiment має змогу бути багато runs.; # Використовувати зрозумілі назви experiments.; * '''Artifact''' — файл, збережений разом із run.; У RAG-проєктах MLflow корисний для:

Типовий workflow:

Приклад ідеї:

'''GenAI Evaluation''' — оцінювання LLM-застосунків, prompts, RAG і agents.;<ref>https://mlflow.org/blog/structured-ai-eval/</ref>

* @champion;
* @challenger;
* @production;
* @candidate.; * прогнозування попиту;
* churn prediction;
* scoring;
* fraud detection;
* recommendation systems;
* OCR-моделей;
* класифікації звернень;
* RAG;
* AI-помічників;
* LLM-застосунків;
* agents;
* model registry;
* production monitoring;
* evaluation.;== MLflow для RAG ==

== OpenTelemetry ==

* Keras model;
* training history;
* validation metrics;
* model signature;
* artifacts;
* callbacks outputs.; * '''Model Signature''' — характеристика input і output schema моделі.; * трасування локального LLM-застосунку;
* порівняння моделей;
* evaluation локальних prompts;
* логування latency;
* аналізу RAG;
* збереження результатів експериментів.; Без signature складніше зрозуміти, які саме інформаційні дані очікує модель.; # Прив’язувати runs до Git commit.;== MLflow і Airflow / Prefect / Dagster ==

Потрібно бачити:

<pre>

* tracking prompt versions;
* tracing retrieval;
* logging retrieved documents;
* evaluation answers;
* measuring latency;
* measuring token usage;
* collecting human feedback;
* comparing chunk sizes;
* comparing embedding models;
* comparing vector stores;
* monitoring production traces.; * '''OpenTelemetry''' — відкритий стандарт observability.; * open-source MLflow — потрібно самостійно налаштовувати infrastructure, security і storage;
* managed MLflow на Databricks — має глибшу інтеграцію з Databricks, Unity Catalog, governance і enterprise features.; Різниця:

== MLflow для production monitoring ==

Для таких моделей MLflow сприяє відстежувати hyperparameters, feature sets, metrics і model versions.; це open-source платформа; додатково реалізовано LLM-застосунків, AI-агентів і моделей у production виступає ключовою рисою керування життєвим циклом машинного навчання забезпечується через '''MLflow'''.;== Human Feedback ==
Питання:
== MLflow і DVC ==

== Artifact Store ==

RAG-система без observability важко підтримується: користувач системи бачить лише фінальну відповідь, але не бачить, які документи були знайдені й чому модель відповіла саме так.; * '''Model Registry''' — реєстр моделей і версій.; * '''Agent''' — AI-система, яка має змогу використовувати tools і виконувати workflow.;== Prompt Management ==

'''MLflow Model Registry''' — це реєстр моделей і їхніх версій.; * evaluation datasets;
* regression tests;
* prompt improvement;
* retriever tuning;
* model comparison;
* production monitoring.; * '''Deployment''' — розгортання моделі для inference.; * '''GenAI Evaluation''' — оцінювання generative AI, LLM, RAG і agents.; MLflow має змогу відповідати за:

Це корисно для технічних команд і менеджменту, бо ML-рішення стають прозорішими.; як ілюстрація:

* accuracy;
* precision;
* recall;
* F1;
* AUC;
* RMSE;
* MAE;
* latency;
* cost;
* token usage;
* hallucination score;
* relevance;
* faithfulness;
* user rating.; * '''Drift''' — зміна розподілу даних або поведінки моделі після deployment.; * prompt;
* system instruction;
* user input;
* retrieved documents;
* tool calls;
* model response;
* tokens;
* latency;
* cost;
* errors;
* retries;
* user feedback;
* traces;
* spans;
* model version;
* prompt version.; * '''RAG''' — Retrieval-Augmented Generation, генерація відповіді з пошуком документів.;== Що таке MLflow ==

MLflow має змогу допомогти:

model = mlflow.pyfunc.load_model("runs:/.../model")

# створити experiment;
# запустити training;
# залогувати parameters;
# залогувати metrics;
# зберегти artifacts;
# зберегти модель;
# оцінити модель;
# зареєструвати model version;
# порівняти з baseline;
# перевести candidate у staging;
# протестувати;
# розгорнути production;
# monitor;
# rollback за потреби.; Це істотно, бо надає можливість уникати vendor lock-in і інтегрувати traces з існуючим observability stack.; Artifacts можуть бути:

Кожна реліз має змогу бути пов’язана з конкретним run, artifacts, metrics і description.;== Основні компоненти MLflow ==

Під час роботи з MLflow варто дотримуватися таких правил:

== MLflow Projects ==

У класичному ML dataset потрібен для training і testing.; * '''MLflow''' — open-source платформа для ML lifecycle, MLOps, GenAI evaluation і LLM tracing.;== Access Control ==

Це надає можливість відстежити, як саме була отримана production-модель.; * model approval;
* lineage;
* ownership;
* documentation;
* evaluation criteria;
* registry policies;
* access control;
* audit;
* rollback;
* monitoring;
* risk review;
* compliance.;<ref>https://mlflow.org/docs/latest/genai/tracing/</ref>

Типові задачі:

'''Metrics''' — це числові показники якості або продуктивності.; Для ML це складно, бо на результат впливають:

У GenAI dataset потрібен для evaluation prompts, RAG, agents і regression testing.; Але MLflow не повинен самостійно змінювати облікові інформаційні дані, проводити документи або обходити права доступу ERP.; '''LLM observability''' — це здатність бачити, як функціонує LLM-застосунок.; Документація Databricks описує MLflow 3 як платформу для experiment tracking, model evaluation, production model registry, model deployment, а додатково observability, evaluation і prompt management для agents and LLM applications.;[[Ollama]] має змогу запускати локальні LLM.;<ref>https://mlflow.org/docs/latest/genai/tracing/</ref>

== MLflow Models ==

* latency;
* error rate;
* model drift;
* data drift;
* prediction distribution;
* cost;
* token usage;
* user feedback;
* hallucination reports;
* failed tool calls;
* retriever quality;
* traffic patterns;
* version changes.;[[Категорія:AI-агенти]]

Модель у MLflow має змогу мати кілька flavors.; Бізнес-цінність MLflow полягає не в з цієї причини, що він тренує модель краще, а в з цієї причини, що він робить ML-процес керованим, прозорим і повторюваним.;<ref>https://mlflow.org/docs/latest/genai/tracing/</ref>

* локальний inference;
* REST API;
* batch inference;
* cloud deployment;
* Databricks Model Serving;
* Kubernetes;
* custom serving;
* MLflow pyfunc serving.; * tracking server у Kubernetes;
* artifact store у S3;
* model serving у pod;
* deployment через CI/CD;
* monitoring через Prometheus / OpenTelemetry;
* scaling inference endpoints.; Він сприяє керувати процесом так, щоб модель можна було відтворити, порівняти, перевірити й розгорнути відповідально.; Це істотно: MLflow сприяє не прив’язувати всю інженерну систему до одного провайдера.; PyTorch тренує модель, MLflow керує lifecycle.; Можна логувати:

як ілюстрація, у [[K2 ERP]] MLflow можна було б використовувати для:

Для команди краще використовувати базу даних, як ілюстрація PostgreSQL або MySQL.; '''Experiment''' у MLflow — це логічна група запусків.; Це можуть бути:

MLflow особливо корисний для:

Вона застосовується для:

На відміну від класичного ML, де часто є собою чітка правильна відповідь, у GenAI потрібно оцінювати:

Вони відповідають на питання: з якими налаштуваннями запущено експеримент?;<ref>https://mlflow.org/</ref>

* класифікація;
* регресія;
* clustering;
* tabular ML;
* baseline models;
* pipelines;
* hyperparameter tuning.; Prompt management потрібен для:

== Model Evaluation ==

== Головна ідея ==

Його потрібно версіонувати так само, як код.;== Metrics ==

'''Model Version''' — конкретна реліз registered model.; Але MLflow сам по собі не замінює Kubernetes, DevOps і security architecture.; * '''Metric''' — числовий показник якості або продуктивності.;<ref>https://mlflow.org/releases/</ref>

* створити registered model;
* додати model version;
* описати модель;
* порівняти версії;
* перевести модель у stage або alias;
* зберігати metadata;
* керувати production-кандидатами.; Станом на травень 2026 року актуальним релізом на офіційній сторінці був '''MLflow 3.12.0''', випущений 5 травня 2026 року.;== Datasets у MLflow ==

Він не:

mlflow ui

[[Категорія:Штучний інтелект]]

* DVC — версії даних і pipeline;
* MLflow — runs, metrics, models, registry.; '''MLflow Models''' — це стандартний спосіб упаковки моделей.; Model Registry потрібен, щоб команда знала, яка модель є собою актуальною, яка тестується, а яка вже застосовують, коли потрібно в production.; * '''Prompt Management''' — керування версіями prompts.; * '''Experiment''' — група MLflow runs.; Kubernetes має змогу використовуватися для production deployment ML-сервісів.; * '''MLOps''' — практики розробки, розгортання й супроводу ML-моделей у production.; Вони можуть доповнювати одне одного:

== MLflow для AI-агентів ==

У бізнесі MLflow корисний для:

[[Категорія:Machine Learning]]

import mlflow.pyfunc

[[Категорія:API]]

'''Governance''' у MLflow означає контроль життєвого циклу моделей і AI-застосунків.; # Використовувати Model Registry.; MLflow часто використовують з XGBoost і LightGBM.; Без access control MLflow має змогу стати місцем витоку моделей, даних і prompts.; Типовий pipeline:

* збереження prompt templates;
* порівняння prompt versions;
* rollback;
* A/B testing;
* evaluation;
* approval;
* documentation;
* production release.; Без tracing складно зрозуміти, де саме сталася помилка.; '''MLflow Projects''' — це спосіб упаковки ML-коду у відтворюваний формат.; У простому локальному режимі MLflow має змогу зберігати інформаційні дані у файловій системі.; У старих workflow MLflow часто використовували stages:

як ілюстрація, один run має змогу відповідати навчанню моделі RandomForest із певними hyperparameters, а інший — XGBoost або neural network.;== Stages і aliases ==

Простий приклад локального serving:

MLflow додатково застосовується з [[Keras]] і TensorFlow.; Типовий приклад:

MLflow не є собою LLM-провайдером.;
  • experiment tracking;
  • parameters, metrics, artifacts;
  • MLflow UI;
  • Model Registry;
  • MLflow Models;
  • model deployment;
  • model evaluation;
  • GenAI evaluation;
  • LLM tracing;
  • OpenTelemetry-compatible observability;
  • prompt management;
  • AI Gateway;
  • integrations із Python ML-екосистемою;
  • Databricks integration;
  • супровід класичних ML і сучасних LLM/agent workflow.;

MLflow не є собою ERP-системою.; * prompts;

  • chains;
  • agents;
  • tools;
  • retrieval;
  • memory.;== MLflow і Docker ==

AI Gateway

  • зрозуміти формат;
  • тестувати inference;
  • документувати модель;
  • перевіряти deployment;
  • уникати помилок у schema.; * очищає інформаційні дані автономно;
  • навчає модель краще сам по собі;
  • замінює Git;
  • замінює data versioning;
  • замінює orchestrator;
  • замінює monitoring stack в цілому;
  • гарантує security без налаштувань;
  • самостійно вирішує governance;
  • виправляє hallucinations;
  • замінює human review;
  • робить AI-застосунок production-ready без інженерії.;== Backend Store ==

MLflow можна використовувати з різними LLM-провайдерами: Безпека MLflow залежить від того, як його розгорнули.; * хто запускав експеримент;

  • які параметри використовувалися;
  • які метрики отримано;
  • яка модель збережена;
  • які артефакти створено;
  • яку версію моделі розгорнуто;
  • як поводиться LLM-застосунок;
  • які prompts, tools, retrieval і responses були використані.; * validation;
  • deployment;
  • documentation;
  • inference API;
  • помилок сумісності;
  • повторного використання моделі.; LlamaIndex часто застосовується для document-centric RAG.; MLflow Tracing — observability для LLM-застосунків і AI-агентів.; завдяки наявності Офіційна сторінка MLflow описує платформу як open-source AI engineering platform for agents, LLMs, and ML models, що користувачі можуть debug, evaluate, monitor and optimize production-quality AI applications.;== Artifacts ==


Parameters

* Mistral AI;
* OpenAI;
* Google Gemini;
* Anthropic;
* local models;
* custom endpoints.; * порівняння моделей;
* перевірки якості;
* regression testing;
* production readiness;
* виявлення overfitting;
* вибору champion model;
* аналізу помилок.; Workflow orchestrators можуть запускати MLflow jobs.; Agent має змогу:

MLflow часто є собою частиною CI/CD або MLOps pipeline.; * Tracking Server — сервер MLflow для збереження metadata runs.;== MLflow UI ==

* модель;
* графік;
* confusion matrix;
* feature importance;
* dataset sample;
* tokenizer;
* prompt file;
* evaluation report;
* JSON результат;
* PDF;
* trace export;
* log file.; * model artifacts;
* parameters;
* metrics;
* checkpoints;
* training curves;
* custom artifacts;
* PyTorch models.; mlflow run .;[6]

MLflow — для experiment tracking і model lifecycle.; Deployment має змогу включати:

MLflow і LlamaIndex

 == Пояснення термінів ==

    

  1. ↑ https://docs.databricks.com/aws/en/mlflow/

    2. 

  2. ↑ https://learn.microsoft.com/ru-ru/azure/databricks/mlflow/

    3. 

  3. ↑ https://mlflow.org/docs/latest/genai/tracing/

    4. 

  4. ↑ https://mlflow.org/docs/latest/ml/evaluation/

    5. 

  5. ↑ https://mlflow.org/releases/

    6. 

  6. ↑ https://mlflow.org/releases/3/

    7.
Отримано з https://wiki.corp2.eu/index.php?title=MLflow&oldid=1249