归档 | hezylo

2023

10

27

数据科学团队面临的一个普遍挑战是工程复杂性与快速迭代需求之间的矛盾。一个全功能的MLOps平台，例如基于Kubernetes和Kubeflow的体系，对于一个三到五人的小团队而言，其维护成本和认知负荷往往超过了它带来的价值。我们需要的是一个

2023-10-27 MLOps

Jupyter AI、数据科学与大数据 Loki Vercel Functions Puppet

27

团队接手了一个遗留项目，其中包含了三十多个独立的 Google Cloud Functions。每个函数都负责一个微小的业务逻辑，但它们的部署和配置管理方式却是一场灾难。配置文件散落在各个函数的代码仓库中，敏感的 API 密钥通过手动设置环

2023-10-27 云原生与 DevOps

Serverless JavaScript Terraform Google Cloud Functions IaC

27

一个典型的实时推荐模型服务，部署在 GKE 上，对外承诺的 p99 响应延迟是 50ms。模型推理本身经过优化后，耗时稳定在 15ms 左右。然而，瓶颈很快出现在了特征获取环节。业务要求模型能够访问海量的用户和物品特征，这些特征存储在一个大

2023-10-27 分布式架构

GCP GKE TiDB LevelDB 模型部署特征存储

27

在维护一个混合技术栈的系统时，一个常见且棘手的问题是如何优雅地让不同语言构建的服务协同工作。当我们的核心后端是基于 NestJS (Node.js) 构建，而大量的数据处理、机器学习或长耗时任务依赖于 Python 生态的 Celery 时

2023-10-27 后端架构

Celery NestJS 网关与代理分布式系统异构集成

27

团队内部的构建和测试流程正逐渐演变成一场灾难。每个项目都有一套独特的、由Makefile、package.json脚本和大量bash脚本粘合而成的自动化体系。新成员需要数天时间才能在本地成功运行一次完整的测试，而CI环境则是一个没人敢碰的黑

2023-10-27 DevOps

Dart Podman Clojure IDP CI/CD

27

定义问题：特征工程中的零信任摄取挑战在机器学习系统中，特征存储（Feature Store）是连接数据管道与模型训练/推理的枢纽。一个关键挑战在于如何构建一个安全、低延迟、高可用的实时特征摄取（Ingestion）层。数据源可能来自内部的多

2023-10-27 分布式架构

分布式与中间件 Google Cloud Functions Feature Store mTLS