hezylo
本站致力于IT相关技术的分享
  文章分类
后端架构 6 云原生 1 云原生与DevOps 1 前端工程化 1 可观测性 3 DevOps 4 数据工程 3 架构设计 1 可观测性工程 1 分布式架构 4 架构与设计 1 DevSecOps 1 分布式系统 1 MLOps 1 云原生与 DevOps 1
基于Firestore与阿里云函数计算构建跨云事件驱动架构的Outbox模式实践 基于Firestore与阿里云函数计算构建跨云事件驱动架构的Outbox模式实践
在设计一个业务状态变更与事件通知需要强一致性的系统时，一个核心的技术挑战是如何保证这两个操作的原子性。当应用服务部署在阿里云上，而核心数据库选用的是Google Cloud的Firestore时，这个跨云场景下的挑战变得尤为棘手。常规的两阶
2023-11-15 分布式架构
Firestore Python Alibaba Cloud 设计模式 事件驱动架构
构建基于 LevelDB 与 TiDB 的 GKE 模型服务分层特征存储架构 构建基于 LevelDB 与 TiDB 的 GKE 模型服务分层特征存储架构
一个典型的实时推荐模型服务，部署在 GKE 上，对外承诺的 p99 响应延迟是 50ms。模型推理本身经过优化后，耗时稳定在 15ms 左右。然而，瓶颈很快出现在了特征获取环节。业务要求模型能够访问海量的用户和物品特征，这些特征存储在一个大
2023-10-27 分布式架构
GCP GKE TiDB LevelDB 模型部署 特征存储
基于 OCI 规范在 GKE 上部署可移植 HBase 集群并配置 Nginx 外部访问 基于 OCI 规范在 GKE 上部署可移植 HBase 集群并配置 Nginx 外部访问
我们面临一个决策点。业务需要一个能支撑每秒数十万次读写、具备强一致性且支持稀疏列存储的 KV 数据库。GCP 环境下，Bigtable 是显而易见的选项，它完全托管，与生态系统深度集成。但战略层面，我们必须规避厂商锁定，确保核心数据基础设施
2023-10-27 分布式架构
HBase GCP GKE Nginx OCI
构建基于 Google Cloud Functions 与 mTLS 的分布式实时特征存储摄取层 构建基于 Google Cloud Functions 与 mTLS 的分布式实时特征存储摄取层
定义问题：特征工程中的零信任摄取挑战在机器学习系统中，特征存储（Feature Store）是连接数据管道与模型训练/推理的枢纽。一个关键挑战在于如何构建一个安全、低延迟、高可用的实时特征摄取（Ingestion）层。数据源可能来自内部的多
2023-10-27 分布式架构
分布式与中间件 Google Cloud Functions Feature Store mTLS