面试真题

大数据 · 困难 · 阿里巴巴

如果让你从0到1设计一个数仓全栈,你会怎么设计?

困难 大数据 🎤 阿里巴巴
参考答案
结论:数仓全栈需分层建模、离实时一体与数据治理。思路:1.数据源:业务库Binlog、前端埋点;2.采集:DataX/Sqoop离线,Flink CDC实时;3.存储:HDFS+Hive数仓,Kafka缓冲流;4.计算:Spark批处理,Flink流处理;5.建模:ODS贴源、DWD清洗、DWS汇总、ADS应用,星型模型;6.服务:ClickHouse/Doris提供OLAP;7.治理:Atlas元数据、Griffin质量监控、权限管控。示例:用户行为日志经ODS->DWD->DWS生成宽表供BI。
题目整理自公开面经,答案由校招宝自研生成,仅供参考