Eli Lilly Data Engineer面试题和答案
Eli Lilly Data Engineer面试题和答案 (English Translation Coming Soon)
从投简历到拿Offer，整整两个月，Eli Lilly的面试流程真是漫长又折磨。不得不说，药厂的面试风格就是稳，稳到让人怀疑人生。今天就来复盘一下我的Eli Lilly Data Engineer New Grad岗位的Virtual Onsite面经，希望能给正在求职路上的你一些帮助。
第一个问题就是经典的SQL vs NoSQL。面试官是个很nice的美国大叔，一上来就问我SQL和NoSQL数据库的区别，以及在什么情况下会选择使用它们。说实话，这个问题算是很基础了，但也是必考题。我当时的回答思路是，SQL数据库，比如MySQL和PostgreSQL，是关系型数据库，数据以表格的形式存储，有固定的Schema。它的优点是数据一致性强，支持复杂的查询，非常适合需要处理结构化数据和保证事务完整性的场景，比如金融系统或者我们药厂的临床试验数据管理。而NoSQL数据库，比如MongoDB或者Cassandra，是非关系型数据库，种类很多，有文档型、键值型、列式和图形数据库。它们的Schema非常灵活，扩展性也很好，特别适合处理海量非结构化或半结构化数据。比如，在处理一些用户行为数据，或者物联网设备产生的实时数据时，NoSQL的优势就非常明显了。在Eli Lilly的业务场景里，我觉得两种数据库都有用武之地。比如，我们的核心药品研发数据，需要严格的Schema和数据一致性，用SQL数据库就比较合适。而一些市场分析数据，或者社交媒体上的用户反馈，数据格式多样，量也很大，用NoSQL数据库来做Data Lake就更方便。
第二个问题就比较有药厂特色了。面试官让我为一个新的临床试验项目设计一个简化的Data Model。这个问题我个人觉得还挺有意思的，毕竟是药厂嘛。我的回答是，首先，我会和项目组的科学家和数据分析师沟通，搞清楚我们需要追踪哪些关键信息。一般来说，一个临床试验的Data Model至少要包含以下几个核心实体：Patient，存储患者的基本信息，比如患者ID、年龄、性别、入组时间等；Visit，记录患者的每一次访视，包括访视ID、访视日期、访视类型；Observation，存储每一次访视收集到的具体数据，比如生命体征、实验室检查结果、不良事件等。这个表会非常大，所以Schema Design很重要；Drug，记录试验用药的信息，比如药品ID、名称、剂量等。然后，我会设计这些实体之间的关系。比如，一个Patient可以有多次Visit，一次Visit可以有多条Observation。我会用ER图来把这些关系可视化，方便大家理解。在具体的Schema Design上，我会特别注意数据类型和约束。比如，患者ID必须是唯一的，访视日期必须是合法的日期格式。我还会考虑数据质量的问题，比如设置一些规则来防止异常值的输入。最后，我还会考虑这个Data Model的可扩展性。因为临床试验的需求可能会变化，比如需要增加新的检查项目。所以，在设计的时候，我会预留一些扩展字段，或者采用一些更灵活的设计模式，比如EAV模型，虽然它会牺牲一些查询性能，但在某些情况下非常有用。
第三个问题是关于ETL Pipeline的设计。面试官接着问，如果现在有一批临床数据，格式是CSV，存放在AWS S3上，需要你设计一个ETL Pipeline，把这些数据清洗、转换，然后加载到Redshift Data Warehouse里，你会怎么做？这个问题算是考察实际操作能力了。我的回答是，我会用Airflow来调度整个ETL流程。首先，在Extract阶段，我会写一个Python脚本，使用boto3库从S3上把CSV文件下载到EC2实例上。然后，在Transform阶段，我会用Pandas来做数据清洗和转换。比如，处理缺失值，转换日期格式，统一单位等等。如果数据量非常大，我会考虑使用Spark来做分布式处理，这样效率更高。踩过坑的人都知道，数据清洗是最花时间的，也是最容易出问题的环节。最后，在Load阶段，我会用psycopg2这个库连接到Redshift，然后用COPY命令把处理好的数据从S3或者EC2上加载到Redshift的Staging Table里。为什么是Staging Table呢？因为这样可以先验证数据质量，没问题了再合并到最终的目标表里，这样更安全。整个ETL Pipeline，我会设置好监控和报警。比如，用Airflow的SLA功能来监控任务的执行时间，如果超时就发邮件报警。我还会记录详细的日志，方便排查问题。
第四个问题是Python编程题。面试官让我写一个Python函数，输入是一个包含很多个tuple的list，每个tuple代表一个药品的销售记录，包含药品名称、销售日期和销售额。要求我计算每种药品的总销售额，并按销售额从高到低排序。这道题不难，主要是考察Python的基本功。我当时很快就写出来了，用了一个defaultdict来存储每种药品的销售额，然后用sorted函数来排序。代码大概是这样： from collections import defaultdict
def calculate_sales(sales_data): sales_by_drug = defaultdict(float) for drug, date, amount in sales_data: sales_by_drug[drug] += amount sorted_sales = sorted(sales_by_drug.items(), key=lambda item: item[1], reverse=True) return sorted_sales
写完之后，面试官还追问了一下，如果数据量非常大，内存放不下怎么办？我说，那可以考虑用生成器（Generator）来处理数据，或者把数据存到数据库里，用SQL来做聚合计算，这样就不用一次性把所有数据都加载到内存里了。
第五个问题是关于Cloud的。面试官问我熟悉哪些AWS服务，以及在Data Engineering里都怎么用。这个问题范围很广，我就挑了几个我最熟悉的讲了讲。我说我最常用的是S3、EC2、RDS、Redshift和Lambda。S3用来做Data Lake，存储原始数据和处理后的数据。EC2用来跑各种计算任务，比如ETL脚本。RDS用来存一些结构化的元数据。Redshift是我们的核心Data Warehouse，用来做数据分析和报表。Lambda可以用来做一些轻量级的实时数据处理，比如，当有新的数据上传到S3时，自动触发一个Lambda函数来做一些简单的校验和转换。我还提到了IAM，用来管理AWS资源的访问权限，保证数据安全。我说，选择合适的AWS服务，就像搭积木一样，可以根据不同的需求，灵活地组合，搭建出高效、稳定、可扩展的Data Pipeline。
第六个问题是Behavior Question。面试官问我，你有没有遇到过在项目进行中，需求突然发生变化的情况？你是怎么应对的？这类问题其实是考察你的沟通能力和应变能力。我分享了一个我之前在实习时遇到的真实案例。当时我们正在做一个数据可视化的项目，快要上线了，产品经理突然说要增加一个新的功能。我当时的第一反应是，这不可能！但冷静下来之后，我先和产品经理沟通，了解这个新功能的重要性和紧急程度。然后，我评估了一下实现这个新功能需要的工作量和风险。最后，我和我的导师一起，制定了一个新的计划，先把核心功能上线，然后在一个星期内，通过迭代的方式，把新功能加上去。通过这个例子，我向面试官展示了，我不是一个只会埋头写代码的工程师，我还懂得如何沟通、如何协作，如何在压力下做出合理的决策。
第七个问题是关于Data Governance的。面试官问我，你对Data Governance有什么理解？在药厂，Data Governance为什么这么重要？这个问题就比较宏观了，也很有药厂特色。我说，Data Governance是一套管理企业数据资产的流程和规范，目的是保证数据的质量、安全、合规和可用性。在药厂，Data Governance尤其重要，因为我们的数据直接关系到药品的研发、生产和患者的生命安全。比如，临床试验的数据，必须保证真实、准确、完整，不能有任何差错。药品的生产数据，也需要严格的追溯和审计，确保每一批药品的质量都符合标准。我还提到了GDPR和HIPAA这两个法规，我说，在处理涉及到个人隐私的医疗数据时，必须严格遵守相关的法律法规，保护患者的隐私。我说，一个好的Data Engineer，不仅要会写代码，还要有很强的数据安全和合规意识。
第八个问题是反问环节。面试官问我，你有什么问题想问我们吗？我问了三个问题：第一个是关于团队的，我想了解一下团队的规模、成员的背景，以及团队的文化。第二个是关于技术的，我想知道团队目前在用的技术栈，以及未来有没有计划引入一些新的技术。第三个是关于个人发展的，我想了解一下公司对New Grad的培养机制，以及我未来的职业发展路径。通过这三个问题，我既表达了我对这个职位的兴趣，也展示了我的思考深度。面试官也很耐心地回答了我的问题，让我对这个团队有了更深入的了解。
Q&A环节：
Q: Eli Lilly的面试难吗？ A: 说实话，不简单。技术问题问得很细，也很贴近实际业务。Behavior Question也很多，需要提前准备好自己的故事。
Q: 面试有几轮？ A: 我经历了三轮：HR电面，技术电面，然后是Virtual Onsite。Onsite有四轮，分别是两轮技术面，一轮Behavior面，还有一轮和Hiring Manager聊天。
Q: 对英语要求高吗？ A: 高。面试全程都是英文，需要能够流利地表达自己的想法。特别是技术问题，需要用准确的英文术语来描述。
#EliLilly #礼来 #DataEngineer #数据工程师 #面试经验 #求职 #北美求职 #药厂 #面经 #找工作