Có cả bố đẻ lẫn bố dượng, song Depay lại chẳng hề nhận được tình thương yêu của người cha. Theo tờ The Sun, bà mẹ Cora Schensema của Depay đã lấy một người đàn ông Ghana. Tuy nhiên cả hai đã ra tòa ly dị khi Depay mới lên 4 và hai mẹ con phải sống nhờ tiền trợ cấp thất nghiệp của chính phủ Hà Lan.
Hiện Depay vẫn không có bất kỳ tin tức gì về cha ruột của mình. Vết thương lòng đó được thể hiện qua việc tuyển thủ Hà Lan nhất quyết để tên mình là Memphis trên áo đấu, chứ không phải họ Depay. Đó dường như là thông điệp mà anh không muốn thừa nhận người cha bội bạc này. Không muốn con mình sống cơ cực và thiếu thốn tình cảm, mẹ của Depay đã tái hôn với một người đàn có tên Dick. Tuy nhiên “tránh vỏ dưa gặp vỏ dừa”, mẹ Depay lại một lần nữa quặn lòng khi Dick bỏ nhà ra đi. Càng bất ngờ hơn thời điểm bố dượng của Depay ra đi sau khi ông này trúng xổ số 1 triệu euro.
Suy sụy vì bị đối xử bội bạc, hai mẹ con Depay đành về tá túc nhà ông bà ngoại là bà Cees và Jans Schensema. “Depay rất hợp với ông ngoại. Cả hai thường hay chơi đùa với nhau. Có lần Depay đã thổ lộ một ngày nào đó ông sẽ thấy cháu đá bóng trên tivi”, bà ngoại của Depay nhớ lại. Chỉ một ngày sau sinh nhật lần thứ 15, Depay đã hứng chịu nỗi đau khôn cùng khi người ông ngoại yêu quý đột ngột ra đi sau một cơn đột quỵ. Phải mất một thời gian khá dài, Depay mới ổn định được tâm lý.
Đau đáu nhớ về người ông đã mất, tuyển thủ Hà Lan đã xăm dòng chữ: “Ông đã đi xa, nhưng ông luôn sống trong trái tim của cháu. Cháu yêu ông 14-02-2009.” Vượt qua những nhọc nhằn và thiếu thốn tình cảm, Depay đã dần trưởng thành và trở thành một ngôi sao sáng giá của bóng đá Hà Lan.