Simple Past
Ação iniciada no passado, e finalizada no passado. Ação concluída.
Ex: We saw a good film last night. (Nós vimos um bom filme noite passada)
Eles começaram a assistir o filme e terminaram, ação finalizada.

Past Continuous
Ação iniciada no passado, mas que ainda está em progresso. 
Ex: My friends were having breakfast. (Meu amigos estavam tomando café da manhã)

Para diferenciar melhor, o contexto ajuda muito.​