Para excluir é só segurar "Shift e Delete" sem aspas, mais se excluir dessa forma não é possível recuperar só é possivel recuperar usando programa, aqui o Recuva para recuperar arquivos.
Se alguns apresentar erros e não apagar, de um jeito e nem de outro, é só você fazer o seguinte.
Vai até o "ícone da lixeira" > Clica com o botão "Direito" do mouse > depois vai em "Propriedades" > depois abrirá essa janela.

Depois marque: Não remover os arquivos para a "lixeira". Remover os arquivos imediatamente quando forem excluídos.
Depois clique em "Ok" e pronto, agora sempre que você apertar "Shift delete", ele ira apagar o arquivo sem manda-lo para lixeira, mas se fizer isso, também não tem como de recuperar o arquivo.
Se não quiser que ele exclua sem ir para a lixeira e só fazer o mesmo procedimento e desmarcar novamente, "Não remover os arquivos para a "lixeira". Remover os arquivos imediatamente quando forem excluídos", depois que desmarcar, qualquer arquivo que você excluir o arquivo e ele vai para a lixeira novamente.