O gajo que testou deveria ter ido às definições mostrar que está em stock nos dois telemóveis, que não tem overclocks nem nada disso escondidos.
De qualquer das formas, sim, o KitKat ainda é mais rápido que o Lollipop em quase todos os dispositivos. A passagem para o lollipop marca a mudança do runtime de Dalvik para ART, a introdução das animações em tudo o que é movimento e mudanças drásticas no lockscreen e barra de notificações. Do 5.0 para o 5.1 já foi um grande salto em performance, quando lançarem o 5.2 espero que já compita de igual para igual com o 4.4.4 Kitkat... E a partir daí conto com o lollipop a ser melhor que o KitKat.
De qualquer das formas há que pesar a RAM... O Nexus5 tem 2GB de ram e embora hoje seja mais do que suficiente, vai chegar uma altura em que os 2GB não vão chegar para suportar o mais recente SO em condições. O meu Galaxy Nexus já é prova disso, o Jelly Bean 4.3 é muito mais rápido que o Lollipop e poucas são as custom rom de kitkat que igualam a performance no 4.3 stock. 1GB de ram já é muito pouco para o Lollipop.