Всех иностранцев в народе тогда называли немцами – от слова «немой», в данном случае «не говорящий по-русски».