Židovský hřbitov ve Velkých Karlovicích patří mezi ty menší a novodobější. Založen byl až v roce 1887 a do současnosti se zde dochovalo jen několik desítek náhrobků. Svého času zde bývali pohřbívání nejen Židé místní, ale také ti, pocházející z nedalekého okolí. Posledním pohřbeným tady byl v roce 1938 Alois Weiss. Na hřbitově stávala také márnice, kterou však za 2. světové války podpálili a zničili fašisté.