Shingle yöntemiyle kopya içeriği bulmak

import re
from itertools import combinations

def shingles(text: str, k: int = 5) -> set[str]:
    words = re.findall(r"\w+", text.lower())
    return {" ".join(words[i:i + k]) for i in range(len(words) - k + 1)}

def jaccard(a: set, b: set) -> float:
    return len(a & b) / len(a | b) if a and b else 0.0

sayfalar = {
    "/urun/mavi-tisort": "Pamuklu mavi tişört, rahat kesim, 4 beden seçeneği ...",
    "/urun/kirmizi-tisort": "Pamuklu kırmızı tişört, rahat kesim, 4 beden seçeneği ...",
    "/blog/tisort-secimi": "Doğru tişörtü seçerken kumaş ve kesim en önemli iki konu ...",
}

s = {url: shingles(metin) for url, metin in sayfalar.items()}
for a, b in combinations(s, 2):
    oran = jaccard(s[a], s[b])
    if oran > 0.5:
        print(f"{oran:.0%} benzer: {a} ↔ {b}")