提取网址到变量后怎么去除重复?

大冬瓜

重复提取列表页面，有网址是重复的，采集流程是提取网址，把网址添加到变量里，然后把变量里的网址列表导出到文本；那么问题来了，怎样把重复的网址剔除掉呢？让到导出到文本里的网址列表没有重复。