实现 文本按行去重 工具

分类：developer ｜ 标签：去重、文本、清洗、日志 多行文本去重，保留顺序，支持忽略大小写/去空格

2.1 功能说明

多行文本去重，保留顺序，支持忽略大小写/去空格

2.1.1 使用指南

使用指导

对多行文本去重，默认保留首次出现顺序；可选忽略大小写、先去首尾空格。适合清洗日志、名单去重。

2.2 代码实现

2.2.1 组件结构

本工具是一个基于 Vue 3 <script setup> 语法的单文件组件（SFC），统一包裹在 ToolPageShell 组件内，由它提供页面标题、工具 ID、分类与「使用指南」插槽等通用外壳；核心业务逻辑（响应式状态、计算属性、事件处理函数）全部写在 <script setup> 中，输入/输出通过 el-input、el-button 等 Element Plus 组件与用户交互，所有数据均在浏览器本地处理，不会上传服务器。

2.2.2 核心逻辑概览

<script setup> 中定义的主要函数/方法：

• normalize()
• copyOut()
• run()

2.2.3 关键实现代码

以下是该工具的完整 <script setup> 实现（核心代码）。模板（<template>）与样式（<style>）已省略。

import { ref, computed } from 'vue'
import { ElMessage } from 'element-plus'
import ToolPageShell from '@/components/ToolPageShell.vue'

const input = ref('')
const ignoreCase = ref(false)
const trim = ref(false)
const removeEmpty = ref(true)

function normalize(line) {
  let s = line
  if (trim.value) s = s.trim()
  if (ignoreCase.value) s = s.toLowerCase()
  return s
}
const output = computed(() => {
  const lines = input.value.split('\n')
  const seen = new Set()
  const out = []
  for (const line of lines) {
    if (removeEmpty.value && line.trim() === '') continue
    const k = normalize(line)
    if (seen.has(k)) continue
    seen.add(k)
    out.push(line)
  }
  return out.join('\n')
})
const srcCount = computed(() => input.value === '' ? 0 : input.value.split('\n').length)
const outCount = computed(() => output.value === '' ? 0 : output.value.split('\n').length)
const removed = computed(() => Math.max(0, srcCount.value - outCount.value))
function copyOut() { navigator.clipboard?.writeText(output.value).then(() => ElMessage.success('已复制')) }
function run() {}

2.3 效果截图

工具访问地址：https://www.i91tools.com/tools/line-dedup