在Golang中复制文件的简单方法


Answers:


69

警告:此答案主要是关于向文件添加第二个链接,而不是复制内容。

一个强大的高效率副本的概念很简单,但并不容易实现,因为需要处理一些边缘情况和系统限制由目标操作系统强加的,它的配置。

如果您只想复制现有文件,则可以使用os.Link(srcName, dstName)。这样可以避免在应用程序中移动字节并节省磁盘空间。对于大文件,这可以节省大量的时间和空间。

但是,各种操作系统对硬链接的工作方式都有不同的限制。根据您的应用程序和目标系统配置的不同,Link()调用可能无法在所有情况下都起作用。

如果您想要一个通用,健壮和高效的复制功能,请更新Copy()至:

  1. 进行检查以确保至少某种形式的复制将成功(访问权限,目录存在等)
  2. 检查两个文件是否已经存在并且使用相同 os.SameFile,如果相同则返回成功
  3. 尝试链接,成功则返回
  4. 复制字节(所有有效方法均失败),返回结果

一种优化方法是在go例程中复制字节,以便调用者不会在字节复制上进行阻塞。这样做会给调用方带来额外的复杂性,以使其无法正确处理成功/错误情况。

如果两者都需要,我将有两个不同的复制功能:CopyFile(src, dst string) (error)用于阻塞复制,CopyFileAsync(src, dst string) (chan c, error)对于异步情况,它将信令通道传递回调用方。

package main

import (
    "fmt"
    "io"
    "os"
)

// CopyFile copies a file from src to dst. If src and dst files exist, and are
// the same, then return success. Otherise, attempt to create a hard link
// between the two files. If that fail, copy the file contents from src to dst.
func CopyFile(src, dst string) (err error) {
    sfi, err := os.Stat(src)
    if err != nil {
        return
    }
    if !sfi.Mode().IsRegular() {
        // cannot copy non-regular files (e.g., directories,
        // symlinks, devices, etc.)
        return fmt.Errorf("CopyFile: non-regular source file %s (%q)", sfi.Name(), sfi.Mode().String())
    }
    dfi, err := os.Stat(dst)
    if err != nil {
        if !os.IsNotExist(err) {
            return
        }
    } else {
        if !(dfi.Mode().IsRegular()) {
            return fmt.Errorf("CopyFile: non-regular destination file %s (%q)", dfi.Name(), dfi.Mode().String())
        }
        if os.SameFile(sfi, dfi) {
            return
        }
    }
    if err = os.Link(src, dst); err == nil {
        return
    }
    err = copyFileContents(src, dst)
    return
}

// copyFileContents copies the contents of the file named src to the file named
// by dst. The file will be created if it does not already exist. If the
// destination file exists, all it's contents will be replaced by the contents
// of the source file.
func copyFileContents(src, dst string) (err error) {
    in, err := os.Open(src)
    if err != nil {
        return
    }
    defer in.Close()
    out, err := os.Create(dst)
    if err != nil {
        return
    }
    defer func() {
        cerr := out.Close()
        if err == nil {
            err = cerr
        }
    }()
    if _, err = io.Copy(out, in); err != nil {
        return
    }
    err = out.Sync()
    return
}

func main() {
    fmt.Printf("Copying %s to %s\n", os.Args[1], os.Args[2])
    err := CopyFile(os.Args[1], os.Args[2])
    if err != nil {
        fmt.Printf("CopyFile failed %q\n", err)
    } else {
        fmt.Printf("CopyFile succeeded\n")
    }
}

61
您应该添加一个很大的警告,创建一个硬链接是一样的创建副本。使用硬链接,您只有一个文件,而使用副本则有两个不同的文件。使用副本时,对第一个文件的更改不会影响第二个文件。
2014年

1
好点子。我认为这是链接定义所隐含的,但实际上只有在已知的情况下才清楚。
markc 2014年

21
问题是关于复制文件。没有创建更多的分区链接。如果用户只是想从多个位置引用同一文件,则硬链接(或软链接)应该是一个替代答案。
Xeoncross

从理论上讲,您还应该检查dst中是否有足够的空间。
edap

请记住,由于这一部分:if err = os.Link(src, dst)...此功能不能直接用于备份目的。如果要复制文件以备份某些数据,则必须将数据本身复制到文件系统上
Yurii Rochniak

53

您已经拥有了在标准库中编写此类功能所需的所有功能。这是显而易见的代码。

// Copy the src file to dst. Any existing file will be overwritten and will not
// copy file attributes.
func Copy(src, dst string) error {
    in, err := os.Open(src)
    if err != nil {
        return err
    }
    defer in.Close()

    out, err := os.Create(dst)
    if err != nil {
        return err
    }
    defer out.Close()

    _, err = io.Copy(out, in)
    if err != nil {
        return err
    }
    return out.Close()
}

5
根据您的应用程序,如果输出文件存在,则可能会失败,否则将覆盖文件的内容。您可以通过调用os.OpenFile(dst,syscall.O_CREATE | syscall.O_EXCL,FileMode(0666))而不是os.Create(...)来实现。如果目标文件已存在,则该调用将失败。如果两个文件已经相同(例如,如果已链接),则另一个优化将避免复制文件。您
markc 2014年

仅标准库无法实现的一个方面是对写时复制的透明支持,这在某些情况下可能是理想的。但是,仅在某些文件系统上支持cow,据我所知,它没有系统调用(除ioctl之外)。
kbolino '18 -10-5

延期会不会out.Close()总是失败?您不是要检查错误,但是文档说,对的连续调用Close()将失败。
Ovesh

为什么在返回以及延迟中使用out.Close()?
David Jones

@Ovesh,文档说“如果已被调用,Close将返回错误”,返回的错误与fail不同,并且defer语句忽略任何返回的错误。延迟是为了确保在io.Copy期间出现任何错误时文件都被关闭。通过关闭io.COpy的错误检查中的文件,您可以实现相同的目的,但是可以说不够优雅。
user658991

13
import (
    "io/ioutil"
    "log"
)

func checkErr(err error) {
    if err != nil {
        log.Fatal(err)
    }
}

func copy(src string, dst string) {
    // Read all content of src to data
    data, err := ioutil.ReadFile(src)
    checkErr(err)
    // Write data to dst
    err = ioutil.WriteFile(dst, data, 0644)
    checkErr(err)
}

1
您能否在代码中添加几行解释或注释,以帮助OP理解它。
Morten Jensen

3
如果文件夹中的文件大小只有几千字节,则此程序将占用大量的内存。请改用io.CopyN()。
2015年

@ smile-on是的,但是如果您要复制一个小文件进行测试或其他什么事情,谁在乎?快速和肮脏的方法也应放在这里。
凯西

11

如果您在linux / mac中运行代码,则只需执行系统的cp命令。

srcFolder := "copy/from/path"
destFolder := "copy/to/path"
cpCmd := exec.Command("cp", "-rf", srcFolder, destFolder)
err := cpCmd.Run()

它的处理有点像脚本,但是可以完成工作。另外,您需要导入“ os / exec”


9
这是否可以保证srcFolder或destFolder无效或由用户恶意制作,该怎么办?说destFolder:=“ copy / to / path; rm -rf /”,SQL注入样式。
user7610 2014年

2
如果从用户指定源文件夹和目标文件夹,则建议使用其他方法。此代码假定有效路径。
丹达夫2014年

5
@ user1047788虽然需要清理/验证来自用户的任何路径,但以防万一您感到好奇,“;” 不会被os.Exec评估为执行新命令。您的示例实际上会将确切的值“ copy / to / path; rm -rf /”作为参数发送给cp命令(包括空格和其他字符)。
Yobert 2014年

这也是在Windows上也可以使用的巧妙技巧!但是,在Windows上运行将在srcFolder路径中进行名称替换,而在Linux上则不会。srcFolder:=“ copy / from / path / *” Win上正常,Linux上错误。
2015年

1
我试图--help用您的代码复制文件,但没有任何反应。;)
Roland Illig

1

在这种情况下,有两个条件需要验证,我更喜欢非嵌套代码

func Copy(src, dst string) (int64, error) {
  src_file, err := os.Open(src)
  if err != nil {
    return 0, err
  }
  defer src_file.Close()

  src_file_stat, err := src_file.Stat()
  if err != nil {
    return 0, err
  }

  if !src_file_stat.Mode().IsRegular() {
    return 0, fmt.Errorf("%s is not a regular file", src)
  }

  dst_file, err := os.Create(dst)
  if err != nil {
    return 0, err
  }
  defer dst_file.Close()
  return io.Copy(dst_file, src_file)
}

-1

从Go 1.15(2020年8月)开始,可以使用File.ReadFrom

package main

import (
   "log"
   "os"
)

func main() {
   in_o, e := os.Open("a.go")
   if e != nil {
      log.Fatal(e)
   }
   out_o, e := os.Create("b.go")
   if e != nil {
      log.Fatal(e)
   }
   out_o.ReadFrom(in_o)
}

-2

这是复制文件的一种明显方法:

package main
import (
    "os"
    "log"
    "io"
)

func main() {
    sFile, err := os.Open("test.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer sFile.Close()

    eFile, err := os.Create("test_copy.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer eFile.Close()

    _, err = io.Copy(eFile, sFile) // first var shows number of bytes
    if err != nil {
        log.Fatal(err)
    }

    err = eFile.Sync()
    if err != nil {
        log.Fatal(err)
    }
}

我尝试了这种方法,但是导致文件无法正常工作。
snorberhuis

是什么在eeFile是什么意思?
罗兰·伊利格

-2

如果您在Windows上,则可以像这样包装CopyFileW:

package utils

import (
    "syscall"
    "unsafe"
)

var (
    modkernel32   = syscall.NewLazyDLL("kernel32.dll")
    procCopyFileW = modkernel32.NewProc("CopyFileW")
)

// CopyFile wraps windows function CopyFileW
func CopyFile(src, dst string, failIfExists bool) error {
    lpExistingFileName, err := syscall.UTF16PtrFromString(src)
    if err != nil {
        return err
    }

    lpNewFileName, err := syscall.UTF16PtrFromString(dst)
    if err != nil {
        return err
    }

    var bFailIfExists uint32
    if failIfExists {
        bFailIfExists = 1
    } else {
        bFailIfExists = 0
    }

    r1, _, err := syscall.Syscall(
        procCopyFileW.Addr(),
        3,
        uintptr(unsafe.Pointer(lpExistingFileName)),
        uintptr(unsafe.Pointer(lpNewFileName)),
        uintptr(bFailIfExists))

    if r1 == 0 {
        return err
    }
    return nil
}

代码是受包装器启发的 C:\Go\src\syscall\zsyscall_windows.go


-2

您可以使用“ exec”。Windows的exec.Command(“ cmd”,“ / c”,“ copy”,“ fileToBeCopied destinationDirectory”)对于Windows,我已经使用了它并且工作正常。您可以参考手册以获取更多关于exec的信息。


-7

看看go-shutil

但是请注意,它不会复制元数据。还需要有人来实施诸如移动之类的事情。

仅使用exec可能值得。


4
我快速浏览了链接的程序包,因此推荐使用。尽管它说“我们不期望它是完美的,但是比您的初稿要好得多”……他们错了。它们犯了许多基本错误,例如忽略错误,运行了很多种族(例如,检查源/目标文件名是否与以后尝试打开/创建它们分开存在;永远不要这样做!)等
Dave C

@DaveC您是否有“忽略错误”的示例?我快速浏览了一下代码,并且在错误处理部分找不到任何明显的错误。自2014
。– Roland Illig

1
@RolandIllig很久以前,所以我不确定我指的是什么,但是经过30秒的检查,在github.com/termie/go-shutil/blob/master/shutil.go#L128中找到了一个示例;在关闭您正在写入的文件时,永远不要忽略错误,很多时候直到关闭期间刷新数据后,写入过程中的错误才会出现。考虑到我之前的评论的语气,我想我在2015
Dave C
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.