GC可以移动参考。使用不安全会将对象保留在GC的控制范围之外，并避免这种情况。“固定”固定对象，但让GC管理内存。
根据定义，如果您有一个指向对象地址的指针，并且GC对其进行了移动，则该指针不再有效。
关于为什么需要指针：主要原因是要使用非托管DLL，例如用C ++编写的DLL。
还要注意，当您固定变量并使用指针时，您更容易受到堆碎片的影响。
编辑
您已经谈到了托管代码与非托管代码的核心问题...内存如何释放？
您可以按照描述的那样混合代码以提高性能，只是不能使用指针跨越托管/非托管边界（即，不能在“不安全”上下文之外使用指针）。
至于它们如何清洁……您必须管理自己的记忆；使用（希望）创建/分配了指针指向的对象（通常在C ++ DLL中）CoTaskMemAlloc()，并且您必须以相同的方式释放该内存（调用）CoTaskMemFree()，否则会发生内存泄漏。请注意，只能CoTaskMemAlloc()使用释放分配给的内存CoTaskMemFree()。
另一种选择是从您的本机C ++ dll中公开一个方法，该方法使用一个指针并释放它...这使DLL可以决定如何释放内存，如果它使用其他某种方法来分配内存，则效果最佳。您使用的大多数本机dll是无法修改的第三方dll，并且它们通常没有（我已经看到）这样的函数要调用。
从此处获取释放内存的示例：
string[] array = new string[2];
array[0] = "hello";
array[1] = "world";
IntPtr ptr = test(array);
string result = Marshal.PtrToStringAuto(ptr);
Marshal.FreeCoTaskMem(ptr);
System.Console.WriteLine(result);
更多阅读材料：
C＃取消分配IntPtr引用的内存
第二个答案向下介绍了不同的分配/取消分配方法
如何在C＃中释放IntPtr？
加强了以与分配内存相同的方式取消分配的需要
http://msdn.microsoft.com/zh-cn/library/aa366533%28VS.85%29.aspx
有关分配和取消分配内存的各种方法的MSDN官方文档。
简而言之...您需要知道如何分配内存才能释放它。
编辑
如果我正确地理解了您的问题，那么简短的答案是肯定的，您可以将数据交给非托管指针，在不安全的上下文中使用它，并在退出不安全的上下文后使数据可用。
关键是您必须将要引用的托管对象固定在一个fixed块上。这样可以防止您要引用的内存在unsafe块中时被GC移动。这里涉及到许多微妙之处，例如，您不能重新分配在固定块中初始化的指针...如果您真的打算管理自己的代码，则应该阅读不安全和固定的语句。
综上所述，以您描述的方式管理自己的对象和使用指针的好处可能无法像您想像的那样为您带来很多性能提升。不这样做的原因：
- C＃非常优化且非常快
- 您的指针代码仍以IL生成，必须将其抖动（这时将进行进一步的优化）
- 您不是要关闭垃圾收集器……只是将要使用的对象保留在GC的权限范围之外。因此，每隔100毫秒左右，GC仍会中断您的代码，并对托管代码中的所有其他变量执行其功能。
HTH，
詹姆斯