请问一个关于以一个List集合为类属性时,get、set设置有关问题

请教一个关于以一个List集合为类属性时,get、set设置问题
碰到一个问题,简化为以下代码

 class Program
    {
        static void Main(string[] args)
        {
            var dept = new Department();
            dept.Children.Add(new Department());
        }
    }

    class Department
    {
        private List<Department> children;
        public List<Department> Children
        {
            get
            {
                if (children == null)
                {
                    return new List<Department>();
                }
                return children;
            }
            set
            {

                children = value;
            }
        }
    }


Main方法执行完后,dept .Children.count依然为0.
断点跟踪以后,发现是由于执行了  return new List<Department>()导致的。但是我不明白为什么new之后就不add了呢?如何在get或者set里编码才能避免这种问题?
------解决方案--------------------
return new List<Department>();
->
children = new List<Department>();