アンカーポイントは、黒くなってると「今、選択している」という意味です。白いアンカーポイントは選択してないという意味です。
下記2つが重要です。
・今、どの「アンカーポイント」が選択状態か?
・狙って動かしたい「アンカーポイント」を選ぶ練習(何度も反復し、選んだり、選択解除(シフト押しながらクリック))をする
下記、Illustrator動画講座を何回か繰り返し見て反復学習でインプットしてみてください。「ダイレクト選択ツール」で、アンカーポイントを選んだり、選択解除したり、安定して狙ったアンカーポイントだけを移動できるようになります。