ಗೂಗಲ್ ಸೂಚ್ಯಂಕದಿಂದ ಸೈಟ್ ಅಥವಾ ಅದರ ತುಣುಕುಗಳ ತೆಗೆದುಹಾಕಲು

ಗೂಗಲ್ ಅಳವಡಿಸಿಕೊಂಡಿತು ಅನುಕ್ರಮಣಿಕೆ ಕಲ್ಪನೆಯ ಪ್ರಕಾರ,, ಸಂಪೂರ್ಣತೆ ಪಾಲನ್ನು ಮಾಹಿತಿ ಮತ್ತು ಫಲಿತಾಂಶಗಳು ನೀಡಿಕೆಯ ಹುಡುಕಾಟ ಪ್ರಶ್ನೆಗೆ ತನ್ನ ಅನುಸರಣೆಯನ್ನು ವಸ್ತುನಿಷ್ಟತೆ. ಸೂಚ್ಯಂಕ ಸ್ಪ್ಯಾಮ್ ಅಕ್ರಮ ವಿಷಯ, ಅಥವಾ ಸಂಪನ್ಮೂಲ ವೆಬ್ಸೈಟ್ ಬೀಳುತ್ತದೆ, ಈ ಸೈಟ್ ಪುಟಗಳಲ್ಲಿ ಸಾಮಾನ್ಯ ಡೇಟಾಬೇಸ್ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಗುರುತಿಸಲಾಗಿದೆ ಆಗುವುದಿಲ್ಲ. ನಮಗೆ ಅದನ್ನು ತಿಳಿಯಲು ಮುಖ್ಯ ಒಂದು ಸೈಟ್ ಅಳಿಸುವುದರ ಹುಡುಕಾಟ ಸರ್ವರ್ ಫಲಿತಾಂಶಗಳು ನೀಡಿಕೆಯ ರಿಂದ.

ಶೂನ್ಯ ಅನುಕ್ರಮಣಿಕೆ ಗೂಗಲ್ ವೈವಿಧ್ಯಗಳು

ಒಮ್ಮೆ ಹುಡುಕಾಟ ರೋಬೋಟ್ - ಹೊಸ ಸಂಪನ್ಮೂಲಗಳು ಬಗ್ಗೆ ಮಾಹಿತಿ ಸಂಗ್ರಹಿಸಿ ಒಂದು ಪ್ರೋಗ್ರಾಂ - ಪುಟ ಮೂಲಕ ಸೈಟ್ ಪುಟ ಸ್ಕ್ಯಾನ್ ಮಾಡುತ್ತದೆ, ನಂತರ, ಯಾವಾಗ ಪಾರ್ಸಿಂಗ್ Google ನೀತಿಯನ್ನು ಅವಶ್ಯಕತೆಗಳನ್ನು ರನ್ವಯ ಸೂಚಿಸಲಾಗಿದೆ. ಸೂಚ್ಯಂಕ ಮತ್ತು ಅದೇ ಸಮಯದಲ್ಲಿ ಸ್ಟಾಪ್ ನಲ್ಲಿ ಹುಡುಕಿ - ಆದರೆ ನಾವು ಕೂಡ ಹೇಗೆ ನೀವು robots.txt ಮೂಲಕ ಹುಡುಕಾಟ ಎಂಜಿನ್ ನಿಮ್ಮ ಸೈಟ್ ಅಥವಾ ತುಣುಕುಗಳನ್ನು ತೆಗೆದು ತೋರಿಸಲು.

, ಇಡೀ ಸಂಪನ್ಮೂಲ ನೀಡಿಕೆಯ ಹೊರಗಿಡಬೇಕು ಸೈಟ್ ಇದೆ ಮೇಲೆ ಸರ್ವರ್ ಮೂಲ ಫೋಲ್ಡರ್ನಲ್ಲಿ, ಒಂದು ನಿರ್ದಿಷ್ಟ ಪಠ್ಯ ಪ್ರದೇಶ ಸೃಷ್ಟಿಸುತ್ತದೆ - robots.txt ಹೇಳಿದರು. ಈ ವಲಯ ಓದಲು ಸೂಚನೆಗಳನ್ನು ಪ್ರಕಾರ ಸರ್ಚ್ ಎಂಜಿನ್ ಚಿಕಿತ್ಸೆ ಮತ್ತು ಕ್ರಮವಾಗಿದೆ.

Google ಹುಡುಕಾಟ ಎಂಜಿನ್ ಸೂಚಿಕೆಗಳನ್ನು ಪುಟ, ಒಂದು ಬಳಕೆದಾರ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿದೆ ಸಹ ವೀಕ್ಷಿಸಬಹುದು ನಿಷೇಧಿಸಿತು ಎಂಬುದನ್ನು ನೆನಪಿನಲ್ಲಿಡಿ. ಬ್ರೌಸರ್ 401 ಅಥವಾ 403 ಪ್ರತಿಕ್ರಯಿಸಿದರೆ "ಪ್ರವೇಶ ಅಮಾನ್ಯವಾಗಿದೆ", ಇದು ಕೇವಲ ವೀಕ್ಷಕರಿಗೆ, ಬದಲಿಗೆ ಈ ಸಂಗ್ರಹಿಸಲು ಎಂದು ಕಾರ್ಯಕ್ರಮಗಳಲ್ಲಿ ಬರುವ ಅನ್ವಯಿಸುತ್ತದೆ ಹುಡುಕಾಟ ಎಂಜಿನ್.

ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಅಳಿಸುವುದರ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಅನುಕ್ರಮಣಿಕೆ ಸೈಟ್, ಒಂದು ಪಠ್ಯ ಪಾಯಿಂಟರ್ ಕೆಳಗಿನ ಸಾಲುಗಳನ್ನು ನಮೂದಿಸಬೇಕು:

ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಅನ್ನು Googlebot

ಅನುಮತಿಸಬೇಡಿ: /

ಈ ಕ್ರಾಲರ್ ಸೈಟ್ನಲ್ಲಿ ಎಲ್ಲಾ ವಿಷಯವನ್ನು ನಿಷೇಧ ಸೂಚಿಸುತ್ತದೆ ಸೂಚ್ಯಂಕ. ಇಲ್ಲಿ ಒಂದು ಸೈಟ್ ಅಳಿಸುವುದರ ಆದ್ದರಿಂದ ನಂತರದ ಪತ್ತೆ ಪಟ್ಟಿಯಲ್ಲಿ ಸಂಪನ್ಮೂಲ ಸಂಗ್ರಹಿಸುವಲ್ಲಿ ಇಲ್ಲ, ಗೂಗಲ್.

ಪ್ರೋಟೋಕಾಲ್ಗಳು ಸ್ಕ್ಯಾನಿಂಗ್ ಆಫ್ ಹ್ಯಾಟ್ಸ್

ನೀವು ಹೈಪರ್ಟೆಕ್ಸ್ಟ್ ಪ್ರತ್ಯೇಕವಾಗಿ, ನೀವು Google ಸೂಚಿ ಉದಾಹರಣೆಗೆ ವಿಶೇಷ ನಿಯಮಗಳು ಅನ್ವಯಿಸುತ್ತವೆ ಬಯಸುವ ವೈಯಕ್ತಿಕ ಸಂಪರ್ಕ ಪ್ರಮಾಣಗಳು ಪಟ್ಟಿಮಾಡಲು ಅಗತ್ಯವಿದ್ದರೆ ಪ್ರೋಟೋಕಾಲ್ಗಳು HTTP / HTTPS, ಇದು ಈ ಕೆಳಗಿನ ರೀತಿಯಲ್ಲಿ (ಉದಾಹರಣೆ) robots.txt ನಲ್ಲಿನ ನೋಂದಾಯಿಸಲು ಅಗತ್ಯ.

(Http://yourserver.com/robots.txt) - ನಿಮ್ಮ ಸೈಟ್ನ ಒಂದು ಡೊಮೇನ್ ಹೆಸರು (ಯಾವುದೇ)

ಬಳಕೆದಾರ-ಏಜೆಂಟ್ * - ಯಾವುದೇ ಹುಡುಕಾಟ ಎಂಜಿನ್

ಅನುಮತಿಸಿ: / - ಪೂರ್ಣ ಮೌಲ್ಯಮಾಪನದ ಅವಕಾಶ

ಹೇಗೆ ಸಮಸ್ಯೆಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ HTTPS ಪ್ರೊಟೊಕಾಲ್ ಒಂದು ಸೈಟ್ ತೆಗೆದುಹಾಕಲು

(Https://yourserver.com/robots.txt):

ಬಳಕೆದಾರ ಏಜೆಂಟ್: *

ಅನುಮತಿಸಬೇಡಿ: ಅನುಕ್ರಮಣಿಕೆ ಆನ್ / ಸಂಪೂರ್ಣ ನಿಷೇಧವನ್ನು

ಗೂಗಲ್ ವನ್ನು ನಿಂದ ಚುರುಕುಗೊಳಿಸಲಾಗಿದೆ ತೆಗೆದುಹಾಕುವ URL- ಸಂಪನ್ಮೂಲ ವಿಳಾಸಗಳನ್ನು

ನೀವು ಮರು ಮೌಲ್ಯಮಾಪನದ ನಿರೀಕ್ಷಿಸಿ ಬಯಸುವುದಿಲ್ಲ, ಮತ್ತು ಸೈಟ್ ನಿಮ್ಮಂತಹ ಮರೆಮಾಡಲು ಬಯಸಿದರೆ, ನಾನು ಸಾಧ್ಯವಾದಷ್ಟು ಬೇಗ ಸೇವೆಯನ್ನು http://services.google.com/urlconsole/controller ಬಳಸಲು ಶಿಫಾರಸು. ಪೂರ್ವ robots.txt ಸೈಟ್ ಸರ್ವರ್ ಮೂಲ ಡೈರೆಕ್ಟರಿಯನ್ನು ಇರಿಸಲಾಗುತ್ತದೆ ಮಾಡಬೇಕು. ಇದು ಸರಿಯಾದ ಸೂಚನೆಗಳನ್ನು ಶಿಫಾರಸು ಮಾಡಬೇಕು.

ಕೆಲವು ಕಾರಣಕ್ಕಾಗಿ ಪಾಯಿಂಟರ್ ಮಾಡಬಹುದು ಮೂಲ ಡೈರೆಕ್ಟರಿ ಸಂಪಾದಿಸಲಾಗುವುದಿಲ್ಲ, ಅದು ಸಾಕಷ್ಟು ನೀವು ಹುಡುಕಾಟ ಎಂಜಿನ್ ಅಡಗಿಕೊಳ್ಳಲು ಬಯಸುವ ಗುರಿಗಳ ಜೊತೆ ಫೋಲ್ಡರ್ನಲ್ಲಿ ರಚಿಸಿ. ಒಮ್ಮೆ ನೀವು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಹೈಪರ್ಟೆಕ್ಸ್ಟ್ ವಿಳಾಸಗಳನ್ನು ತೆಗೆದು ಸೇವೆಗೆ ಇದನ್ನು ಮತ್ತು ನೋಡಿ, ಗೂಗಲ್ robots.txt ನಲ್ಲಿನ ನ್ಯೂನತೆಯು ಉಚ್ಚರಿಸಲಾಗಿಲ್ಲ ಫೋಲ್ಡರ್ಗಳನ್ನು ಸ್ಕ್ಯಾನ್ ಮಾಡುವುದಿಲ್ಲ.

ಈ ಅದೃಶ್ಯ ಅವಧಿಯಲ್ಲಿ 3 ತಿಂಗಳು ಹೊಂದಿಸಲಾಗಿದೆ. ಈ ಅವಧಿಯ ನಂತರ, ಸಂಚಿಕೆ ಹೊರಬರುವಂತೆ ಕೋಶವನ್ನು, ಮತ್ತೆ ಗೂಗಲ್ ಸರ್ವರ್ ಮೂಲಕ ಸಂಸ್ಕರಿಸಿದ ನಡೆಯಲಿದೆ.

ಎಚ್ ಛೆ ಭಾಗಶಃ ಸ್ಕ್ಯಾನ್ ಒಂದು ಸೈಟ್ ತೆಗೆದುಹಾಕಲು

ಒಂದು ಹುಡುಕಾಟ ಬೋಟ್ robots.txt ವಿಷಯಗಳನ್ನು ಓದುವ ಮಾಡಿದಾಗ, ಕೆಲವು ನಿರ್ಧಾರಗಳನ್ನು ಅದರ ಅಂಶಗಳ ಆಧಾರದ ಮೇಲೆ ತಯಾರಿಸಲಾಗುತ್ತದೆ. ನೀವು anatom ಎಂಬ ಸಂಪೂರ್ಣ ಕೋಶವನ್ನು ತೋರಿಸುವ ಹೊರಗಿಡಬೇಕು ಎಂದು ಕಲ್ಪಿಸಿಕೊಳ್ಳೋಣ. ಇದು ನಿಯಮಗಳು ಶಿಫಾರಸು ಸಾಕು:

ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಅನ್ನು Googlebot

ಅನುಮತಿಸಬೇಡಿ: / anatom

ಅಥವಾ, ಉದಾಹರಣೆಗೆ, ನೀವು ಸೂಚ್ಯಂಕ ಎಲ್ಲಾ ರೀತಿಯ ಚಿತ್ರ .gif ಬಯಸುವ. ಇದನ್ನು ಮಾಡಲು, ಕೆಳಗಿನ ಪಟ್ಟಿಯಲ್ಲಿ ಸೇರಿಸಿ:

ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಅನ್ನು Googlebot

ಅನುಮತಿಸಬೇಡಿ: /*.gif$

ಇಲ್ಲಿದೆ ಮತ್ತೊಂದು ಉದಾಹರಣೆ. ಸೂಚಿಕೆ ನಮೂದು ರೀತಿಯ ಸೇರಿಸುವಾಗ ಅವುಗಳನ್ನು ಕ್ರಿಯಾಶೀಲವಾಗಿ ಉತ್ಪಾದಿಸಿದ ಪುಟಗಳಲ್ಲಿ ಮಾಹಿತಿ ಪಾರ್ಸಿಂಗ್ ಅಳಿಸಲ್ಪಡುತ್ತದೆ ಲೆಟ್:

ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಅನ್ನು Googlebot

ಅನುಮತಿಸಬೇಡಿ: / *?

ಆ ಬಗ್ಗೆ, ಮತ್ತು ಸರ್ಚ್ ಎಂಜಿನ್ ನಿಯಮಗಳು ವಿವರಿಸುತ್ತದೆ. ಇನ್ನೊಂದು ವಿಷಯ ಇದು ಹೆಚ್ಚು ಕೇವಲ ಈ ಮೆಟಾ ಟ್ಯಾಗ್ ಬಳಸಲು ಅನುಕೂಲಕರ ಎಂಬುದು. ಮತ್ತು ವೆಬ್ಮಾಸ್ಟರ್ಗಳಿಗೆ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ನಿಯಂತ್ರಿಸುವ ಕೇವಲ ಇಂತಹ ಗುಣಮಟ್ಟದ ಬಳಸಿ. ಆದರೆ ನಾವು ಮುಂದಿನ ಲೇಖನಗಳಲ್ಲಿ ಈ ಚರ್ಚೆ ಮಾಡುತ್ತೇವೆ.