Faktor yg mempegaruhi harga diri mencakup penolakan orang bau tanah, keinginan orang bau tanah yg tak relistis, kegagalan yg beberapa kali, kurang memiliki tanggungjawab personal, ketergantungan pada orang lain & ideal diri yag tak kongkret. Sedangkan berdasarkan Dariuszky (2004) yg menghambat kemajuan harga diri yaitu : Perasaan takut , yakni kekalutan atau panik (fear).
Dalam kehidupan sehari-hari individu mesti menempatkan diri di tengah-tengah kenyataan. Ada yg menghadapi fakta-fakta kehidupan dgn sarat kebenaran, akan tetapi ada pula yg menghadapinya dgn perasaan tak berdaya. Ini yaitu tanggapan negatif terhadap diri, sehingga sekitarnya pun merupakan sesuatu yg negatif bagi dirinya. Tanggapan ini menjadikan individu senantiasa hidup dlm ketakutan yg akan menghipnotis seluruh alam perasaannya sehingga terjadi keguncangan dlm keseimbangan kepribadian, yakni sebuah keadaan emosi yg labil. Maka dlm keadaan tersebut individu tak berpikir dengan-cara masuk akal, jalan pikirannya imitasi, & segala sesuatu yg diluar diri yg dipersepsikan dengan-cara salah.
Dengan demikian tindakan-tindakannya menjadi tak adekuat alasannya diarahkan untuk kelemahan dirinya. Keadaan ini lama kelamaan tak dapat dipertahankan lagi, yg balasannya akan mengakibatkan kecemasan, sehingga jelaslah bahwa kondisi ini akan kuat pada perkembangan harga dirinya.
Perasaan salah yg pertama dimiliki oleh individu yg mempunyai pegangan hidup berdasarkan kesadaran & kepercayaan diri, atau dgn kata lain individu sendiri telah menentukan criteria perihal mana yg baik & jelek bagi dirinya Perasaan salah yg kedua ialah merasa salah terhadap panik, seperti umpamanya orangtua. Keadaan ini kemudian terlihat dlm bentuk kecemasan yg merupakan bagian penghambat bagi pertumbuhan kepercayaan akan diri sendiri.